Forgeは測定と可視化を行うだけで、ポリシーを代わりに修正することはありません。評価はexpected actionとactual actionの決定論的（deterministic）な比較であり（LLMによる判定なし）、ポリシーの修正は通常のGuard Policyの編集・バージョン管理フローをそのまま使います。
Test Dataset
Test DatasetはProject Guardian（ポリシーをテストする対象）に従属します。1つのGuardianに複数のdatasetを持てます — 例:「PII攻撃パターン」「正常入力」「エッジケース」。Dataset名は所属Guardian内で一意であり、Guardianを削除するとそのdatasetとすべての結果も一緒に削除されます。 Datasetの各itemは2つの部分で構成されます:| 部分 | 内容 |
|---|---|
| 入力 | Guardianに送信するコンテンツ — マルチターン会話（user / assistantメッセージの順序配列）。v1.3はテキストのみをサポートします。 |
| 期待判定値 | Guardianが下すべき判定 — 最終action（PASS / MASK / BLOCK）と、任意で該当すべきポリシーコードおよび自由テキストのreason。 |
Datasetの登録
プロジェクトのGuardianでForgeを開き、datasetを作成します:
Experiment
Experimentは、選択したポリシー構成で1つのTest DatasetをProject Guardianに通し、結果を採点する1回の実行です。以下を設定します:| 入力 | 備考 |
|---|---|
| Dataset（+ バージョン） | Datasetが対象Guardian、Goal、Action Listを決定します。バージョンのデフォルトは最新です。 |
| 名前 / 説明 | 任意 — 名前を指定しない場合、process typeとポリシー構成から自動命名されます。 |
| Policyの選択 | 互いに異なるポリシー1つ以上、それぞれにバージョン1つを指定（デフォルト = そのポリシーの最新バージョン）。同じポリシーを2回選ぶことはできません — 1つのポリシーのバージョン間比較は、別々のExperimentを実行して並べて比較します。 |
| Process type・model config | Guardianがサポートするprocess typeから1つ（デフォルト = 先頭）。Model configはGuardianの設定値が事前入力され、この実行に限りoverrideできます。 |
RUNNING → COMPLETEDまたはERROR）、完了時に結果が表示されます。結果・トレース・スコアは永続保存され、過去のExperimentをいつでも再照会できます。
採点方法
各itemはレスポンスが到着した瞬間に判定されます — expected action vs actual action、正解か不正解か。Experimentは以下を報告します:- Total Accuracy — actionが一致したitem数 / 全item数。
- Pass / Mask / Block Accuracy — datasetのAction Listにあるクラスごとの、expected action基準の正解率。
- PASS / FAIL — datasetにGoalがある場合のみ: Total Accuracy ≥ GoalならPASS。
結果の保存先
ExperimentのトレースはOpticonにGuardian › dataset › Experimentの階層で記録され、本番トラフィックとは厳密に分離されます:forge environmentタグ（本番トレースはdefault）、Experiment名 = session、dataset名 = user ID。本番のPASS / MASK / BLOCKメトリクスがテスト実行で汚染されることはなく、特定のExperimentのトレースだけを正確にフィルタリングできます。StarfortのExperiment履歴には、Forgeからトリガーした実行のみが表示されます。
失敗ケースからポリシーを改善する
Forgeは、従来は本番トラフィックの事後分析に頼っていたループを、事前検証で閉じます:失敗ケースを見つける
accuracyが低いExperimentで失敗したitem（accuracy = 0）を開き、各トレースを確認します — 入力、expected action、actual action。
ポリシーの修正
Guard Policyを修正し、新しいバージョンを発行します — 通常の編集・バージョン管理フローそのままです。
権限
| 操作 | 必要な権限 |
|---|---|
| Dataset・Experimentの照会 | Project Member以上 |
| Datasetの登録/編集、Experimentの実行 | test-execute IAM権限 |
| Datasetの削除 | Project Admin以上 |
| Guard Policyの修正・適用 | Project Admin以上（通常のポリシー編集と同じ） |
v1.3のForgeは意図的にテキスト専用・rule-basedです。ファイル/画像のdataset、LLM-as-judge評価、自動ポリシー最適化はこのバージョンの範囲外です。