Forge는 측정하고 가시화할 뿐, 정책을 대신 수정하지 않습니다. 평가는 expected action과 actual action의 결정적(deterministic) 비교이며(LLM 판정 없음), 정책 수정은 일반적인 Guard Policy 편집·버전 관리 흐름을 그대로 사용합니다.
Test Dataset
Test Dataset은 Project Guardian(정책을 테스트할 대상)에 종속됩니다. 한 Guardian에 여러 dataset을 둘 수 있습니다 — 예: “PII 공격 패턴”, “정상 입력”, “Edge case”. Dataset 이름은 소속 Guardian 안에서 유일하며, Guardian을 삭제하면 그 dataset과 모든 결과도 함께 삭제됩니다. Dataset의 각 item은 두 부분으로 구성됩니다:| 부분 | 내용 |
|---|---|
| 입력 | Guardian에 전달할 콘텐츠 — 멀티턴 대화(user / assistant 메시지의 순서 배열). v1.3은 텍스트만 지원합니다. |
| 기대 판정값 | Guardian이 내려야 할 판정 — 최종 action(PASS / MASK / BLOCK), 선택적으로 걸려야 할 정책 코드와 자유 텍스트 reason. |
Dataset 등록
프로젝트의 Guardian에서 Forge를 열고 dataset을 생성합니다:Guardian Action List
이 dataset이 평가 대상으로 삼는 action 집합(예: Pass / Mask / Block) — 클래스별 accuracy가 이 기준으로 산출됩니다.
Experiment
Experiment는 선택한 정책 구성으로 하나의 Test Dataset을 Project Guardian에 통과시켜 결과를 채점하는 1회의 실행입니다. 다음을 설정합니다:| 입력 | 비고 |
|---|---|
| Dataset (+ 버전) | Dataset이 대상 Guardian, Goal, Action List를 결정합니다. 버전 기본값은 최신입니다. |
| 이름 / 설명 | 선택 — 이름을 지정하지 않으면 process type과 정책 구성으로 자동 명명됩니다. |
| Policy 선택 | 서로 다른 정책 1개 이상, 각각 버전 1개를 지정(기본값 = 그 정책의 최신 버전). 같은 정책을 두 번 고를 수 없습니다 — 한 정책의 버전 간 비교는 별도 Experiment를 실행해 나란히 비교합니다. |
| Process type · model config | Guardian이 지원하는 process type 중 하나(기본값 = 첫 번째). Model config는 Guardian 설정값이 미리 채워지며 이 실행에 한해 override할 수 있습니다. |
RUNNING → COMPLETED 또는 ERROR), 완료 시 결과를 보여줍니다. 결과·트레이스·점수는 영구 보존되어 과거 Experiment를 언제든 다시 조회할 수 있습니다.
채점 방식
각 item은 응답이 도착하는 즉시 판정됩니다 — expected action vs actual action, 정답 또는 오답. Experiment는 다음을 보고합니다:- Total Accuracy — action이 일치한 item 수 / 전체 item 수.
- Pass / Mask / Block Accuracy — dataset의 Action List에 있는 클래스별, expected action 기준의 정답 비율.
- PASS / FAIL — dataset에 Goal이 있는 경우에만: Total Accuracy ≥ Goal이면 PASS.
결과가 저장되는 곳
Experiment 트레이스는 Opticon에 Guardian › dataset › Experiment 계층으로 기록되며, 운영 트래픽과 엄격히 분리됩니다:forge environment 태그(운영 트레이스는 default), Experiment 이름 = session, dataset 이름 = user ID. 운영 PASS / MASK / BLOCK 지표가 테스트 실행으로 오염되지 않고, 특정 Experiment의 트레이스만 정확히 필터링할 수 있습니다. Starfort의 Experiment 이력에는 Forge에서 트리거한 실행만 표시됩니다.
실패 케이스로 정책 개선하기
Forge는 기존에 운영 트래픽 사후 분석에 의존하던 루프를 사전 검증으로 닫아줍니다:실패 케이스 찾기
accuracy가 낮은 Experiment에서 실패한 item(accuracy = 0)을 열어 각 트레이스를 확인합니다 — 입력, expected action, actual action.
정책 수정
Guard Policy를 수정하고 새 버전을 발행합니다 — 일반적인 편집·버전 관리 흐름 그대로입니다.
권한
| 작업 | 필요 권한 |
|---|---|
| Dataset · Experiment 조회 | Project Member 이상 |
| Dataset 등록/수정, Experiment 실행 | test-execute IAM 권한 |
| Dataset 삭제 | Project Admin 이상 |
| Guard Policy 수정·반영 | Project Admin 이상 (일반 정책 편집과 동일) |
v1.3의 Forge는 의도적으로 텍스트 전용·rule-based입니다. 파일/이미지 dataset, LLM-as-judge 평가, 자동 정책 최적화는 이번 버전 범위 밖입니다.