Fablize - Fabulous 메인테이너
- OUTPUT
- 모델 사이에 옮겨지는 작업 절차의 확인
- INPUT
- 모델별 작업 품질 차이
- PIN
- 5개 실험군 사전등록 · 34개 유효 arm 수집 · 블라인드 인간 평가 · H1·H2 반복 검증
- RESULT
- 제출한 PR 14건이 병합됐고, 2026-08-13 GitHub 집계 기준 커밋 14건을 기록했습니다.에이전트 위임 실험 PR ↗수집·PII 결함 3건 ↗
PROCESS
풀이과정
- 01모델별 작업 품질 차이
- 025개 실험군 사전등록
- 0334개 유효 arm 수집
- 04블라인드 인간 평가
- 05H1·H2 반복 검증
- 06모델 사이에 옮겨지는 작업 절차의 확인
모델 간 작업 절차 재현성 비교
Fable 5에서 효과가 있었던 위임 방식이 Opus에서도 통하는지 보려면, 같은 조건에서 결과를 비교해야 했습니다. 실험 조건을 미리 정하고 결과를 가린 채 평가해, 모델 자체의 능력과 다른 모델에서도 재현되는 작업 절차를 구분하려 했습니다.
정식 산출물은 `최종 보고 — 에이전트 위임 실험군 (α·β·γ·γ-F·δ) + 블라인드 인간 판정`입니다.
사전등록과 반복 실험
5개 실험군을 사전등록하고 유효 arm 34개와 평가 자료를 정리했습니다. 첫 결과 위에 H1·H2 반복 실험을 더해, 결론이 같은 방향으로 유지되는지 확인했습니다.
메인테이너로 운영한 협업
Fabulous 저장소에 제출한 PR 14건이 병합됐고, 수집 도구의 인자 처리·카드번호 오탐·dashed-email 누락 문제를 이슈로 재현했습니다. 메인테이너가 세 문제를 수정하고 테스트를 추가했으며, 새 PII 규칙은 병합 전 데이터에서 14건을 잡아냈습니다.
Fabulous에서 검증한 작업 절차와 기여자 피드백을 Fablize의 개선 방향으로 연결하고, 연구 기준과 협업 품질을 함께 관리했습니다.
관련 자료
[에이전트 위임 실험 PR](https://github.com/fivetaku/fabulous/pull/49)
[수집·PII 결함 3건](https://github.com/fivetaku/fabulous/issues/56)