Fablize - Fabulous 메인테이너

· research · collaboration · multi-contributor · Fablize·Fabulous 메인테이너·실험 설계·협업 운영

OUTPUT
모델 사이에 옮겨지는 작업 절차의 확인
INPUT
모델별 작업 품질 차이
PIN
5개 실험군 사전등록 · 34개 유효 arm 수집 · 블라인드 인간 평가 · H1·H2 반복 검증
RESULT
제출한 PR 14건이 병합됐고, 2026-08-13 GitHub 집계 기준 커밋 14건을 기록했습니다.에이전트 위임 실험 PR ↗수집·PII 결함 3건 ↗

PROCESS

풀이과정

  1. 01
    모델별 작업 품질 차이
  2. 02
    5개 실험군 사전등록
  3. 03
    34개 유효 arm 수집
  4. 04
    블라인드 인간 평가
  5. 05
    H1·H2 반복 검증
  6. 06
    모델 사이에 옮겨지는 작업 절차의 확인
모델 간 작업 절차 재현성 비교
Fable 5에서 효과가 있었던 위임 방식이 Opus에서도 통하는지 보려면, 같은 조건에서 결과를 비교해야 했습니다. 실험 조건을 미리 정하고 결과를 가린 채 평가해, 모델 자체의 능력과 다른 모델에서도 재현되는 작업 절차를 구분하려 했습니다.
정식 산출물은 `최종 보고 — 에이전트 위임 실험군 (α·β·γ·γ-F·δ) + 블라인드 인간 판정`입니다.
사전등록과 반복 실험
5개 실험군을 사전등록하고 유효 arm 34개와 평가 자료를 정리했습니다. 첫 결과 위에 H1·H2 반복 실험을 더해, 결론이 같은 방향으로 유지되는지 확인했습니다.
메인테이너로 운영한 협업
Fabulous 저장소에 제출한 PR 14건이 병합됐고, 수집 도구의 인자 처리·카드번호 오탐·dashed-email 누락 문제를 이슈로 재현했습니다. 메인테이너가 세 문제를 수정하고 테스트를 추가했으며, 새 PII 규칙은 병합 전 데이터에서 14건을 잡아냈습니다.
Fabulous에서 검증한 작업 절차와 기여자 피드백을 Fablize의 개선 방향으로 연결하고, 연구 기준과 협업 품질을 함께 관리했습니다.
관련 자료
[에이전트 위임 실험 PR](https://github.com/fivetaku/fabulous/pull/49)
[수집·PII 결함 3건](https://github.com/fivetaku/fabulous/issues/56)