INPRO, WHYBIZ 인턴

같은 모체에서 분업한 INPRO와 WHYBIZ를 번갈아 근무하며 축산 CCTV 라벨링 데이터를 맡았습니다. 현지 작업자 4명이 6초 영상 클립을 각자 보고 유효와 무효로 나눴습니다. 추정 유병률은 유효와 무효가 대략 70 대 30입니다. 판정 기준이 문서 대신 사람의 감각에 있어서, 검수자 사이에 판정이 갈려도 원인을 가릴 수 없었습니다.

단조로운 시각 감시 과업에는 경계감소가 따라옵니다. 클립 하나에 30–36초가 걸리면 30분은 대략 50–60클립이고, 그 지점부터 탐지율이 떨어집니다. 피로와 주의 분산에 따른 성능 저하를 예측할 수 없고 오분류율 추세도 추적할 수 없으니, 품질 이상을 조기에 잡을 방법이 없었습니다.

그래서 세 가지를 만들었습니다. 검수 웹 페이지, 라벨링 판정 검수 매뉴얼, CCTV 데이터 라벨링 매뉴얼입니다.

모호했던 암묵적 검수 기준을 명시지로 이론화해 판정 기준을 세웠습니다. 통계적 품질관리는 오분류율을 p-관리도로 봅니다. `p̄ = 총 오분류 수 / 총 검수 수`로 중심선을 잡고 `UCL = p̄ + 3√(p̄(1-p̄)/n)`으로 관리한계선을 그어, 공통 원인과 특수 원인을 나눠 대응합니다. 합격판정 샘플링은 감사 배치의 합격 여부를 정합니다. 단일 샘플링 계획 (n, c)와 OC 곡선을 쓰고 AQL 5%, LTPD 15%를 기준으로 뒀고, ISO 2859-1의 정상·강화·완화 전환 규칙을 붙였습니다.

신호탐지이론은 정확도 한 숫자에 섞여 있던 두 가지를 분리합니다. Hit·Miss·False Alarm·Correct Rejection 네 칸에서 민감도 d′와 반응기준 c를 계산하면, 못 보고 넘긴 것과 기준이 지나치게 엄한 것을 따로 다룰 수 있습니다. 경계감소와 인간공학은 작업 설계로 이어졌습니다. 배치 크기 25–30클립, 휴식 5–10분이라는 규칙이 여기서 나온 숫자입니다.

DMAIC는 운영 주기의 뼈대입니다. 오분류율 목표를 Define 단계에서 10% 이하로 두고 최종 5%를 겨냥했고, 이진 데이터용 MSA인 속성 일치도 분석으로 측정 단계를 채웠습니다. 평가자 간 신뢰도는 우연 일치를 걷어냅니다. 매니저 블라인드 리뷰를 기준으로 Cohen's κ를 계산하고, Landis & Koch 척도에서 Substantial에 해당하는 κ ≥ 0.61을 목표로 뒀습니다. κ가 유병률에 흔들리는 구간에서는 PABAK과 Gwet's AC1을 함께 봅니다.

주간 운영은 일곱 단계로 고정했습니다. 배치 설계, 감사 실행, 지표 산출, p-관리도 모니터링, 합격·부적격 판정, 원인 분석, 개선 실행 순입니다. 감사 표본은 100건 규모로 잡고, 주간 감사 25건 기준으로는 오류 1개 이하면 합격, 2개 이상이면 부적격과 재감사로 처리합니다.

겹침, 가림, 원거리 촬영처럼 판단이 갈리는 장면을 모아 우선순위와 판정 기준을 정리했습니다. 실제 이미지와 예외 사례를 함께 넣어, 라벨을 만드는 쪽은 CCTV 데이터 라벨링 매뉴얼로, 라벨을 검수하는 쪽은 라벨링 판정 검수 매뉴얼로 같은 기준을 보게 했습니다.

기존 흐름에서는 라벨 파일과 관리자 검토가 따로 남아, 작업자별 정확도와 오류 이력을 계속 추적하기 어려웠습니다. 작업자마다 100건을 무작위로 뽑아 동의·비동의·보류를 기록하고, 잘못 누른 판정은 되돌릴 수 있게 만들었습니다.

판정 기록을 작업자 정확도, Wilson 신뢰구간, 일·주·월 추세와 KPI로 연결했습니다. 관리자는 같은 화면에서 검수 근거를 확인한 뒤 재교육·경고·유지 여부를 판단할 수 있습니다.

회사 데이터 구조를 사용해 작업자 1명의 라벨 100건을 표본으로 배치하고, 판정 저장과 원본 `USE_FLAG` 동기화를 시연했습니다. 실제 영상 재생과 외부 저장소 연동은 포함하지 않았고, 운영 배포나 품질 개선 효과도 검증하지 않았습니다.

기준값은 현장 파일럿 뒤 조정하는 것을 전제로 한 제안값입니다. 제안서 부록에 넣은 계산 예시는 공식을 보여주기 위한 가상 값이고, 실제로 측정한 κ나 d′가 아닙니다. 근거로는 참고문헌 15건을 함께 붙였습니다.