메타, LLM 버그 탐지 시스템 사내 도입
최근 30일 조회수 —좋아요 —핵심 요약
메타가 코드 변경 전후의 동작 차이를 테스트해 버그를 찾는 JiTTests를 사내 인프라에 도입했다.

메타가 대규모언어모델(LLM) 기반 버그 탐지 시스템 ‘캐칭 저스트인타임 테스트(Catching JiTTests)’를 연구 시제품에서 실제 사내 인프라로 전환했다고 29일 발표했다. 수억 줄의 코드가 계속 바뀌는 환경에서 변경 사항이 반영되기 전에 실행 가능한 테스트를 자동 생성해 버그를 드러내는 방식이다.1
일반적인 LLM 코드 리뷰가 기존 경험을 토대로 결함을 판단하는 것과 달리, JiTTests는 코드 변경 전후의 구체적인 동작 차이를 입증하는 테스트를 만든다. 계산 단계는 더 많지만, 메타는 기존 LLM·에이전트 기반 리뷰가 놓칠 수 있는 유형의 버그를 찾을 수 있다고 설명했다.
시스템은 변경 의도와 위험을 추론해 예상 실패 지점을 겨냥하는 ‘의도 인식’ 흐름과, 모든 변경을 잠재적 버그로 간주해 동작 차이를 찾는 ‘도지 디프(dodgy diff)’ 흐름을 함께 쓴다. 규칙 기반 필터와 여러 최신 LLM의 판단을 종합하는 ‘LLM-as-Judge’로 오탐 가능성을 걸러내며, 사람의 검토는 유지하되 엔지니어에게 넘어가는 약한 탐지 사례를 줄였다. 작업은 여유 연산 자원을 활용해 야간에 전날 제출된 코드 변경을 대상으로 실행된다.
Footnotes
-
Meta Engineering, “Catching Bugs Before They Land: JiTTesting’s Human-on-the-Loop Approach at Full Scale” ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Catching Bugs Before They Land: JiTTesting’s Human-on-the-Loop Approach at Full Scale — Meta Engineering · 자료: 2026. 10. 30.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.