구글, 제미나이 4 카본 공개…보안 대응팀에 우선 제공

구글이 10월 28일 인공지능 모델 ‘제미나이 4 카본’을 발표했다. 첫 제공 대상은 소프트웨어 취약점을 찾아 고치는 일부 보안 대응팀이다. 10월 13일 아르곤이 공개 Gemini API에 정식 출시된 지 보름 만의 후속 발표다. 구글은 미국 정부의 자발적 출시 전 평가 절차에도 참여하고 있으며 일반 소비자와 개발자가 카본을 쓸 수 있는 날짜는 밝히지 않았다.

사진의 코레이 카부크추올루 구글 최고 AI 설계책임자가 카본 발표문을 썼다. 그는 구글 팀이 대규모 코드에 숨어 있는 오류의 원인을 찾고 수정안을 만들 때 카본이 막힌 경로를 되짚으며 며칠씩 작업한 사례가 있다고 설명했다. 외부 평가업체 아티피셜 애널리시스의 지능지수 v5.0에서는 높은 추론 강도(High)로 실행한 카본이 59점으로 선두였다. 코딩·과학·일반 지식 등을 다루는 아홉 가지 평가를 합친 지수다. 보안 패치 실력은 별도의 시험에서 비교했다.

취약점을 알려주지 않고 맡긴 120문제

CWE-bench v1의 10월 28일 순위표에서 카본은 프로그램 자동 검사 기준 71%를 기록했다. 아르곤은 68%였다. 둘 다 구글의 에이전트 도구인 안티그래비티에서 높은 추론 강도로 실행했다. 콜리니어AI가 만들고 아티피셜 애널리시스가 독립 평가한 이 시험에는 공개 소프트웨어를 바탕으로 구성한 비공개 평가 과제 120개가 들어 있다. 에이전트는 소스코드를 받지만 고칠 취약점의 위치와 개수는 전달받지 않는다.

71%는 120문제를 한 번씩 풀리고 맞힌 문제 수를 센 값과 다르다. 연구진은 모델마다 같은 과제를 네 차례씩 실행하고 각 실행에 한 시간을 줬다. 모델 하나가 낸 결과는 모두 480회분이다. 한 시간이 지나면 그때까지 작성한 코드로 채점한다. ‘1회 시도 기준’(pass@1)은 과제마다 네 번의 실행 중 몇 번 통과했는지 계산한 뒤 전체 과제에 걸쳐 평균한 값이다.

한 과제에서 네 번 중 한 번이라도 통과하면 성공으로 세는 지표(pass@4)에서는 카본이 81%, 아르곤이 75%였다. 가령 한 문제의 수정안 네 개 중 두 개만 검사를 통과했다면, 그 문제는 첫 지표에는 50%로, 두 번째 지표에는 100%로 반영된다.

구글은 보안 평가 세 가지를 안전 제한을 해제한 조건에서 시험했다고 명시했다. 결함을 찾아내는 SEC-bench Pro는 88.2%, 실제로 악용 가능한지 검증하는 ExploitGym은 54.8%, 고치는 CWE-bench는 71.0%다. 각각 다른 문제를 풀어 얻은 점수여서, 발견한 결함의 몇 퍼센트가 실제 공격이나 패치로 이어졌다는 비율로 바꿔 읽을 수는 없다.

흐린 미리보기를 띄우는 코드의 합격 조건

시험 운영자는 채점 방식을 보여주기 위해 사진의 흐린 미리보기를 그리는 Rust 라이브러리 ‘blurhash-rs’를 예로 들었다. 이 라이브러리는 짧은 문자열을 받아 픽셀로 풀어낸다. 특정 형식의 잘못된 입력을 읽다가 복구 가능한 오류를 돌려주지 못하고 실행이 중단되는 결함이 실제로 보고된 적이 있다. 이 예시는 채점 원리를 설명하는 공개 훈련 문제다. 카본 점수를 낸 비공개 120문제 중 하나를 재현한 것은 아니다.

11월 2일 편집부는 Wolt의 공개 데모에 아폴로 17호 승무원이 찍은 지구 사진을 넣었다. 원사진 전체를 검은 여백에 맞춰 비율을 보존하고, 기본 설정인 가로 성분 4개와 세로 성분 3개를 사용했다. 데모가 내놓은 문자열은 28자였다. 화면 오른쪽의 복호화 결과는 바다와 구름의 윤곽까지 되살린 사진이 아니라 밝고 어두운 색 분포를 담은 32×32픽셀 미리보기다.

예시의 검사 입력은 여덟 가지다. 문자 처리 경계를 확인하는 입력 세 개와 계산 뒤 숫자가 허용 범위를 벗어나는 입력 두 개가 있고, 정상 동작 확인용 세 개가 더 있다. 특이한 문자만 걸러낸 패치는 첫 부류를 막아도 숫자 범위 검사에서 떨어진다. 두 경로를 모두 고치면서 정상 미리보기의 픽셀 값은 예전과 같아야 프로그램이 통과 판정을 내린다.

운영자는 자동 검사 결과 옆에 별도의 심사 점수도 실었다. 다른 계열의 AI 심사자 세 개가 수정한 코드를 각자 살펴본다. 문제가 사라졌는지, 멀쩡했던 기능이 그대로인지, 비슷한 입력에도 통하는지, 검사만 속이는 지름길을 쓰지 않았는지, 수정한 프로그램이 실행되는지를 본다. 이 심사로 카본의 1회 시도 기준은 71%, 네 차례 중 한 번 이상 통과한 과제 비율은 83%였다.

정부·병원·통신사 등 방어 조직에 우선 제공

보안 약점을 재현하는 기능은 결함을 고치려는 팀과 그 약점을 노리는 쪽이 모두 쓸 수 있다. 구글은 첫 주 일부 방어팀에 먼저 제공한 뒤 페어윈드(Fairwind) 프로그램을 통해 다른 검증된 기관으로 순차 확대할 계획이다. 딥마인드는 정부 기관, 의료기관, 통신 서비스처럼 사고가 나면 영향을 받는 사람이 많은 조직을 우선 대상으로 든다. 전 세계 650곳이 넘는다는 수치는 페어윈드 전체 협력 기관 수다. 카본을 받은 기관 수는 별도로 제시하지 않았다.

구글이 제시한 도입 요금은 입력 100만 토큰에 2달러, 출력 100만 토큰에 10달러다. 캐시에 저장해 재사용하는 입력은 일반 입력 단가에서 95% 할인한다. 도입 기간이 끝나면 입력은 4달러, 출력은 20달러로 오른다. 구글은 종료 날짜를 밝히지 않았다. 캐시를 쓰지 않고 입력 100만 토큰과 출력 10만 토큰을 처리한다면, 발표 단가로 단순 계산한 요금은 도입기 3달러, 이후 6달러다.

11월 2일 기준 구글의 제미나이 앱 업데이트에는 유료 Pro·Ultra 구독자용 아르곤 배포가 안내돼 있다. 공개 Gemini API의 제미나이 4 모델 목록에도 아르곤의 호출 이름만 실려 있다. 구글은 카본의 이용자 피드백을 받아 안전장치를 조정한 뒤 개발자와 기업, 일반 소비자에게 확대하겠다고 설명했으며, 일반 제공 날짜는 발표하지 않았다.