구글 지니 4 공개…가상 세계를 돌아다니며 글로 날씨를 바꾼다

호수 위에서 색소폰을 부는 사람 뒤로 고래 꼬리가 솟는다. 조금 전까지만 해도 물안개가 끼어 있던 자리다. 화면을 조작하던 사람이 연주자 뒤에 고래 꼬리를 띄워 달라고 입력하자 호수 풍경이 달라졌다. 구글 딥마인드가 10월 27일 공개한 ‘지니 4(Genie 4)’ 시연의 한 대목이다.

지니 4는 키보드로 가상의 장소를 돌아다니면서 글로 그곳의 날씨나 등장인물, 물건까지 바꾸는 월드 모델이다. 움직이는 화면을 그릴 때 말소리와 연주, 주위 소리도 함께 만든다. 구글은 제작자와 연구 파트너 일부에 먼저 개방했다. 11월 2일 현재 일반 이용자에게 공개한 것은 조작을 녹화한 영상과 대기 신청 안내다.

사진은 메르세데스-벤츠가 2025년 3월 공개한 베를린 공장의 아폴로다. 작업대 앞에 선 로봇의 가슴에는 자동차 회사의 삼각별이 붙어 있고 손에는 공구가 들려 있다. 이곳에서 회사가 시험한 일은 부품 운반과 초기 품질 검사다. 같은 기종이 이번 딥마인드 발표에도 등장한다. 지니가 그려 낸 아폴로 앞에는 자동차 부품 대신 빨간 말과 흰 말이 놓인 체커판이 있다.

연주자를 그대로 두고 호수와 날씨를 바꿨다

호수 장면의 첫 화면은 한 장의 참고 이미지에서 출발했다. 딥마인드가 함께 공개한 입력문에는 물에 뜬 사각 발판과 그 위의 나무, 불이 켜진 둥근 구를 남겨 두라는 조건이 담겼다. 남자는 색소폰을 계속 불되 카메라는 연주자나 발판에 묶이지 않고 물 위를 움직이도록 했다. 배경 음악을 따로 깔지 말고 악기 소리와 물소리, 먼 곳의 바람 소리만 들려 달라는 주문도 있었다.

연주자의 등 뒤, 화면 오른쪽 물 위로 길쭉한 꼬리 한쪽이 보인다. 원래 호수에는 없던 물체다. 시연에서 조작자는 화면 아래에 고래를 요청한 뒤 곧바로 날씨를 고친다. 잠시 뒤 카메라가 연주자의 얼굴로 다가가자 옷깃과 머리카락에 흰 눈이 붙어 있다. 고래나 눈을 새로 불러들일 때도 연주자는 화면에서 색소폰을 입에 대고 있다.

두 조작을 구분해 보면 변화가 잘 보인다. 단순히 연주자 가까이 다가가거나 시선을 돌릴 때는 화면 양쪽에 표시된 키를 누른다. 호수에서 일어날 일을 바꿀 때는 문장을 넣는다. 딥마인드는 입력 사이에도 제미나이가 새로 나온 화면을 살피며 다음 동작을 조정한다고 설명했다. 구글은 모델 페이지에서 시연이 실시간 조작을 녹화한 것이며 공개본의 일부 구간을 줄였다고 밝혔다. 이 영상만으로 입력 뒤 반응이 나오기까지 걸린 시간을 잴 수는 없다.

구글에 따르면 초기 이용자 중 영화 제작자들은 같은 가상 장면에서 촬영을 여러 번 해 보듯 조명과 카메라 각도, 대사와 동작을 바꿔 봤다. 인물이 건네는 말은 새로 나타난 상대나 장면 속 사건에 반응해 달라질 수 있다. 구글은 실시간으로 만드는 음향의 정확도를 개선 과제로 꼽았다. 생성한 영상과 소리 양쪽에는 맨눈이나 귀로 알아채기 어려운 워터마크인 신스ID(SynthID)를 넣는다.

체커 말 하나를 옮길 때 아르곤이 써 준 지시

딥마인드는 여러 동작을 순서대로 이어 가는 실험도 공개했다. 일반 시연에서 제미나이 3.8 플래시는 목표를 작은 단계로 나누고, 되돌아온 화면을 보고 앞 단계가 끝났는지 살핀다. 로봇이 체커를 두는 별도 실험에는 제미나이 4 아르곤을 붙였다. 아르곤이 동작을 하나씩 글로 써서 건네면 지니가 진행 중인 화면에 그 지시를 반영한다.

가운데 체커판을 내려다보는 시점에서 왼손은 빨간 말 가까이에, 오른손은 금속 난간 쪽에 있다. 이때 아르곤이 내린 14번째 지시는 왼손으로 빨간 말을 왼쪽 대각선의 빈칸에 옮기라는 것이다. 어느 손을 써야 하는지에 더해 오른손은 그대로 두고 말이 나무판에 미끄러지는 소리까지 내도록 지정했다. 영상 속 손과 말은 지니가 만들어 낸 결과다. 실물 아폴로가 이 지시를 받아 말을 집는 실험은 이번 발표에 실리지 않았다.

체커 게임은 말이 어디 있었는지를 기억해야 성립한다. 시점을 한 바퀴 돌리고 돌아왔을 때, 방금 둔 말이 같은 칸에 있어야 다음 수를 둘 수 있다. 딥마인드에 따르면 지니 4는 공간을 오래 돌아다니거나 복잡한 편집을 여러 차례 하면 눈앞에서 사라졌던 물체의 모습과 위치가 바뀔 수 있다. 실제 장소를 정확히 되살리거나, 처음 입력에 없던 간판의 글씨까지 또렷하게 보여 주는 일도 아직 어렵다고 한다.

울트라를 구독하면 지금 지니 4를 쓸 수 있을까

11월 2일 확인한 지니 4 모델 페이지에는 회사가 선정한 테스터에게 연구용 미리보기를 제공한다고 적혀 있다. 구글이 다음 순서로 예고한 대상은 Project Genie의 구글 AI 울트라 구독자, 제미나이 API와 구글 AI 스튜디오의 조기 이용 파트너다. 구체적인 시작일은 공개하지 않았다. Project Genie용 지니 4 대기 명단은 지금 신청할 수 있다.

이미 운영 중인 Project Genie에는 별도 이용 안내가 있다. 구글 Labs의 한국어 도움말은 울트라를 제공하는 지역의 만 18세 이상 가입자가 로그인해 텍스트나 이미지로 가상 공간을 만들고, 생성된 공간을 60초간 탐색할 수 있다고 설명한다. 같은 문서가 설명하는 모델은 지니 3다. 지니 4에 대해서는 딥마인드가 모델 페이지에서 한 번에 몇 분간 상호작용할 수 있다고 설명했다. 정확히 몇 분인지는 밝히지 않았다.