구글이 제미나이 3.7·3.6 플래시와 3.5 플래시라이트에 에이전틱 비디오 이해를 얹었다. 영상을 프레임 단위로 다 보지 않고 필요한 구간만 골라 탐정처럼 조사하는 방식이다. 토큰 소비는 최대 88%, 비용은 최대 66% 줄었고 정확도는 오히려 최대 7% 올랐다.
9월 1일, 구글이 제미나이에 또 하나의 업데이트를 얹었다. 🤖
이번엔 새 모델 발표가 아니라 영상을 보는 방식 자체를 바꾼 업데이트다. 제미나이 3.7 플래시, 3.6 플래시, 3.5 플래시라이트 세 모델에 '에이전틱 비디오 이해(Agentic Video Understanding)' 기능이 새로 붙었다.
원래 제미나이는 영상이 들어오면 처음부터 끝까지 고정된 프레임레이트로 쭉 훑었다. 10분짜리든 2시간짜리든 상관없이 촘촘하게 프레임을 뽑아서 다 밀어 넣는 식이었다. 그러다 보니 정작 중요한 장면은 몇 초 안 되는데, 토큰은 영상 길이에 비례해서 계속 늘어났다. 회의 녹화본 한 시간짜리를 분석하려 해도, 실제로 의미 있는 발언은 앞부분 5분과 마지막 결론 부분뿐인 경우가 흔한데 기존 방식은 그 사이 55분도 똑같은 밀도로 다 씹어 삼켰던 셈이다.
근데 새 방식은 다르다. 모델이 내부 툴을 호출해서 프레임, 오디오, 자막(트랜스크립트) 채널 가운데 뭘 볼지, 어느 구간을 얼마나 촘촘하게 살펴볼지를 스스로 판단한다. 처음엔 영상을 성글게 훑어보고, 단서가 될 만한 구간을 찾으면 그 부분만 다시 촘촘하게 파고드는 식이다. 구글 표현을 빌리면 마치 탐정처럼 단서를 쫓아 필요한 곳만 뒤지는 셈이다. 유튜브 롱폼 영상에서 특정 장면을 찾거나, 보안 카메라 영상에서 특정 사건이 발생한 순간을 짚어내거나, 광고 소재에서 로고가 노출된 구간만 골라내는 작업이라면 이 방식이 훨씬 자연스럽다.
말로만 들으면 그냥 최적화처럼 들리는데, 숫자로 보면 얘기가 좀 다르다.
구글이 공개한 벤치마크에 따르면 표준 영상 분석 작업 기준으로 토큰 소비는 최대 88%, 분석 비용은 최대 66% 줄었다. 그런데 정확도는 떨어지기는커녕 오히려 **최대 7%**까지 올라갔다는 게 더 눈에 띈다. 보통 이런 종류의 최적화는 정확도를 어느 정도 포기하는 트레이드오프가 따라붙기 마련인데, 이번엔 그 공식이 깨졌다.
실제 롱폼 영상 테스트 하나를 보면 감이 온다. 쿼리 하나당 토큰 소비가 397,600개에서 47,700개로 줄었다. 88.0% 감