생성형 AI의 발전은 단순히 글을 더 자연스럽게 작성하는 수준에 머물지 않고 있습니다. AI는 사진까지 이해하며, 음성을 듣고, 영상을 분석하며 서로 다른 형태의 정보를 하나로 연결하는 방향으로 진화하고 있습니다. 이러한 변화 덕분에 AI는 단순한 문서 작성 도구를 넘어 다양한 상황을 이해하고 문제를 해결하는 지능형 도우미로 활용 범위를 넓혀가고 있습니다.
실제 활용 방식도 달라지고 있습니다. 외국어 설명서를 번역하거나 제품 사진을 함께 보여주며 사용 방법을 묻고, 복잡한 그래프나 차트를 분석해 달라고 요청하는 일은 점차 일상적인 활용 방식이 되고 있습니다. AI는 텍스트와 이미지를 각각 따로 처리하는 것이 아니라 서로의 관계를 이해해 하나의 답변으로 정리해 줍니다.
예를 들어 제품 설명서 이미지와 기기 사진을 함께 올린 뒤 “설명서를 번역하고 어떤 부분을 연결해야 하는지 알려 달라”고 요청하면, AI는 문장을 번역하는 것에 그치지 않고 사진 속 구조를 분석해 필요한 위치를 설명하거나 시각적으로 표시해 줄 수도 있습니다. 서로 다른 형태의 정보를 하나의 맥락으로 연결해 답을 제시할 수 있게 된 것입니다.
이처럼 텍스트와 이미지, 음성, 영상 등 서로 다른 형태의 정보를 함께 이해하고 처리하는 기술을 멀티모달 AI(Multimodal AI)라고 합니다. 최근 AI 산업에서 가장 발전하는 분야 중 하나로 꼽히며, 다양한 서비스와 산업 현장으로 활용 범위를 넓혀가고 있습니다.
글자만 읽던 AI가 ‘눈과 귀’를 얻은 이유
‘모달(Modal)’은 인공지능이 정보를 받아들이고 표현하는 ‘형태’를 의미합니다. 사람이 세상을 인식할 때 눈으로 보고, 귀로 듣고, 말로 하듯 AI도 다채로운 형태의 데이터를 다루기 시작한 것입니다.
- 텍스트: 글자와 기호
- 시각 정보: 이미지, 사진, 도면, 차트
- 청각 정보: 음성, 소리
- 동적 정보: 실시간 영상(비디오)
초기 생성형 AI가 문장에만 집중했던 ‘외눈박이’였다면, 멀티모달 AI는 인간처럼 여러 감각을 동시에 활용합니다. 복잡한 그래프 이미지를 보여주면 즉시 핵심 수치를 요약하고, 손글씨 영수증 사진에서 숫자만 골라내며, 목소리의 톤을 듣고 상대방의 기분까지 파악해 냅니다.
빅테크들이 펼치는 ‘진짜’ 멀티모달 경쟁
글로벌 AI 기업들의 주도권 싸움 역시 단순히 글을 잘 쓰는 모델이 아니라, “얼마나 시각과 음성을 매끄럽게 연결하는가”로 전환되었습니다.
- OpenAI (GPT-4o): ‘o(Omni)’라는 이름답게 텍스트, 음성, 시각 정보를 단일 모델에서 실시간으로 처리하는 방식을 선보였습니다. 화면을 카메라로 비추면 사람이 보고 있는 화면을 실시간으로 함께 보며 대화하는 기능을 구현했습니다.
- Google (Gemini 1.5 Pro): 대용량 문맥 창(Context Window)을 무기로 1시간 분량의 영상이나 수백 페이지짜리 PDF 문서를 통째로 읽어 들여 시각 자료와 텍스트를 한꺼번에 분석하는 강점을 보였습니다.
- Anthropic (Claude 3.5 Sonnet): 복잡한 차트 해석이나 손으로 그린 웹사이트 와이어프레임(구상도) 사진을 보고 즉시 작동하는 프로그래밍 코드로 변환하는 시각적 이해력을 공식 발표하며 주목받았습니다.
이미 우리 삶과 산업 현장에 파고든 기술
이러한 변화는 뜬구름 잡는 소리가 아니라 실제 산업 현장의 체질을 바꾸고 있습니다.
의료 현장에서는 마이크로소프트의 AI 임상 문서화 솔루션인 ‘뉴언스 DAX(Nuance DAX)’가 의사와 환자의 대화 음성을 듣는 동시에 X-ray와 진료 기록 등 다양한 의료 정보를 함께 분석해 자동으로 진료 기록을 작성합니다. 덕분에 의사는 차트 입력에 신경 쓰기보다 환자와의 대화와 진료에 더욱 집중할 수 있습니다.
유통/이커머스 분야에서도 아마존의 AI 쇼핑 도우미 Rufus처럼 사용자가 찍은 상품 사진과 텍스트 질문, 기존 리뷰 데이터를 한꺼번에 학습해 정확한 상품을 추천하는 방식이 표준으로 자리 잡고 있습니다.
앞으로 무엇이 달라질까?
멀티모달 AI의 진화는 스마트폰 화면 안에만 갇혀 있지 않을 것입니다. 0.1초의 시각적 상황 판단과 음성 제어가 필수적인 자율주행차, 사용자의 행동을 눈으로 보고 돕는 AI 로보틱스, 그리고 사용자 눈앞의 화면을 실시간 분석해 작업 지시를 내리는 AI 에이전트로 자연스럽게 확장되고 있습니다.
텍스트로 질문을 다듬고 입력하느라 스트레스를 받던 시대는 끝나가고 있습니다. 이제는 그냥 눈에 보이는 것을 찍어 보여주거나 말로 전달하면 되는, 가장 ‘인간다운’ 인공지능의 시대가 본격적으로 시작되었습니다.