스마트폰의 AI 기능을 사용하다 보면 인터넷 연결이 없는 상황에서도 일부 기능이 계속 작동하는 모습을 발견하게 됩니다. 특히 비행기 모드나 통신이 불안정한 환경에서도 음성을 인식하거나 실시간 통역 기능이 동작하는 모습을 보면 “인터넷이 없어도 AI가 작동할 수 있구나”라는 생각이 들곤 합니다.
우리가 늘 쓰던 ChatGPT나 번역 서비스는 당연히 거대한 외부 서버(클라우드)를 거쳐야만 작동하는 줄 알았습니다. 하지만 요즘 나오는 최신 스마트폰들은 인터넷이 사막 한가운데서 끊겨도 스스로 생각하고 계산합니다. IT 업계에서 말하는 ‘온디바이스 AI(On-Device AI)’가 바로 이겁니다.
데이터센터로 날아가던 내 기록들
원리를 이해하려면 기존 방식부터 살펴볼 필요가 있습니다. 지금까지의 AI는 일종의 ‘원격 요청’이었습니다. 내가 질문을 입력하거나 사진을 찍으면, 그 데이터는 5G나 와이파이망을 타고 수천 킬로미터 떨어진 대형 데이터센터로 날아갑니다. 거기 있는 고성능 GPU 서버 수백 대가 계산을 끝낸 뒤 결과만 다시 내 스마트폰으로 쏴주는 방식이었죠.
편하긴 했지만 늘 두 가지 문제가 따라다녔습니다. 하나는 통신 환경에 따라 발생하는 미세한 지연 시간(Latency)이었고, 더 큰 문제는 바로 보안이었습니다.
실제로 2023년 3월, 삼성전자 DS(반도체) 부문에서 일부 엔지니어들이 장비 디버깅과 회의록 요약을 위해 사내 소스코드를 챗GPT에 입력했다가 외부 서버로 유출되는 사고가 터졌습니다. 비슷한 시기 JP모건, 뱅크오브아메리카 같은 글로벌 금융사들도 보안 위험을 이유로 일제히 사내 AI 접속을 차단하기도 했죠. 내가 입력한 민감한 정보가 언제든 AI 학습 데이터로 흘러 들어갈 수 있다는 위험성이 현실로 드러난 순간들이었습니다.
내 주머니 속 전용 반도체, NPU
온디바이스 AI는 이 문제를 아주 단순한 원리로 해결합니다. 데이터를 외부로 보내지 않고 기기 내부에서 모든 연산을 처리해 버리는 겁니다. 내 사진이나 대화 내용이 단 1바이트도 인터넷 망을 타지 않으니 유출될 위험 자체가 사라집니다.
이게 가능해진 핵심 배경에는 NPU(신경망처리장치)라는 전용 칩셋이 있습니다. 예전에는 모바일 칩셋의 성능이 부족해서 초거대 언어모델을 돌리는 게 불가능했지만, 최근 스마트폰이나 PC에 AI 전용 반도체가 탑재되고 AI 모델을 가볍게 다이어트시키는 경량화 기술이 발전하면서 내 주머니 속 기기가 직접 머리를 굴릴 수 있게 되었습니다.
빅테크 기업들이 온디바이스에 사활을 거는 데는 또 다른 현실적인 이유도 있습니다. 바로 어마어마한 전기세와 서버 비용입니다. 생성형 AI 질문 1건을 처리할 때 들어가는 전력과 인프라 비용은 기존 구글 검색의 수 배에 달합니다. 사용자가 수억 명으로 늘어날수록 기업 입장에서는 서버 유지비 부담으로 속이 타들어 갈 수밖에 없죠. 연산 부담의 일부를 사용자 각자의 스마트폰 칩셋으로 넘기는 것은 기업들에게도 생존이 걸린 비용 절감 전략입니다.
클라우드를 완전히 대체할 수 있을까?
그렇다면 앞으로 데이터센터나 클라우드 AI는 사라지게 될까요? 그렇지는 않습니다. 손바닥만 한 스마트폰 안에는 들어가는 반도체 크기와 배터리 용량에 명확한 한계가 존재하니까요.
수천억 개의 파라미터를 가진 초거대 모델을 스마트폰 단독으로 상시 돌렸다간 기기가 순식간에 뜨거워지고 배터리가 녹아내릴 겁니다. 그래서 지금 시장은 두 방식이 손을 잡는 ‘하이브리드 AI’ 체제로 가고 있습니다.
일상적인 사진 보정, 오프라인 음성 통역, 개인 문서 요약처럼 빠른 반응과 보안이 생명인 작업은 기기 안의 온디바이스 AI가 맡습니다. 반대로 복잡한 코딩 작업이나 고화질 영상 생성처럼 무거운 연산은 여전히 데이터센터의 클라우드 AI로 넘겨 처리하는 방식입니다.
기술의 중심이 옮겨가는 중
시장조사기관 가트너(Gartner)에 따르면, 2025년 기준 AI PC 출하량은 전체 PC 출하량의 약 31%를 차지했으며, 2026년에는 55%까지 늘어나며 시장의 주류로 자리 잡을 것으로 전망하고 있습니다.
0.1초의 판단 지연이 사고로 이어질 수 있는 자율주행차나, 인터넷 연결이 불안정한 환경에서 즉각 제어해야 하는 로봇 분야로 가보면 온디바이스 AI의 가치는 더더욱 또렷해집니다.
네트워크 줄에 묶여 있던 인공지능이 이제 줄을 끊고 내 손안의 기기 속으로 뿌리를 내리고 있습니다. 거대한 데이터센터 중심이던 AI의 주도권이 우리 각자의 디바이스로 천천히 이동하고 있는 셈입니다.