생성형 AI를 꾸준히 활용하다 보면 모델 성능보다 실제 운영 비용과 사용 환경이 업무 효율에 더 큰 영향을 미친다는 점을 자연스럽게 느끼게 됩니다. 처음에는 간단한 문서 작성이나 정보 검색 정도로 시작하지만, 이미지 생성이나 대량 데이터 분석처럼 사용량이 늘어나면 처리 속도와 이용 비용에 대한 부담도 함께 커집니다.
특히 기업이 AI를 고객 상담이나 업무 자동화 시스템에 본격적으로 적용할 경우에는 문제가 더욱 현실적으로 다가옵니다. API 호출량이 늘어날수록 운영 비용이 빠르게 증가하고, 외부 서버로 데이터를 전송해야 한다는 점도 부담으로 작용하기 때문입니다.
이러한 이유로 최근에는 특정 기업의 유료 AI 서비스에만 의존하기보다, 메타의 Llama와 같은 개방형 모델을 자체 환경에 구축하려는 움직임이 확산되고 있습니다. 초기 구축과 관리에는 전문적인 역량이 필요하지만, 장기적으로 비용을 조절하고 데이터를 직접 관리할 수 있다는 장점이 있기 때문입니다.
최근 AI 시장에서 오픈소스 AI가 빠르게 영향력을 넓히는 배경에는 개방이라는 상징적인 의미만 있는 것이 아닙니다. 기업과 개발자들이 실제로 마주하는 비용 부담과 데이터 보안, 서비스 운영의 유연성 같은 현실적인 문제가 함께 자리하고 있습니다.
API 비용 압박과 ‘딥시크 쇼크’가 불러온 파장
불과 얼마 전까지만 해도 빅테크의 독점 모델을 사용하는 것 외에는 뚜렷한 대안이 없어 보였습니다. 하지만 분위기를 바꾼 것은 상용 AI 모델의 높은 운영 비용과, 이에 맞서 등장한 개방형 모델들의 가격 경쟁력이었습니다.
특히 AI 업계를 뒤흔든 DeepSeek(딥시크)의 등장은 결정적인 계기가 됐습니다.
기반 모델인 DeepSeek-V3의 최종 사전학습 비용이 단 600만 달러(약 80억 원) 안팎으로 공개되며 업계에 커다란 충격을 주었습니다. 물론 이 수치는 전체 연구개발비가 아닌 순수 최종 학습 단계에 들어간 자원 비용에 가깝다는 반론도 존재하지만, 수천억 원이 들던 기존 학습 비용을 획기적으로 낮춘 선례를 보여주기엔 충분했습니다.
이어서 출시된 DeepSeek-R1 역시 OpenAI의 GPT-4o 대비 API 호출 단가를 10분의 1 수준으로 떨어뜨렸고, 기업들은 “굳이 갇힌 생태계에 매달릴 이유가 없다”는 확신을 갖게 되었습니다.
“내 데이터가 왜 외부로?” 보안과 소버린 AI의 부상
비용만큼이나 무서운 것은 ‘데이터 주권’ 문제입니다. 금융권이나 의료, 법률 분야 기업들이 빅테크의 클라우드 API 도입을 주저하는 가장 큰 이유는 보안입니다.
고객의 개인정보나 내부 핵심 기술 데이터가 외부 API 서버로 전송되는 순간, 엄격한 규제 기준을 위반하거나 데이터 유출 리스크를 안게 되기 때문입니다.
이러한 한계 때문에 기업 내부망(On-Premise)에 통째로 설치해 쓸 수 있는 오픈소스 모델이 실질적인 해법으로 떠올랐습니다. 국내에서도 스타트업 업스테이지(Upstage)의 Solar 모델이나 엔씨소프트의 Varco, 그리고 여러 지자체들이 자체 서버에 오픈소스 LLM을 이식해 독자적인 ‘소버린 AI(Sovereign AI)’를 구축하는 사례가 눈에 띄게 늘어난 배경입니다.
허깅페이스와 LoRA가 만든 ‘집단지성’의 속도
오픈소스가 폐쇄형 AI의 성능을 턱밑까지 추격할 수 있었던 일등 공신은 전 세계 개발자 커뮤니티입니다.
AI 공유 플랫폼인 허깅페이스(Hugging Face)에는 지금 이 순간에도 수십만 개의 파생 모델과 데이터셋이 올라옵니다. 여기에 LoRA(Low-Rank Adaptation)나 양자화(Quantization) 같은 경량화 기술이 비약적으로 발전하면서, 수백억 원짜리 GPU 클러스터가 없어도 일반 고성능 그래픽카드 몇 대 수준에서 AI를 미세조정(Fine-tuning)할 수 있는 환경이 열렸습니다.
한 기업의 연구팀이 밤을 새우며 모델을 업데이트하는 속도보다, 전 세계 개발자들이 깃허브(GitHub)에서 버그를 잡고 최적화 코드를 공유하는 속도가 훨씬 빠른 셈입니다.
메타는 왜 수조 원짜리 모델을 공짜로 풀었을까?
재미있는 점은 빅테크 내부의 전략 차이입니다. OpenAI와 구글이 장벽을 높게 쌓는 동안, 메타(Meta)는 라마(Llama) 시리즈를 오픈소스로 풀어버리는 반대 전략을 취했습니다.
마크 저커버그의 계산은 명확했습니다.
- 시장 표준을 자사의 Llama 생태계로 통일시키고,
- 전 세계 개발자들이 알아서 라마의 버그를 고치고 성능을 올리게 만든 뒤,
- 자신들은 그 생태계 위에서 자사 서비스(인스타그램, 메타버스 등)에 AI를 녹여 이득을 취한다는 전략입니다.
이 전략은 매우 효과적이었고, 실제로 글로벌 AI 스타트업 생태계의 상당수가 메타의 라마나 미스트랄 AI의 프레임워크를 기반으로 자사 제품을 개발하는 흐름으로 이어졌습니다.
그래도 아직 넘어야 할 산
물론 현업에서 오픈소스 모델을 바로 도입하기엔 몇 가지 걸림돌도 있습니다.
- 운영 엔지니어링의 공수: API는 호출만 하면 끝이지만, 오픈소스는 직접 서버를 띄우고 메모리를 관리하며 트래픽을 분산시켜야 하므로 인프라 엔지니어링 역량이 필수적입니다.
- 보안과 악용의 양날의 검: 오남용 방지 가드레일이 풀린 모델들이 유포될 경우, 가짜 뉴스나 악성코드 생성에 악용될 위험이 폐쇄형 모델보다 높습니다.
- 최상위 추론 능력의 한계: 수수께끼나 복잡한 수학적 추론, 최신 벤치마크 상위 1% 영역에서는 여전히 폐쇄형 플래그십 모델들이 우위를 차지하고 있습니다.
결국 AI 시장은 어떻게 재편될까?
앞으로의 AI 시장은 어느 한쪽의 완승으로 끝나지 않을 것입니다.
초고난도 추론이나 대규모 멀티모달 처리가 필요한 영역은 OpenAI나 구글 같은 폐쇄형 구독 모델이 차지하고, 보안이 중요한 기업 내부 시스템, 비용 효율성이 극대화되어야 하는 서비스, 특정 도메인 특화 AI는 오픈소스 가공 모델이 장악하는 ‘양극화 공존’ 구조로 고착될 가능성이 높습니다.
거대한 자본을 무기로 한 독점 체제와, 압도적인 생태계 속도로 무장한 개방형 진영의 겨루기. 기술을 직접 활용해야 하는 우리 입장에서는, 이 두 축의 장단점을 명확히 인지하고 상황에 맞게 섞어 쓰는 영리한 전략이 필요한 때입니다.