한눈에 요약
- 서버를 부르지 않고 휴대폰이나 노트북 같은 기기 안에서 직접 AI 모델을 돌리는 방식이다.
- 장점은 둘이다. 호출할 때마다 나가는 사용료가 없고, 데이터가 기기 밖으로 나가지 않는다.
- 대신 기기에 올라갈 만큼 모델이 작아야 해서 성능에 한계가 있다. 그 한계를 어디까지 좁혔는지가 관전 포인트다.
- 이 위키에서는 주로 구글 Gemma 계열 모델을 통해 다룬다.
왜 기기 안에서 돌리나
**온디바이스 AI(On-Device AI)**는 클라우드 API 호출 없이 핸드폰 등 엣지(edge) 기기 자체에서 AI 모델을 돌리는 방식이다. 가장 큰 이점은 API 비용이 0이라는 점으로, 로컬에서 무료로 AI를 구동할 수 있다 12. 이 위키에서 온디바이스 AI는 주로 구글 Gemma 모델을 통해 다뤄진다.
구글 Gemma — 사이즈 대비 퍼포먼스 지향
Gemma 모델군은 고성능보다 엣지에서 쓸 수 있는 AI를 지향한다. 사이즈 대비 높은 퍼포먼스가 목표다 12.
영상은 Gemma 4 모델을 다룬다(2026-03-31 출시, 영상 시점 최신). 2026-07 현재는 다음 세대가 전망되는 단계다.
- 베리에이션 — 고성능 컴퓨팅용 31B·26B 모델과 온디바이스용 E2B(2B 파라미터)·E4B(4B 파라미터) 모델이 있다.
E는 엣지(Edge)를 뜻하는 것으로 추정된다(자막상 발표자 추정) 12. - 기능 — 어드밴스드 리즈닝, 에이전트 워크플로, 펑션 콜링, 코드 생성, 비전(이미지·오디오 인식)까지 지원한다. 컨텍스트는 128K까지, 언어는 140개 이상이다 12.
Gemma 3 대비 체감 성능
발표자는 작년 말 Gemma 3 모델을 로컬에서 돌려봤다. 한국어가 잘 안 되고, 속도가 너무 느리고, 램을 너무 많이 먹어 "도저히 쓸 수 없다"고 판단했다 12. Gemma 4에서는 다음과 같이 개선됐다 12:
- 텍스트 생성 — 한국어가 꽤 잘 되고 속도도 크게 빨라졌다. 단순 텍스트 입출력이 필요한 요소는 쉽게 탑재해 볼 수준이다. 2B보다 4B 모델이 더 사람 같고 자연스럽다.
- 멀티모달(이미지·오디오) — 아직 부족하다. 이미지 인식은 자막상 ChatGPT 3~3.5 정도 느낌이다. 4B 모델은 캔 음료 개수와 색상까지 인식하지만 일부 글자를 못 읽는다. 한국어 음성 트랜스크라이브는 약 80% 정도 맞춘다.
메모리 요구량(에뮬레이터 기준)
에뮬레이터 테스트 기준 메모리 요구량은 다음과 같다(실제 기기·iOS는 미테스트, 발표자 추정) 12:
- E2B: 약 6~8GB에서 동작.
- E4B: 약 16GB 필요. 8GB만 주면 로딩 중 앱이 죽는다.
4B보다 높은 모델은 사실상 온디바이스에 넣을 수 없으므로, 현재 멀티모달은 아직 부족하다는 결론이다 12.
전망
발표자는 Gemma 3에서 4로 오면서 성능 발전 폭이 매우 컸던 점을 짚는다. Gemma 5가 나오면 텍스트 입력 인지와 멀티모달 기능이 크게 향상될 것으로 본다. 한두 세대만 지나면 온디바이스 AI 활용이 크게 인기를 끌 것이라는 전망이다. API 비용을 안 내도 되기 때문이다 12. 앱 개발자에게는 백업이나 웹액 정도로라도 Gemma 4를 한번 써 보길 권한다 12.