DataGemma: Google의 Data Commons와 연결된 AI 오픈 모델

DataGemma: Google의 Data Commons와 연결된 AI 오픈 모델

 

최근 Google은 AI 혁신의 핵심 도구인 대형 언어 모델(LLM)의 한계를 극복하기 위한 새로운 모델인 DataGemma를 발표했습니다. DataGemma는 Google의 Data Commons와 연결된 세계 최초의 오픈 모델로, AI의 환각(hallucination) 문제를 해결하기 위해 설계되었습니다. 이 모델은 실질적인 통계 데이터를 기반으로 LLM의 정확성과 신뢰성을 높이는 데 초점을 맞추고 있습니다.

AI 환각 문제란?

LLM은 방대한 양의 텍스트를 분석하고 요약, 창의적인 아이디어 제안, 코드 작성 등 다양한 작업을 수행할 수 있습니다. 하지만 때로는 잘못된 정보를 자신 있게 제시하기도 하는데, 이를 환각이라고 합니다. 이는 생성형 AI의 주요 과제 중 하나로, 모델이 사실과 다른 정보를 생성할 때 발생합니다.

DataGemma의 혁신

DataGemma는 이러한 문제를 해결하기 위해 Google의 Data Commons와 LLM을 연결합니다. Data Commons는 UN, WHO, CDC, 인구조사국 등 신뢰할 수 있는 기관에서 제공한 2,400억 개 이상의 데이터 포인트를 포함한 공개 지식 그래프입니다. 이 데이터는 건강, 경제, 인구통계, 환경 등 다양한 주제를 다루며, 사용자는 자연어 인터페이스를 통해 쉽게 탐색할 수 있습니다.

예를 들어, "아프리카에서 전기 접근성이 가장 크게 증가한 국가는 어디인가?" 또는 "미국 카운티에서 소득과 당뇨병의 상관관계는 어떻게 되는가?"와 같은 질문에 신뢰할 수 있는 답변을 얻을 수 있습니다.

DataGemma의 접근 방식

DataGemma는 두 가지 주요 방법을 통해 LLM의 정확성을 향상시킵니다:

1. RIG (Retrieval-Interleaved Generation)
   RIG는 LLM이 답변을 생성할 때, 통계 데이터가 필요한 경우 Data Commons에서 해당 정보를 검색하고 사실을 확인합니다. 이 방법은 모델이 신뢰할 수 있는 소스를 기반으로 답변을 생성하도록 돕습니다.
2. RAG (Retrieval-Augmented Generation)
   RAG는 LLM이 답변을 생성하기 전에 Data Commons에서 관련 정보를 검색하여 응답의 정확성을 높입니다. 이 방법은 특히 숫자와 같은 사실 기반 정보에서 환각을 줄이는 데 효과적입니다.

결과와 미래 전망

초기 연구 결과는 매우 긍정적입니다. DataGemma는 숫자와 관련된 사실을 처리할 때 LLM의 정확성을 크게 향상시켰습니다. 이는 연구, 의사 결정, 단순한 호기심 충족 등 다양한 사용 사례에서 환각을 줄일 수 있음을 시사합니다.

Google은 이러한 기술을 더욱 정교하게 개선하고, Gemma와 Gemini 모델에 통합할 계획입니다. 또한, DataGemma를 오픈 모델로 공개함으로써 더 많은 연구자와 개발자가 이 기술을 활용할 수 있도록 지원하고 있습니다.

시작하기

연구자와 개발자는 DataGemma를 사용해 볼 수 있도록 RIG 및 RAG 접근 방식에 대한 퀵스타트 노트북이 제공됩니다. Data Commons와 Gemma의 협업에 대해 더 알고 싶다면 Google의 연구 포스트를 참고하세요.

DataGemma는 AI가 더욱 신뢰할 수 있고 정확한 정보를 제공할 수 있는 미래를 위한 중요한 한 걸음입니다. 이를 통해 AI는 사람들에게 정확한 정보를 제공하고, 정보에 기반한 결정을 내리며, 세상을 더 깊이 이해할 수 있도록 돕는 필수적인 도구로 자리 잡을 것입니다.

#DataGemma #AI #Google #DataCommons #LLM #환각해결