메타의 자체 학습 평가 AI, 인공지능 개발의 새로운 지평을 열다

인공지능(AI) 분야는 끊임없는 혁신을 거듭하며 인간의 삶에 깊숙이 스며들고 있다. 최근 메타(Meta)가 발표한 자체 학습 평가 AI 모델은 인간의 피드백 없이 스스로 학습하고 발전하는 능력을 갖춰 AI 개발의 새로운 패러다임을 제시하고 있다. 이 획기적인 기술은 AI 자율성의 한계를 뛰어넘어, AI 개발 프로세스를 단순화하는 것을 넘어 전체 개발 사이클을 재정의할 잠재력을 지니고 있다.

기존 AI 학습 방식의 한계와 자체 학습 평가 AI의 등장

전통적인 AI 모델 학습에는 엄청난 양의 인간 개입이 필요했다. 코딩 지원, 복잡한 추론 작업, 언어 미묘한 차이 이해 등 AI 개발자들은 인간 피드백 기반 강화 학습(RHF)에 의존해왔다. RHF는 인간이 AI의 응답을 평가하고 더 나은 답변을 향해 안내하는 방식이다. 그러나 이 방법은 비용과 시간이 많이 소요될 뿐만 아니라 모델이 개선됨에 따라 효율성이 떨어질 수 있다. 이전 학습 데이터는 오래되고 인간은 모든 것을 끊임없이 다시 주석 처리해야 하므로 확장이 더욱 어려워진다.

 

메타의 자체 학습 평가 AI는 AI가 자체 합성 데이터로부터 학습할 수 있도록 함으로써 인간 주석의 필요성을 없앤다. AI가 자체적으로 작업을 생성하고 성능을 평가한 다음 해당 평가를 기반으로 전략을 조정하는 폐쇄 루프 시스템으로 생각할 수 있다. 시간이 지남에 따라 이러한 자체 강화 프로세스는 인간의 개입 없이 더 정확하고 스마트한 모델을 만든다.

자체 학습 평가 AI의 핵심 기술: 사고의 연결 추론 기법

이 기술의 핵심은 사고의 연결 추론(Chain of Thought reasoning) 기법이다. 메타의 자체 학습 평가 AI는 이 기법을 사용하여 복잡한 작업을 더 작고 관리하기 쉬운 단계로 분해한다. 이는 수학, 과학적 분석, 코딩과 같은 분야에서 특히 효과적이다. AI는 가능한 답변 또는 접근 방식 세트를 생성한 다음 정확성, 효율성, 창의성과 같은 특정 기준에 따라 판단한다. 그런 다음 최상의 경로를 식별하고 그에 따라 내부 모델을 미세 조정한다.

완전한 AI 생성 데이터의 활용과 성능 향상

메타의 자체 학습 평가 AI는 인간이 레이블을 지정하지 않은 데이터를 사용하여 학습한다는 점에서 주목할 만하다. 이는 자율 학습 분야에서 큰 도약이다. 모델은 먼저 주어진 작업에 대한 다양한 응답을 생성한 다음 대규모 언어 모델(LLM)을 평가자로 사용하여 추론 및 논리에 따라 해당 응답의 순위를 매긴다. 이 반복적인 프로세스를 통해 AI는 작업을 수행하는 것뿐만 아니라 출력 품질을 판단하는 데에도 더 능숙해진다.

 

Llama 370b instruct 모델을 시작으로 자체 학습 평가 AI는 Reward Bench 벤치마크에서 정확도를 75.4%에서 88.3%로 향상시켰다. 이는 자체 학습만으로 거의 13% 포인트 향상된 것이다. 이 모델은 인간이 레이블을 지정한 데이터에 의존하는 보상 모델과 경쟁하며 경우에 따라 능가하기도 한다. 다수결 투표 시스템을 사용하면 정확도가 88.7%까지 높아질 수 있다.

실제 적용 사례와 다양한 이점

메타의 모델은 이미 실제 작업을 평가하고 개선하는 데 사용되고 있다. 예를 들어, 모델이 인간의 선호도와 얼마나 잘 일치하는지 테스트하도록 특별히 설계된 벤치마크인 Reward Bench는 이 접근 방식 덕분에 상당한 발전을 이루었다. 보상 모델은 안전, 윤리적 의사 결정, 다단계 추론 문제와 같이 정확한 인간과 같은 추론이 필요한 작업에서 중요한 역할을 한다.

합성 데이터로의 전환에는 다른 이점도 있다. 인간 피드백 모델은 새로운 AI 모델이 출시됨에 따라 적응 속도가 느릴 수 있다. 새로운 데이터가 생성된 시점과 인간이 주석을 달 수 있는 시점 사이에는 항상 지연이 발생하여 학습 프로세스가 느려질 수 있다. 그러나 자체 학습 평가 AI를 사용하면 이러한 지연이 사라진다. AI는 실시간으로 생성, 평가 및 학습하여 혁신 속도를 높인다. 메타의 연구원들은 이를 통해 비용을 크게 절감하고 새로운 모델을 시장에 출시하는 데 걸리는 시간을 단축할 수 있다고 예측한다.

 

또 다른 흥미로운 측면은 이 방법이 인간 편향과 관련된 기존 문제를 어떻게 우회하는지이다. 인간이 AI를 평가할 때 어조, 맥락 또는 문화적 뉘앙스를 이해하는 데 있어 항상 어느 정도의 주관성이 개입된다. 메타의 자체 학습 평가 AI는 평가 프로세스를 자동화하여 전반적으로 일관된 표준을 유지할 수 있다. 이는 언어 모델이 편견을 도입하지 않고 다양한 언어, 방언 및 문화적 맥락에 적응해야 하는 글로벌 애플리케이션에 특히 유용하다.

Sam 2.1 및 Metp LM: 이미지/비디오 분할 및 언어 모델의 발전

메타는 AI Arsenal의 또 다른 주요 도구인 Segment Anything Model(SAM) 2.1에 대한 업데이트도 출시했다. SAM 2.1은 이미지 및 비디오 분할을 개선하여 복잡한 시각 환경 내에서 객체를 쉽게 분리할 수 있도록 한다. 이 도구는 초기 출시 이후 700,000회 이상 다운로드되었으며 의료 영상 및 기상학과 같은 분야에서 사용되고 있다. 이 업데이트를 통해 SAM 2.1은 작고 시각적으로 유사한 객체를 훨씬 더 효과적으로 처리하여 시각적 AI 작업에서 높은 수준의 정밀도가 필요한 연구자들에게 귀중한 리소스가 된다.

 

SAM 2.1에는 이제 다양한 시나리오에서 객체를 시뮬레이션하는 데이터 증강 기술이 포함되어 장면의 다른 요소 뒤에 숨겨진 객체 및 폐색을 처리하는 모델의 기능이 향상되었다. 이는 모든 픽셀이 중요한 자율 주행과 같은 애플리케이션에 매우 중요하다. 메타는 또한 사용자가 자신의 데이터 세트로 SAM을 미세 조정할 수 있도록 하는 개발자 제품군을 출시하여 더 많은 사용자 정의 및 혁신의 문을 열었다.

 

언어 측면에서 메타는 텍스트와 음성 간의 원활한 통합을 위해 설계된 오픈 소스 언어 모델인 Metp LM으로 한계를 뛰어넘고 있다. 이 모델은 텍스트와 음성 데이터를 동시에 처리할 수 있다는 점에서 독특하여 AI가 흥분, 분노, 놀라움 등 다양한 감정을 반영하는 더 자연스러운 음성을 생성할 수 있도록 한다. 메타는 이 모델을 오픈 소스로 만들었으므로 개발자는 이를 가져와 사용자 지정하고 자체 프로젝트에서 사용하여 음성-텍스트 및 텍스트-음성 기술의 혁신을 주도할 수 있다.

자체 학습 평가 AI의 미래와 인공지능 발전에 대한 기대

메타의 자체 학습 평가 AI는 인간 입력보다는 AI 피드백에 중점을 둠으로써 AI 학습의 새로운 표준을 세울 수 있다. 메타는 더 확장 가능하고 효율적이며 정확한 모델을 위한 가능성을 열어준다. 이러한 도약은 AI 연구자뿐만 아니라 고성능 AI 시스템에 의존하는 기업 및 산업에도 중요하다. 의료, 금융, 교육과 같이 AI가 산업에 점점 더 통합됨에 따라 자율적으로 개선할 수 있는 모델은 시대에 뒤처지지 않는 데 중요할 것이다.

 

실질적인 측면에서 자체 학습 평가 AI는 전문 인간 주석자에 대한 의존도를 줄인다. 전통적으로 이러한 주석자는 특히 코딩, 과학 연구 및 기술 문제 해결과 같은 작업에 대해 AI 출력을 수동으로 확인해야 했다. 이 검증 프로세스는 작업의 복잡성에 따라 몇 주 또는 몇 달이 걸릴 수 있다. 그러나 메타의 새로운 모델을 사용하면 검증 프로세스가 즉각적으로 이루어진다. AI는 자체적으로 검사하고 개선 영역을 식별하고 즉시 적응한다.

 

더욱이 메타는 자체 평가 방법을 더 넓은 AI 생태계에 통합했다. 그들의 임무는 단순히 똑똑할 뿐만 아니라 인간 지능에 가깝거나 뛰어넘는 수준에서 추론, 학습 및 적응할 수 있는 AI 수준인 고급 기계 지능(AMI)을 달성하는 것이다. 자체 학습 평가 AI는 AI가 스스로를 평가하고 개선할 수 있도록 함으로써 이 목표를 향한 기본적인 단계이다. 메타는 디지털 에이전트가 지속적인 인간 감독 없이 더 복잡한 작업을 수행할 수 있는 미래에 우리를 더 가까이 다가가게 하고 있다.

결론: 자율적인 AI 시스템 시대의 도래와 그 영향

이 새로운 자율 AI 시스템 시대는 우리가 기술과 상호 작용하는 방식을 근본적으로 바꿀 수 있다. 우리는 AI 비서가 과학 연구에서 코드 작성이나 의학적 상태 진단과 같은 일상적인 작업에 이르기까지 모든 것을 처리할 수 있는 미래를 보고 있다. 이 모든 것이 인간의 검사 없이 가능하다. AI 자체에 의해 구동되는 자체 지속 가능한 학습 및 개선 주기이다.

 

메타의 자체 학습 평가 AI는 AI 개발의 획기적인 발전이며, AI가 스스로 학습하고 진화하는 능력을 통해 더욱 효율적이고 정확하며 자율적인 시스템을 구축할 수 있는 가능성을 제시한다. 이는 인간과 AI의 상호 작용 방식을 변화시키고 다양한 분야에서 혁신을 가속화할 잠재력을 지닌 기술이다.

 

많은 사람들이 자체 학습 AI의 잠재력에 대해 흥분과 기대를 표현하고 있다. 특히 AI가 인간의 편견 없이 공정한 평가를 수행하고, 능력에 따라 공정하게 보상받는 시스템 구축에 기여할 수 있다는 점에 주목하고 있다.

하지만 일부에서는 AI의 급격한 발전에 대한 우려도 제기되고 있다. AI가 인간의 통제를 벗어나 예상치 못한 결과를 초래할 수 있다는 점, AI 발전 속도를 따라가지 못하는 사람들이 소외될 수 있다는 점 등이 지적되고 있다. 또한 AI가 모든 것을 대체하면서 인간의 역할이 축소될 수 있다는 점에 대한 불안감도 나타나고 있다.

이러한 우려들은 AI 기술 개발과 함께 윤리적 측면과 사회적 영향에 대한 깊이 있는 논의가 필요함을 보여준다. AI 기술의 잠재력을 최대한 활용하면서도 긍정적인 방향으로 발전할 수 있도록 균형 잡힌 접근이 필요할 것이다.