안녕하세요! 2주에 한 번 컴퓨터 사이언스 핫 이슈들을 알려드리는 알리오 드리미 뉴스레터입니다!🎉 지난 2주는 AI의 발전이 눈에 띄었던 주간이었습니다. Google이 LLM 모델의 인풋 제한 문제를 해결해 줄 수 있는 혁신적인 논문을 발표했고, Meta에서는 새로운 오픈소스 LLM Llama 3를 공개했습니다. 그래서 이번 호에서는 Google의 논문과 Llama 3의 발표, 그리고 이 모델들이 왜 중요한지 같이 알아보려고 합니다. 또 미 공군에서 개발한 AI 전투기 소식과 함께 최근 이스라엘-하마스 전쟁에서 논란이 된 AI의 군사적 적용에 대해 함께 생각해 보도록 해요!
만약 이렇게 긴 텍스트도 ChatGPT가 이해할 수 있다면 어마어마한 일들이 벌어지지 않을까요? 백과사전과 논문과 책 줄거리 모두 이해하고 …
혹시 ChatGPT나 다른 LLM 모델을 사용하다가, 글자 수의 제한에 걸린 적이 있으신 적 있나요? 아니면 길고 긴 논문을 주고 쉽게 설명해달라고 했지만, 앞부분 내용은 설명 못 한 적은요? 이번에 해당 문제를 해결해줄 혁신적인 논문이 발표되었습니다! Google에서 발표한 “Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention”이라는 논문이 바로 그 주인공이죠. 해당 논문에서는 Transformer 모델의 메모리 사용량과 복잡성이 입력 시퀀스 차원에 따라 증가하지 않도록 하는 Infini-Attention 모델을 소개하고 있는데요. 만일 이게 정말이라면, Transformer 모델들의 혁신이 되지 않을까 싶습니다.
4월 18일, meta에서 자사의 새로운 LLM Llama 3를 발표했습니다. 기존 자사의 전작, Llama 2가 2조 개의 토큰(텍스트 데이터의 최소 단위)로 학습된 것과 비교하였을 때 Llama 3은 무려 15조 개의 토큰으로 학습된 점을 비롯하여, 성능에 있어 큰 도약이 이루어졌다는 평가가 주를 이루고 있습니다. 또한 아직 학습 중이지만 곧 출시될 400B+ 모델을 GPT-4의 출시와 맞먹는 파급력을 가질 수도 있다고 하죠. 기존 LLM에 비해 얼마나 발전했는지, 그리고 이번 Llama 3가 가지는 의미는 무엇인지 함께 알아보도록 하죠.
AI가 군대를 꾸려서 세상을 지배할 거라는 걱정, 다들 한번 씩 해보신 적 있죠? AI와 군사, 마냥 공상 과학 소설에만 나오는 이야기는 아닙니다. 지난 4월 미 공군 산하 DARPA의 ACE Program은 AI가 조종하는 전투기와 인간 조종사의 전투기 사이의 전투 비행 (Dogfight) 시험에 성공했습니다. 이제 전투기에도 AI 자율 조종 시스템을 안전하게 적용할 새로운 지평이 열렸죠. AI의 군사적 이용에 대해서는 여러 논란에도 불구하고 실질적인 적용이 계속되고 있는데요. 최근 이스라엘이 하마스와 벌이고 있는 전쟁에서 민간인 사이에 섞인 하마스 병력을 식별하기 위해 ‘라벤더’라는 AI 시스템을 사용하고 있다는 폭로도 있었습니다. AI의 군사적 적용은 이젠 찬반의 단계는 훌쩍 넘은 것 같네요!