TechCrunch · 10월 13일 02:56
출처 이미지 · TechCrunch
Meta가 코딩과 오래 이어지는 작업을 겨냥한 모델 2종을 내놨어요.
AI가 며칠 전에 나눈 얘기까지 기억한다면, 긴 작업을 맡기기가 한결 편해지겠죠. Meta는 새 모델 Muse Wonder와 Muse Wonder Full에 대화 사이의 정보를 기억하고 엮는 Active Memory를 강조했어요. 회사 자체 시험에서는 Wonder가 기억·지속 학습 능력을 평가하는 MemoryBench에서 일부 경쟁 모델보다 높은 점수를 냈대요.
두 모델은 복잡한 코딩 작업도 겨냥했어요. 다만 개발자가 붙이는 방법은 달라요. Wonder는 Meta Model API와 Muse Code에서 쓸 수 있고, Wonder Full은 Muse Code 구독자용이라 API로 제공되지 않아요. 모델을 고를 때 코딩 성능뿐 아니라 이전 대화의 맥락이 필요한 작업인지, API 연결이 필요한지도 함께 살펴보면 좋겠어요.
※ Wonder API는 입력 100만 토큰당 4달러, 출력 100만 토큰당 20달러예요. 토큰은 AI가 글을 세는 단위이고, 기억 성능 수치는 Meta 자체 시험 결과예요.
The Verge · 10월 12일 22:00
출처 이미지 · The Verge
Microsoft가 자사 AI 서비스에 쓸 새 칩 Maia 300을 발표했고, 실제 운영에는 2027년부터 투입할 계획이에요.
AI가 질문에 답을 만들어 내는 과정을 추론이라고 해요. Microsoft는 이 일을 맡을 자체 칩 Maia 300을 발표했어요. 긴 내용을 참고해 답하거나 여러 단계를 이어서 처리하는 AI 작업에 맞춰 설계했다고 해요. 지금 쓰는 서비스의 칩이 곧바로 바뀐다는 뜻은 아니에요.
회사 말로는 Maia 300이 주요 GPU 기반 시스템보다 같은 전력당 토큰 처리량이 40% 높을 것으로 예상된대요. 또 가속기 96개를 묶은 구성에서는 이전 칩 Maia 200보다 랙 단위 토큰 처리량이 최대 7배라고 해요. 여기서 토큰은 AI가 글을 세는 단위예요. 클라우드에서 AI를 운영하는 개발자라면 실제 투입 뒤 비용과 응답 성능이 어떻게 달라지는지 확인할 만해요.
※ 생산용 AI 작업에는 2027년부터 투입할 계획이에요. 성능 수치는 Microsoft가 제시한 비교치예요.