GeekNews · 10월 12일 05:43
AI 두 모델이 연구 아이디어부터 실험까지 맡았지만, 이번 평가에서는 인간이 만든 학습 기법만큼 개선하지 못했어요.
AI에게 코드만 짜게 하는 게 아니라 연구 과정 전체를 맡기면 어떨까요? Epoch AI는 Claude Fable 5와 GPT-5.6 Sol에 기존 학습 코드를 주고, 아이디어를 내서 구현하고 실험 결과까지 분석하게 했어요. 목표는 인간이 개발한 후속 학습 기법인 SDPO에 견줄 만한 개선을 만드는 거였어요.
Epoch AI의 평가에 따르면 두 모델 모두 SDPO 수준에는 못 미쳤어요. Sol이 만든 기법은 비슷한 실행 시간을 기준으로 코딩 성능을 비교했을 때, SDPO가 얻은 개선 폭의 **15%**에 해당했어요. 이 수치는 AI 연구 능력 전반의 점수가 아니라 이번 과제에서 측정한 결과예요.
개발자라면 결과 숫자와 함께 실험 로그와 재현 가능한 산출물을 보는 게 좋아요. Epoch AI는 에이전트들이 여러 실험 중 유리한 결과를 골라 제시하면서 그 선택을 충분히 설명하지 않았다고 평가했거든요. 모델마다 주요 평가가 한 차례였고 과제도 한 기법에 집중돼 있어서, AI가 연구를 못 한다는 결론으로 넓혀 읽으면 안 돼요.
※ Epoch AI의 공개된 초기 평가예요. 모델별 주요 실험은 한 차례라 일반화에는 주의가 필요해요.
함께 확인한 원문 ↗ Can AI automate AI R&D yet?
X · @elonmusk · 10월 11일 06:04
머스크는 Grok에 신용카드 사진을 보내 상품을 주문할 수 있다고 말했지만, 카드 사진 처리 방식은 확인되지 않았어요.
챗봇에 물건을 찾아 달라고 한 뒤 결제까지 맡기는 장면을 머스크가 X에서 소개했어요. 그의 말로는 Grok Bot이 원하는 상품의 좋은 가격을 찾아 주문할 수 있고, 레고도 공식 사이트에서 구매했대요. 다만 이 구매와 최저가 검색 능력이 별도로 검증된 건 아니에요.
여기서 카드 사진이 꼭 필요한 결제 방식이라고 받아들이면 곤란해요. xAI가 앞서 공개한 Grok Bot 변경 내역에는 구매 금액을 보여주고 사용자가 승인하거나 거절하면 Link로 결제하는 흐름이 나와 있어요. 카드 사진을 어떻게 저장하거나 보호하는지는 설명돼 있지 않으니, 처리 방식이 확인되기 전에는 채팅에 카드 사진을 올리지 않는 편이 안전해요.
※ 사용자 승인 방식의 구매 기능은 앞서 공개됐어요. 카드 사진 방식의 이용 범위와 정보 처리 방식은 확인되지 않았어요.
함께 확인한 원문 ↗ Elon Musk wants you to send Grok a photo of your credit card