Hacker News · github.com · 10월 4일 21:51
출처 이미지 · Hacker News · github.com
Strata 개발진은 그래픽카드와 RAM을 함께 써서 125B 규모 AI 모델을 일반 PC에서 실행할 수 있다고 해요.
큰 AI 모델을 내 PC에서 돌리고 싶었던 분들께 흥미로운 프로젝트예요. 오픈소스 도구 Strata는 그래픽카드에 자주 쓰는 모델 부분을 두고, 나머지는 RAM과 CPU가 맡는 방식으로 Qwen3.8-Flash-Next 125B를 실행한대요. 프로젝트 설명에 따르면 대화와 코드 작성, 이미지 읽기를 로컬에서 처리할 수 있어요.
속도는 PC 구성과 모델 압축 정도에 따라 달라져요. 개발진이 공개한 측정에서는 RTX 5070·RAM 64GB PC가 Q2_0 설정으로 답변을 초당 94토큰 생성했어요. 토큰은 AI가 글을 세는 단위예요. 같은 설정에서 3만 2천 토큰 길이의 입력을 읽는 속도는 초당 2,650토큰이었다고 해요. 이 수치는 개발진 측정값이라 다른 PC에서도 그대로 나온다고 볼 수는 없어요.
설치 전에는 그래픽카드 메모리 12GB 이상, 시스템 RAM 32GB 이상, 빈 저장 공간 약 80GB가 있는지 확인하세요. RAM 32GB라면 설치 프로그램이 코드 작업용 Coder 모델을 권하는데, 프로젝트 설명에는 이 버전이 한국어를 포함한 CJK 언어에서 더 약하다고 나와 있어요. 앱을 연결할 때는 로컬 주소를 OpenAI 호환 API 주소로 설정할 수 있어요.
※ 지금 무료 오픈소스로 공개돼 있어요. Windows·Linux에서 쓸 수 있지만, 지원 그래픽카드와 메모리부터 확인하세요.
원문 열기 ↗ Hacker News · github.com
TechCrunch · 10월 5일 00:15
출처 이미지 · TechCrunch
트럼프 대통령이 미국 연방정부의 AI 관련 활동을 조정할 새 조직을 발표했어요.
이름은 Super Intelligence Force예요. 트럼프 대통령은 이 조직이 연방정부의 AI 관련 노력을 조정한다고 밝혔어요. 미국 정부의 AI 정책을 살피는 개발자라면 새 조직이 어떤 계획을 내놓는지 지켜볼 만해요.
보도에 따르면 국가정보국장 제이 클레이턴이 조직을 이끌고, AI의 위험과 기회를 다루는 보고서를 120일 안에 마련할 예정이래요. 보도된 조직 문서에는 AI를 활용한 위협에 대응하면서 과도한 규제는 피하겠다는 방향도 담겼다고 해요. 아직 발표 단계라 구체적인 규칙이나 개발자에게 적용될 변경 사항이 나온 건 아니에요.
※ 지금은 출범 발표 단계예요. 120일은 보도된 보고서 작성 기한이지 새 규칙의 시행일은 아니에요.