온디바이스 에이전트 세미나를 시작하며

클라우드 없이, 내 기기 안에서 도는 에이전트를 만들어 봅니다. 채널을 하나 팠고, 매주 논문 하나와 실험 하나를 같이 굴릴 예정이에요.

첫 달의 질문은 이겁니다. 8GB 메모리 안에서 도구를 쓰는 에이전트가 어디까지 갈 수 있는가. 양자화, KV 캐시, 스펙큘레이티브 디코딩 — 이름만 무섭지 하나씩 뜯어보면 다 손에 잡힙니다.

관심 있으면 라운지의 Ondevice Agent 채널로 오세요. 잘 모르는 상태로 오는 게 정상입니다.