AI가 스스로 코드를 고쳐보고, 좋아지면 남기고 나빠지면 되돌리는 반복 실험 — 이것을 '자율 최적화'라고 합니다. 같은 아이디어를 구현한 도구가 세 가지 있습니다. karpathy/autoresearch, /로 불러 쓰는 명령인 /autoresearch, 그리고 스킬 파일 전용인 autoresearch-skill입니다. 세 도구가 무엇을 고치는지, 좋아졌는지를 어떻게 판단하는지, 실험을 어떻게 반복하는지를 나란히 비교합니다.
유명 AI 연구자 안드레이 카파시가 공개한 자율 최적화 도구입니다. AI 모델을 학습시키는 코드인 train.py를 스스로 고쳐가며, 모델이 다음 글자를 얼마나 잘 맞히는지 재는 점수(val_bpb, 낮을수록 좋음)로 나아졌는지를 확인합니다. 대신 대규모 연산 장비(GPU)가 반드시 필요합니다.
Claude Code에서 /로 불러 쓰는 명령입니다. 머신러닝, 웹, 플러터, 자바 등 프로젝트 종류를 스스로 알아봅니다. 무엇을 기준으로 좋아졌다고 볼지(메트릭, 즉 판단 잣대)를 정할 수 있고, 실험을 담아두는 작업 가지(브랜치)를 자동으로 만들며, 작업 이력도 함께 남깁니다.
Claude Code의 '스킬'(AI에게 특정 작업 방법을 알려주는 지시문)만 다듬는 도구입니다. 스킬이 담긴 파일 SKILL.md를 조금씩 고쳐가며, 됐다/안 됐다 두 갈래로만 매기는 항목 3~6개로 나아졌는지를 확인합니다. 결과를 한눈에 보는 화면(대시보드)도 자동으로 만들어 줍니다.
| 항목 | karpathy/autoresearch | /autoresearch | autoresearch-skill |
|---|---|---|---|
| 고치는 대상 | AI 학습 코드만train.py 를 직접 고침 |
모든 종류의 프로젝트 머신러닝, 웹, 플러터, 자바, 직접 설정 |
스킬 지시문만SKILL.md 파일 하나 |
| 잘됐는지 판단 | val_bpb (bits-per-byte) 글자 맞히기 점수 — 숫자라 아주 작은 향상도 잡아냄 |
기준을 직접 정함 종류에 맞춰 자동 + 직접 지정 |
예·아니오 점검표 확인 항목 3~6개 |
| 실험 반복 | 한 번에 약 5분 고성능 장비(GPU) 필수 |
종류에 맞춰 자동 설정 여러 실험 동시 진행 |
지시문을 빠르게 반복 수정 고성능 장비 불필요 |
| 기록 방식 | results.tsv실험 번호·설명·점수를 표로 |
results.tsv + experiments.jsonl작업 이력과 연결해 저장 |
changelog.md + dashboard.html결과 화면 자동 생성 |
| 쓰임새 범위 | 학습 전용 | 어디에나 | 스킬 전용 |
| 버전 관리 연동 | 사람이 직접 저장 | 작업 가지(브랜치) 자동 생성autoresearch/exp-{id} |
변경 이력만 남김 |
| 가장 잘하는 것 | AI 연구 최적화에 특화 많은 사용자에게 검증됨 (별 43.7k) |
어떤 프로젝트에서든 바로 쓸 수 있음 |
지시문 다듬기 전용 작업 흐름 |
| 시작 난이도 | 높음 — 고성능 장비(GPU) 필요 | 낮음 — 알아서 설정 | 낮음 — 글자 파일만 고치면 됨 |
karpathy는 AI 학습 과정에만 완전히 맞춰져 있습니다. /autoresearch는 프로젝트 종류를 스스로 알아보고 어디서든 작동합니다. autoresearch-skill은 스킬 파일 하나만 집중해서 다듬습니다. 다루는 범위가 다르니, 각각 어울리는 상황도 달라집니다.
karpathy의 점수(val_bpb)는 이어지는 숫자라서 아주 작은 향상도 잡아냅니다. /autoresearch는 프로젝트에 맞춰 판단 잣대를 그때그때 정합니다. autoresearch-skill의 예·아니오 채점은 분명하지만 미세한 차이는 가리기 어렵습니다. 이 잣대를 어떻게 잡느냐가 실험의 질을 좌우합니다.
karpathy는 고성능 연산 장비(GPU) 없이는 실험조차 할 수 없습니다. /autoresearch는 Claude Code만 있으면 어디서든 돌아갑니다. autoresearch-skill은 글자 파일만 고치면 되니 필요한 것이 가장 적습니다. 시작이 쉬울수록 적용 범위는 좁아지는 맞교환 관계입니다.