Harness Evolution History

Anthropic Engineering — Claude Code Sandboxing: 격리가 승인 프롬프트보다 안전하다 (권한 프롬프트 84% 감소)

내 하네스는 2년간 게이트를 늘려왔다. 이 공식 문서는 그 방향에 정면으로 단서를 붙인다 — 승인 요구 모델은 두 번째 문제를 만든다: "approval fatigue, where users might not pay close attention to what they're approving". 승인창이 많아지면 사용자가 무심하게 눌러 안전이 역설적으로 하락하면서 개발도 느려진다. Anthropic의 처방은 게이트를 더 조이는 게 아니라 OS 수준 격리로 게이트를 줄이는 것이고, 정량은 명확하다 — 내부 실측 "sandboxing safely reduces permission prompts by 84%", 즉 프롬프트를 84% 없애면서 안전은 강화됐다. 목표도 재정의된다: 완벽한 예방이 아니라 containment — "even a successful prompt injection is fully isolated", 침해돼도 "can't steal your SSH keys, or phone home to an attacker's server". 설계 규칙 4가지가 내 하네스에 직접 꽂힌다. ① 두 경계는 AND 조건 — "effective sandboxing requires both filesystem and network isolation": 파일시스템 격리는 cwd 밖 수정을 차단해 prompt-injected 에이전트가 시스템 파일을 고치는 것을 막고, 네트워크 격리는 샌드박스 밖에서 도는 프록시로 unix domain socket을 통해서만 egress를 허용하며 새 도메인은 사용자에게 확인한다. 하나만 두면 뚫린다 — 네트워크 통제가 없으면 SSH 키가 exfiltrate되고, 파일시스템 통제가 없으면 샌드박스를 탈출해 네트워크를 얻는다. ② 제약이 spawn된 하위 프로세스까지 상속된다("any scripts, programs, or subprocesses that are spawned by the command", Linux bubblewrap / macOS seatbelt) — 이건 내 agent-browser-security.sh가 스스로 명시한 본질 한계(동적 명령명 조립·임의 언어 wrapper는 정규식으로 차단 수학적 불가)를 OS 계층이 닫아준다는 뜻이다. 문자열 게이트를 무한 강화하는 대신 격리로 옮기라는 처방. ③ 자격증명은 신뢰 경계 밖 — Claude Code on the web은 "sensitive credentials (such as git credentials or signing keys) are never inside the sandbox": 샌드박스 안 git 클라이언트는 scoped credential만 제시하고, 밖의 프록시가 자격증명 및 작업 내용(예: push가 설정된 브랜치를 대상으로 하는지)을 검증한 뒤에야 실제 GitHub 토큰을 붙인다. 토큰을 에이전트에게 주는 게 아니라 브로커가 대신 행사한다 — 내 brokered-mutation-authority(proposal/admission/execution 분리)의 자격증명 계층 구현이다. ④ 프롬프트는 진짜 엣지 케이스에만("automatically allowing safe operations, blocking malicious ones, and asking permission only when needed"), 경계는 설정 가능하게. 독립 수렴 2건이 같은 날 함께 잡혔다: HN OneCLI(103pt/31c) "OSS credential gateway that keeps secrets out of AI agents", arXiv 21325 CVA(같은 문제의 형식적 접근). 런타임은 오픈소스(anthropic-experimental/sandbox-runtime), 로컬은 /sandbox로 활성화. 단 199차 self-state attacks가 실증한 "OS 수준 잔여면"은 남으므로 샌드박스 하나로 100% 차단 가정은 금지 — 계층 방어 + 복구 유지. (커버리지: 상단 chip 참조 · anthropic.com/engineering 목록 재조회 · 신규 rule 신설 + EXEC 승격후보 큐잉 — 행동 게이트 무변경, conf5×1000+replay1000=6000→6000 무회귀)

• 5축: 자동화 2(승인 왕복 84% 제거) · 마찰제거 2(approval fatigue 근본 차단 + 문자열 게이트 무한강화 낭비 차단) · HARD전환 2(OS 격리는 커널 강제 그 자체 + "격리 없이 위험 명령 실행"은 exit-code 판정 가능 → promotion-candidate 큐잉) · 토큰효율 1(승인 왕복·재시도 제거) · 측정가능 2(프롬프트 84% 감소 실측) = 9/10 (novelty high — 신규 rule)
• 연계: execution-time-authorization-layer(주소공간 밖 강제 — 이 규칙은 그것을 OS 격리로 구현) · brokered-mutation-authority(자격증명을 브로커가 대신 행사) · agent-browser-security(정규식 게이트 본질 한계를 격리가 닫음) · purpose-bound-tool-data-flow · role-based-agent-permissions · security-patterns · agent-least-privilege-tool-selection

arXiv 2607.21325 — Cryptographically Verifiable Agent Authorization: 승인은 identity·request·runtime execution 3축으로 바인딩돼야 한다

자율 에이전트는 보호 자원에 대해 행동·도구호출을 사람 감독 없이 수행하는데, 기존 인증·인가 메커니즘은 신원을 확립하고 권한을 위임할 뿐 "특정 에이전트가 발행한 구체적 요청이 특정 실행 컨텍스트에서 적용 정책을 만족했다는 암호학적 증거"는 본질적으로 제공하지 않는다. 저자는 권한 부여를 검증 가능한 관계 R_CVA로 정식화해 agent principal + 구체적 authorization request + execution context + 정책 만족을 함께 바인딩하고(사적 인가 속성은 선택적으로 비공개 유지), 후보 보안 속성 5개를 정의한다 — authorization soundness · principal binding · request binding · policy binding · replay resistance. Groth16 zk-SNARK로 일부 요소를 실행 가능하게 구현한 PoC까지 제시한다. 그런데 이 논문의 값어치는 zk 구현이 아니라 저자가 중심 미해결 문제로 지목한 절단면이다: identity binding · authorization-request binding · runtime execution binding의 구조적 분리 — "현재 agentic 보안 프레임워크가 명시적으로 다루지 않는 구분". 내 하네스에 그대로 적용된다. brokered-mutation-authority는 proposal/admission/execution 분리를 갖고 있고 181차 CAVA로 canonical action id 바인딩까지 강화했지만, 게이트가 "무엇을 하려는가(request)"만 검사하고 "누가·어떤 실행 컨텍스트에서"를 함께 묶지 않으면 같은 증거가 다른 주체·다른 실행에 재사용(replay)될 수 있다. 실제 표면 점검: .qa-cycle-passed는 PASS|{commit hash}|{ts} 형식이라 request binding(대상 커밋)은 있지만 principal·실행컨텍스트 바인딩이 없고, replay 저항은 mtime 1시간 창에만 의존한다. 단일 사용자 로컬에서는 위험이 낮지만 마커를 CI·다른 머신·다중 워커가 공유하는 순간 결함이 된다(commit-landing-verification "push된 것 == 검증한 것"·qa-evidence-format 해시 검증과 정합). 그리고 같은 날 수확된 claude-code-sandboxing의 scoped credential 프록시와 HN OneCLI credential gateway가 정확히 이 문제의 실물 대응이다 — 토큰을 에이전트에게 주지 않고 밖의 브로커가 요청 내용까지 검증한 뒤 대신 행사한다. 논문은 스스로 preliminary·hypothesis 단계임을 명시하고 falsifiable research agenda를 제시한다(정량 벤치 없음). (커버리지: 상단 chip 참조 · arXiv cs.CR/cs.AI firehose 07/23 · SOFT 티어 근거 보강 — 행동 게이트 무변경)

• 5축: 자동화 2(승인 증거를 사람 검토 없이 자동 검증) · 마찰제거 2(principal/replay 미바인딩으로 인한 증거 재사용·거짓 통과 예방 — 다중 워커 공유 시 실제 결함) · HARD전환 2(5개 속성 모두 구조적·exit-code 검증 가능) · 토큰효율 0 · 측정가능 1(PoC만, 정량 벤치 없음 — 저자도 preliminary 명시) = 7/10 (novelty med — brokered-mutation-authority 근거 보강)
• 연계: brokered-mutation-authority(proposal/admission/execution 분리 + 181차 CAVA canonical action id) · commit-landing-verification · qa-evidence-format(마커 해시 검증) · agent-sandbox-containment-over-approval(scoped credential 프록시가 실물 대응) · execution-time-authorization-layer(외부화된 서명/해시 증거) · multi-agent-audit-lineage

Anthropic Engineering — Effective harnesses for long-running agents: 불변식 계약 파일은 markdown보다 JSON

멀티세션·다일(multi-day) 작업의 에이전트는 매 세션이 "no memory of what came before"로 시작한다(교대근무 비유). 이 글이 명명한 실패 모드 4개는 내 하네스가 이미 게이트로 막고 있는 것들이다 — over-reaching(한 번에 너무 많이 시도해 컨텍스트를 태우고 기능을 half-implemented·undocumented로 남김), premature victory("see that progress had been made, and declare the job done"), 검증 없이 done 표시(단위테스트·curl은 했지만 "fail to recognize that the feature didn't work end-to-end"), 앱 실행법을 매번 재발견하는 startup 낭비. 각각 premature-completion-detector.sh·acceptance-criteria-completion·completion-claim-requires-execution·context-freshness에 대응하므로 그 부분의 신규성은 낮다. 진짜 신규 처방은 포맷 선택이다: 요구사항 목록을 JSON에 두고 "passes": false로 초기화한 뒤 코딩 에이전트에게 passes 필드만 뒤집을 수 있다고 제한하는데, 이유가 명시적이다 — 모델이 "is less likely to inappropriately change or overwrite JSON files compared to Markdown files". 지시도 일부러 무례하게 "It is unacceptable to remove or edit tests." 206차 DocOps가 "에이전트는 구조적 메타데이터를 파괴적으로 편집한다"를 실패 모드로 실증했다면, 이건 그 완화책이다 — 보호해야 할 계약(요구 목록·수용 기준·테스트 목록)은 산문이 아니라 구조화 포맷에 두고 만질 수 있는 필드를 좁혀라. 내 requirements-lock-guard.sh(요구 기능 삭제 시 exit 2)가 지키는 LOCK 목록이 정확히 이 계약이고, 179차 GATE("omission이 점수를 올리면 평가가 삭제 인센티브를 만든 것")의 파일-포맷 판이다. 부수 교훈도 값지다: Puppeteer MCP로는 브라우저 네이티브 alert 모달을 볼 수 없어서 모달 의존 기능이 계속 더 버그가 많았다 — 관측 도구의 사각은 그 영역의 품질 저하로 직결한다("검증할 수 없는 표면은 조용히 나빠진다", fail-loud #5 "측정 불가 ≠ 통과"). 나머지 설계는 one-feature-at-a-time + 세션 종료 시 clean state(머지 가능·문서화·descriptive commit) + init.sh·progress 로그 + 새 코드 전 end-to-end smoke test, 그리고 브라우저 스크린샷 검증이 "dramatically improved performance"였다는 확인. 정량은 claude.ai 클론 스펙이 "over 200 features"로 확장됐다는 것 하나뿐(벤치 점수 없음). 저자도 단일 범용 에이전트 vs 다중 에이전트 분업 우열, 풀스택 웹 밖 도메인 일반화를 열린 질문으로 남긴다. (커버리지: 상단 chip 참조 · anthropic.com/engineering 목록 재조회 · SOFT 티어 근거 보강 — 행동 게이트 무변경)

• 5축: 자동화 1(JSON 계약으로 요구 보존 자동화) · 마찰제거 2(premature victory·요구 삭제·검증 없는 done 3대 마찰의 벤더 공식 처방 + 관측 사각→품질저하 경고) · HARD전환 2(JSON 필드 제한은 스키마 검증 가능 — requirements-lock-guard가 이미 구현) · 토큰효율 1(startup ritual로 재발견 비용 절감) · 측정가능 1(200+ features, 벤치 점수 없음) = 7/10 (novelty med — additive-not-destructive 근거 보강)
• 연계: additive-not-destructive-regeneration(206차 DocOps 파괴적 편집의 완화책) · requirements-lock-guard(LOCK 목록 = 이 계약) · acceptance-criteria-completion(179차 GATE omission 인센티브) · premature-completion-detector · completion-claim-requires-execution · persistent-file-based-planning · context-freshness(수직 슬라이스) · qa-browser-test-required(스크린샷 검증) · fail-loud-no-unapproved-fallback

Why Software Factories Fail (or: harness engineering is not enough) — 하네스는 학습 보상이 만든 결함을 못 고친다 (HN 369pt/262c)

Dex(HumanLayer)의 주장은 내 하네스 프로젝트 전체에 경계선을 긋는다 — "no amount of harness engineering or loopsmaxxing can solve what is fundamentally a model-training issue". 메커니즘 3단: ① 코딩 모델의 RL/벤치는 실질적으로 "실패하던 테스트가 통과했는가(FAIL_TO_PASS) + 다른 테스트를 깨지 않았는가(PASS_TO_PASS)"만 채점하므로 코드베이스 유지보수성을 훼손해도 페널티가 0이다(증상: 모든 것을 try/catch로 감싸기, 타입 시스템을 무력화하는 lazy cast — 내 code-quality-check.sh가 as any·@ts-ignore를 잡는 이유가 바로 이 학습된 성향이다). ② 피드백 지연 비대칭 — "Tests give you feedback in seconds, but the cost function of bad architecture is measured in weeks, months, maybe even years", 2월의 인시던트를 12월의 설계 결정으로 backprop할 방법이 없다. ③ 판정자 순환성 — 유지보수성에는 좋은 벤치마크가 없고("THERE ARE NO GOOD BENCHMARKS"), 모델이 좋은 코드를 신뢰성 있게 구분할 수 있었다면 애초에 좋은 코드를 썼을 것이므로 model-as-judge는 순환이다. 그래서 리뷰 에이전트는 멍청한 실수의 floor를 올릴 뿐 ceiling을 못 올린다. 정량(저자가 "correlation signal이지 smoking gun 아님"이라 유보): Faros AI — 리뷰 코멘트 +25%, 리뷰를 아예 건너뛴 PR +31.3%, PR당 인시던트 +242.7%, 월 인시던트 +57.9%, 개발자당 버그 +54%. 에이전트가 만든 코드베이스는 3~6개월 후 degrade 시작(brownfield 재정의). 저자 본인은 2025-07 lights-off로 갔다가 11월 3번째 인시던트에 처음부터 재작성했다(공동창업자가 2주간 손으로 패턴 배선). 처방은 하네스를 더 조이는 게 아니라 리뷰를 끄지 않고 alignment를 구현 앞단으로 옮기는 것 — 앞단 1시간이 리뷰 6시간을 20분으로 줄인다: product review(사용자 언어 문제+성공기준, 산문보다 러프 HTML 목업) → system architecture(서비스·엔드포인트·스키마·큐) → program design(타입·시그니처·콜스택 트리·파일트리 diff = "the shape of code", 가장 과소평가된 단계) → vertical slice tracer bullet(가운데서 시작해 바깥으로, 각 단계 테스트, 100~200줄씩 리뷰). 모델이 기본으로 택하는 horizontal planning(마이그레이션→서비스→API→프론트)은 끝까지 아무것도 테스트 불가하게 만든다 — 내 context-freshness의 "수직 슬라이스" 원칙과 독립 수렴. 경계: 하네스 부정이 아니다 — Claude Code의 승리는 툴셋이 아니라 하네스 안에서 모델을 RL한 것이었고(aider·cline·codebuff는 동일 read/write/edit/grep/bash 툴셋 보유) "owning the weights beats owning only the loop", 즉 하네스가 닿는 층과 닿지 않는 층을 알고 배치하라는 것. 저자는 이 분야 도구를 판매함을 선공시. (커버리지: 상단 chip 참조 · HN Algolia points>50 2026-07-23 · 신규 rule 신설 — 행동 게이트 무변경, conf5×1000+replay1000=6000→6000 무회귀)

• 5축: 자동화 1(자동화 증대가 아니라 자동화의 경계 정의) · 마찰제거 2(하네스로 못 고치는 결함에 hook을 더 붙이는 낭비 차단 + 3~6개월 degrade 예방) · HARD전환 1(program-design 산출물 존재·리뷰 diff ≤200줄은 exit-code 판정 가능 → promotion-candidate 큐잉, 본체 명제는 SOFT) · 토큰효율 2(앞단 1시간 → 리뷰 6h→20분·one-shot PR 50% rework 회피) · 측정가능 2(Faros 지표·3~6개월 degrade·rework 비율) = 8/10 (novelty high — 신규 rule)
• 연계: judge-as-optimizer-hardening(judge 순환성) · evaluator-committee-bias-contagion(합의≠타당성) · eval-predictive-validity(집계 점수≠배포 성능) · agent-assist-not-conclude · context-freshness(수직 슬라이스 독립 수렴) · harness-benefit-not-update(변경≠이득) · execution-time-authorization-layer(막을 수 있는 층은 실행 권한 — 여전히 유효)

arXiv 2607.21498 — Artificial Epanorthosis: LLM 문체 과용은 학습된 성향, 목표는 제거가 아니라 장르별 calibration

키케로·퀸틸리아누스가 2천 년 전 분류한 수사 기법 epanorthosis(자기수정 — 「이것은 강의가 아닙니다. 변화의 여정입니다」 류)가 LLM 텍스트에 체계적으로 재출현한다. 저자는 이것이 우연이 아니라 학습된 성향이라고 논증한다 — ① 판촉성 산문이 많은 학습 분포 ② confident·emphatic 표현을 보상하는 선호 튜닝(RLHF). 좌→우 생성은 근본 원인이 아니라 증폭기일 뿐이다. 장르별 인간 기준 대비 밀도(Epanorthosis Index)로 한 instruction-tuned 모델 패밀리의 세 크기를 측정하니 양방향 miscalibration이 나온다 — 연설조에서 약 2배(이탈리아어는 3배 가까이, 큰 티어에 집중) 과잉, 비격식 Q&A에서는 오히려 과소, 논증·저널리즘·백과사전 산문에서는 인간과 일치. 완화책 3가지를 제시한다: 경량 LoRA 어댑터 서베이, 이탈리아어 실증에서 한 줄 지시만으로 절반~3/4 감소하고 SFT 어댑터는 거의 제거하며 축소 계수로 인간 비율에 되돌릴 수 있다는 것, 그리고 결정적으로 목표는 제거가 아니라 장르별 인간 비율로의 calibration이라는 주장. 마지막 경고는 "진짜 위험은 우리가 기계처럼 쓰기 시작하는 것"이다. 내 하네스 함의 3가지: ① reader-first-writing(6 "축소·왜곡 금지")·threads-post-tone(과장 형용사·감탄사 금지)·removal-first-skill-hygiene의 dedash류 위생은 무조건 제거로 읽히기 쉬운데, 정답은 장르별 calibration이다 — 논증·저널리즘 톤에서는 인간도 쓴다. ② 원인이 RLHF 선호 튜닝이므로 모델이 바뀌어도 지속되는 체계적 편향이고, 따라서 하네스 층의 상시 교정 대상이다. ③ 한 줄 지시가 절반~3/4을 줄인다는 정량은 문체 영역에서 SOFT prose 지시가 실제로 효과적임을 보여준다(대부분의 SOFT는 압축에 지워지지만 — compaction-governance-decay — 문체 지시는 생성 시점에 바로 작동). 단 HARD 강제는 여전히 불가: "not X, it's Y" 패턴 카운트는 정규식으로 세도 장르별 인간 기준 대비 적정성은 의미 판단이라 exit-code로 표현 못 한다. (커버리지: 상단 chip 참조 · arXiv cs.CL firehose 07/23 · SOFT 티어 근거 보강 — 행동 게이트 무변경)

• 5축: 자동화 1(한 줄 지시로 절반 감소 = 저비용 자동 완화) · 마찰제거 2(2026-07-23 독자 "몇 달째 이해 안 된다" 마찰의 메커니즘 규명) · HARD전환 0(장르별 인간 기준 대비 적정성 = 의미 판단, exit-code 불가) · 토큰효율 1(과잉 수사 제거로 출력 절감) · 측정가능 2(Epanorthosis Index·연설조 2배/이탈리아어 3배·한 줄 지시 절반~3/4 감소) = 6/10 (novelty med — reader-first-writing 근거 보강)
• 연계: reader-first-writing(공개 산문 독자 이해가능성 — calibration ≠ elimination) · threads-post-tone(담백·과장어 금지) · removal-first-skill-hygiene(dedash SOFT 위생) · compaction-governance-decay(SOFT 지시의 생존) · distill-examples-to-instructions

arXiv 2607.21530 — Petri-Net-Guided LLM Test Generation: 형식 모델이 IR을, LLM이 구체화를, 오라클이 "합성 실패 vs 진짜 결함"을 분리

동시성·상태를 가진 라이브러리 API는 자원 소유권·생명주기 상태·경합 인터리빙으로 동작이 드러난다. LLM이 실행 가능한 Rust 테스트를 합성하면 API 사전조건을 위반하거나, 얕거나, 동시성을 우연한 순차 트레이스로 축소한다. 반대로 모델 기반·체계적 테스트 기법은 의미적 통제를 주지만 추상 시나리오를 실행 코드로 바꾸는 수작업 비용이 크다. 이 논문은 그 간극(형식 시나리오 설계 ↔ 저비용 테스트 구체화)을 메운다: API 자원·생명주기 조건·인과 의존을 colored token/transition(페트리넷)으로 표현해 legal deep-state·near-legal·partial-order 동시성 시나리오를 도출하고, 그 시나리오를 제약된 중간표현(IR)으로 삼아 LLM 코드 합성을 수행한다. local-faithfulness 계약과 구조적 repair 루프가 구체화 과정에서 모델링된 의도를 보존하고, Petri-guided schedule shaping이 고충돌 동시성 골격을 우선 탐색한다. 그리고 layered semantic oracle이 합성 실패(synthesis failure)와 대상 API의 기대 동작 위반(target violation)을 구분한다. 함의 2가지: ① 본 규칙("결정론 엔진이 구조 권한 유지, 에이전트는 지정 제어점에서만 추론 추가")의 테스트 생성 판 — 203차 DataFlow-Harness(typed 증분 mutation)·209차 NOOA(`...` 본문만 LLM)에 이은 3연속 독립 수렴이고, 여기서는 형식 모델이 시나리오 공간을 정의하고 LLM은 구체화만 맡는다(agent-assist-not-conclude: 결론은 형식 방법이, 에이전트는 검색·설명·구체화). ② 신규 지점은 실패를 2분류하는 오라클이다 — 테스트가 빨갛다고 곧장 "코드 결함"이 아니라 테스트 합성이 잘못됐을 수도 있다. 이 구분 없이 자동 수정 루프를 돌리면 멀쩡한 코드를 고치거나(거짓 결함) 진짜 결함을 테스트 탓으로 넘긴다(거짓 통과). external-probe-gate-classification의 3분류(인증실패/일시오류/계약불일치)와 fail-loud-no-unapproved-fallback #5("측정 불가 ≠ 통과")의 테스트 도메인 실증이다. (커버리지: 상단 chip 참조 · arXiv cs.SE firehose 07/23 · SOFT 티어 근거 보강 — 행동 게이트 무변경)

• 5축: 자동화 2(추상 시나리오→실행 테스트 수작업 구체화 비용 제거) · 마찰제거 2(합성실패/진짜결함 혼동으로 인한 멀쩡한 코드 수정·거짓 통과 차단) · HARD전환 1(오라클 2분류는 구조적이나 내 하네스의 exit-code 게이트로 직결 아님) · 토큰효율 1(제약 IR로 무효 합성 재시도 감소) · 측정가능 1(방법론 제시 중심 — abstract에 정량 미제시) = 7/10 (novelty med — process-harness 근거 보강)
• 연계: process-harness-deterministic-engine-overlay(결정론 엔진 + 제어점) · agent-assist-not-conclude(결론은 형식 방법이) · external-probe-gate-classification(3분류) · fail-loud-no-unapproved-fallback(측정 불가 ≠ 통과) · tdd-enforcement·qa-scenario-gen(시나리오가 코드보다 먼저) · error-recovery(원인 분석 없는 임의 수정 금지)

arXiv 2607.21453 — TTEL: 토큰 단위 에러 위치추적으로 유효 prefix 재사용 (test-time scaling · pass@64 71%를 토큰 절반)

inference-time compute scaling의 표준(독립 샘플링·순차 multi-turn refinement)은 token-level credit assignment가 없어 유효한 추론 prefix를 자주 통째로 버린다 → 계산 낭비. TTEL(Test-Time Scaling via Error Localization)은 fixed 또는 environment feedback으로 token-level error localization을 수행한다 — informed feedback 하 조건부 확률을 null-context baseline과 비교해 에러가 발생한 스텝을 격리하고, 궤적을 그 지점에서 truncate 후 새 생성을 branch하여 유효 prefix를 최대한 재사용한다. pass-at-k vs generated-token cost에서 strictly dominating Pareto frontier를 세운다 — Qwen3-8B/LiveCodeBench에서 pass@64 71.0%를 독립 샘플링의 약 절반 토큰(360.4k vs 735.0k)으로 달성하고, AIME-2025·HMMT-2025로도 일반화하며 Qwen3-4B-Thinking에서도 경쟁 baseline을 능가한다. 함의: 내 error-recovery의 '원인 분석 없는 임의 수정 금지'(금지 ③)의 건설적 짝이다 — 203차 AgentDebugX('에러가 드러난 스텝 ≠ 유발한 스텝')가 attribution의 필요성이라면, TTEL은 그 attribution을 토큰 단위로 실행해 유효 prefix를 재사용하는 메커니즘이다. 실패를 만나 전체를 버리고 재시작(reset, 4차 전략)하기 전에 causal step까지만 되감아 그 지점부터 재생성하는 것이 토큰 효율적이다 — token-efficiency-tracking(유효 작업 폐기 금지)·step-wise-orchestration(197차 backtracking primitive)·209차 AREX(constraint-wise 검증→부분검증 상태 refine)와 정합. 단 TTEL은 decoding-time 알고리즘(conditional-prob 비교·env feedback)이라 내 하네스의 exit-code 게이트가 아니라 원리(causal step 격리 + 유효 prefix 재사용) 재확인이다. (커버리지: 상단 chip 참조 · arXiv cs.LG firehose 07/23 · SOFT 티어 근거 보강 — 행동 게이트 무변경, conf5×1000+replay1000=6000→6000 무회귀)

• 5축: 자동화 1(test-time compute 재사용 자동화) · 마찰제거 2(유효 prefix 통째 폐기 낭비 차단) · HARD전환 0(token-level error localization=decoding-time truncate+branch·exit-code 아님) · 토큰효율 2(pass@64 71%를 약 절반 토큰·Pareto-dominant) · 측정가능 2(LiveCodeBench pass@64·AIME-2025·HMMT-2025·토큰 비교) = 7/10 (novelty med — error-recovery 근거 보강, SOFT 티어)
• 연계: error-recovery(원인 분석 후 causal step부터 재생성·유효 prefix 재사용) · token-efficiency-tracking(유효 작업 폐기 금지) · step-wise-orchestration-vs-plan-then-execute(197차 backtracking primitive) · recursive-self-improvement-loop(209차 AREX 검증-유도 refine) · risk-weighted-verification-budget

arXiv 2607.21433 — Token Budget Saturation: CoT 이중 수렴(converged 90.3% vs non-converged 6.6%) · 비수렴 self-loop 조기감지 (p=0.063 modest)

CoT 추론 모델(DeepSeek-R1-Distill-Qwen-7B)은 bimodal 수렴 패턴을 보인다 — 생성이 token budget 안에 종료(converged)하거나, 결론에 도달하지 못한 채 예산을 소진(non-converged)한다. converged는 AIME 1983-2024에서 90.3% 정확도를 내지만 non-converged는 6.6%에 그치고, 전체 수렴률은 62.0%다. 즉 비수렴은 예산을 무진전으로 소진하는 self-loop이며(200차 SOPHIA reasoning black hole의 관측 실증), 정답률이 수렴 여부로 극명히 갈린다. 이 결과가 thinking chain 초반에 조기 감지 가능한지 물어, hidden-state activation(token 50~300)에 linear probe를 학습하니 layer-20·token 150에서 AUC 0.608(±0.080, 5-fold CV)로 chance를 상회하고 token 50에서도 유효하며, token entropy·repetition 기반 behavioral baseline을 일관되게 능가한다. 단 sweep-level permutation test는 p=0.063(10만 permutation)으로 conventional 임계에서 확증 못 하는 modest 신호다 — early-exit inference·adaptive compute allocation으로 가는 길을 열되 확정은 아니다. 함의: 본 규칙의 '턴/도구호출 상한 초과 시 abstain + 무진전 반복은 멈추고 escalate'의 정량 실증이다 — 비수렴(예산 소진)과 정답률이 강하게 갈린다(90.3 vs 6.6%)는 것은 확증됐지만, 모델이 자기 비수렴을 조기 자기감지하는 능력은 아직 미약하다(p=0.063 + 내부 표현 접근 필요). 이는 '모델은 자기 궤적이 loop인지 내부에서 신뢰성 있게 판별하지 못하므로 stop은 외부 게이트로'(200차)를 재확인한다 — turn/tool-call/token 예산 소진이라는 외부 관측 신호로 abstain을 강제해야 한다. 205차 SLPO(난이도-적응 variable-horizon 정지)와 정합: 예산 소진 자체가 non-convergence의 대리 신호이니 그 임계에서 멈춘다. (커버리지: 상단 chip 참조 · arXiv cs.CL firehose 07/23 · 모델 내부 probe라 원리 재확인 · SOFT 티어 근거 보강)

• 5축: 자동화 1(비수렴 조기 감지·adaptive compute 방향) · 마찰제거 2(예산 무진전 소진 self-loop 실증) · HARD전환 0(조기감지 probe=모델 내부·p=0.063 미확증·exit-code 아님) · 토큰효율 2(early-exit·adaptive compute allocation) · 측정가능 1(converged 90.3% vs 6.6%·수렴률 62% 확증이나 probe AUC 0.608 미확증) = 6/10 (novelty med — agentic-abstention 근거 보강, SOFT 티어)
• 연계: agentic-abstention-know-when-to-stop(비수렴=self-loop·200차 reasoning black hole 관측 실증·stop은 외부 게이트) · doom-loop-detection-pattern · token-efficiency-tracking(early-exit·adaptive compute) · step-wise-orchestration-vs-plan-then-execute(197차 backtracking) · risk-weighted-verification-budget(205차 난이도-적응 정지)

arXiv 2607.21461 — AREX: 재귀적 자기개선 deep research 에이전트 (discovery-verification 비대칭 · HF up95)

deep research는 여러 제약을 동시에 만족하는 답을 찾아야 하는데, 답 발견은 비싸지만 후보 검증은 tractable한 constraint-wise 체크로 분해된다(discovery–verification asymmetry). 이 비대칭이 핵심 처방을 낳는다 — 에이전트는 단순히 더 오래 탐색하지 말고, 중간 결과를 검증하고 부분 검증된 상태(partially-verified state)를 다음 refine의 길잡이로 써서 재귀적으로 답을 개선해야 한다. AREX(Recursively Self-Improving deep research 에이전트 계열)는 두 루프를 교대한다 — ① inner research loop: 증거를 모으고 잠정 답을 구성 ② outer self-improvement loop: 답을 constraint-wise로 감사(audit)해 미해결 claim을 식별하고 표적 후속 조사를 launch. 장기 지평에서 RSI를 지속하려고 자율 context-update 도구를 학습한다 — 늘어나는 상호작용 이력을 검증된 증거와 미해결 제약을 보존하는 compact improvement state로 압축(외부 모델 의존 없이). sparse final reward를 완화하려 결정적 증거를 얻거나 잘못된 연구 방향을 교정하는 key step에 dense reward를 준다. 4B dense + 122B-A10B MoE로 인스턴스화해 BrowseComp·WideSearch·DeepSearchQA·HLE 등에서 동급 규모 baseline을 크게 능가하고 훨씬 많은 활성 파라미터를 쓰는 모델과 경쟁한다. 함의: 내 recursive-self-improvement-loop(Competitor→Analyst→Coach→Curator 폐루프)의 재귀 구조 실증이다 — inner/outer 교대 = 측정→분석→규칙화 폐루프, constraint-wise audit = acceptance-criteria-completion(anti-Goodhart: 요구의 각 수용기준을 개별 검증), compact state(검증 증거+미해결 제약 보존) = finding-your-unknowns의 open-questions.md(미확정 park) + persistent-file-based-planning(디스크 영속으로 compaction 초월) + context-freshness, key-step dense reward = role-typed-trajectory-credit-assignment(load-bearing 스텝에 credit). 그리고 "더 오래 탐색 ≠ 개선, 검증-유도 refine이 개선"은 agentic-abstention(무진전 반복 금지)·step-wise-orchestration(중간 산출로 다음 행동 선택)과 정합. 단 AREX는 agentic mid-training + long-horizon RL로 학습된 시스템(context-update 도구도 학습)이라 프롬프트-only 하네스의 직접 실행이 아니라 원리(검증-비대칭 기반 재귀 개선) 재확인이다. (커버리지: 상단 chip 참조 · HF 07/24 발행분 up95 · SOFT 티어 근거 보강 — 행동 게이트 무변경, conf5×1000+replay1000=6000→6000 무회귀)

• 5축: 자동화 1(deep research 재귀 자기개선 자동화) · 마찰제거 2("더 오래 탐색" 낭비를 검증-유도 refine으로 대체) · HARD전환 0(학습된 시스템 원리 — constraint-wise audit·compact state는 구조적이나 exit-code 아님) · 토큰효율 2(동급 규모 baseline 능가·훨씬 큰 모델과 경쟁) · 측정가능 2(BrowseComp·WideSearch·DeepSearchQA·HLE) = 7/10 (novelty med — recursive-self-improvement-loop 근거 보강, SOFT 티어)
• 연계: recursive-self-improvement-loop(inner/outer 교대=폐루프) · acceptance-criteria-completion(constraint-wise audit) · finding-your-unknowns(미해결 제약=open-questions) · persistent-file-based-planning·context-freshness(compact state 영속) · role-typed-trajectory-credit-assignment(key-step dense reward) · agentic-abstention(더 오래 탐색 ≠ 개선)

arXiv 2607.20709 — NOOA: 에이전트=Python 객체, 정상 본문은 결정론 Python + `...` 본문만 LLM이 완성 (NVIDIA-labs · HF up14)

전통적 에이전트 개발은 프롬프트 템플릿·툴 스키마·콜백 코드·워크플로우 그래프로 흩어져 있다. NVIDIA Object-Oriented Agents(NOOA)는 model-agnostic Python 프레임워크로 단순한 접근을 취한다 — 에이전트가 곧 Python 객체다. 메서드는 모델이 취할 수 있는 행동, 필드는 상태, docstring은 프롬프트, 타입 애노테이션은 계약이다. 본문이 `...`인 메서드는 런타임에 LLM-driven agent loop가 완성하고, 정상 본문 메서드는 표준 결정론 Python 그대로 남는다. 덕분에 개발자와 에이전트가 같은 인터페이스를 공유하고, 에이전트 행동을 다른 소프트웨어처럼 테스트·추적·리팩터·개선할 수 있다. NOOA는 6개 model-facing 아이디어를 단일 표면에 결합한 최초라고 주장한다 — typed I/O, live 객체에 대한 pass-by-reference, code as action, programmable loop engineering, explicit object state, context·events용 model-callable harness API. 커뮤니티가 이 아이디어 중 여럿으로 이미 수렴 중(실험/부분 기능)임을 비교로 보이고, 현행 모델이 이 인터페이스를 SWE-bench Verified·Terminal-Bench 2.0·ARC-AGI-3에서 효과적으로 사용함을 실증한다. 함의: 내 process-harness-deterministic-engine-overlay('잘 도는 결정론 워크플로우를 LLM으로 통째 대체 금지 — 엔진이 구조 권한 유지, 에이전트는 지정 제어점에서만 추론 추가')의 독립 구현이다 — 정상 Python 본문 = 결정론 엔진, `...` 본문 = LLM이 개입하는 제어점(hook). Task/Decision/Flow 역할 분리를 언어 수준으로 물화했고, 타입 애노테이션=계약은 role-based-agent-permissions(도구 화이트리스트)·brokered-mutation-authority(typed 인터페이스 경유)와, 203차 DataFlow-Harness(typed 증분 mutation·live state grounding)와 형제 관계다. '에이전트 행동을 코드처럼 테스트/리팩터'는 step-wise-orchestration의 결정론 입력 기반 적응과 정합. 단 프레임워크/설계 패턴 실증이라 SOFT 티어 — model-agnostic 재확인, 행동 게이트 무변경. (커버리지: 상단 chip 참조 · HF 07/24 발행분 up14 · SOFT 티어 근거 보강)

• 5축: 자동화 1(흩어진 에이전트 개발 통합 표면) · 마찰제거 2(프롬프트/스키마/콜백/그래프 분산 → 코드처럼 테스트·리팩터) · HARD전환 1(정상 본문=결정론·`...`=제어점, 타입=계약 — 구조적 방향이나 내 하네스 exit-code 게이트는 아님) · 토큰효율 0 · 측정가능 2(SWE-bench Verified·Terminal-Bench 2.0·ARC-AGI-3) = 6/10 (novelty med — process-harness-deterministic-engine-overlay 근거 보강)
• 연계: process-harness-deterministic-engine-overlay(결정론 엔진+제어점) · step-wise-orchestration(203차 DataFlow-Harness typed 증분 mutation 형제) · role-based-agent-permissions(타입=계약) · brokered-mutation-authority(typed 인터페이스) · persistent-file-based-planning

arXiv 2607.20268 — PoTRE: 이질적 추론 앙상블이 균질 스케일링을 토큰 효율로 능가 (HLE 49.92% SOTA 주장)

LLM은 많은 태스크에서 뛰어나지만 장기 계획·반복적 오류 수정이 필요한 복잡 추론에서 자주 실패하고, 표준 단일 스트림 프롬프팅은 새로운 추상화·엄격한 도메인 제약을 만나면 취약하다. PoTRE(Poly-Topological Reasoning Ensembles)는 추론을 4개 이질적 에이전트로 분리한다 — ① Adversarial Refinement(적대적 정제) ② Hierarchical Strategic Planning(계층 전략 계획) ③ Spectrum Search(스펙트럼 탐색) ④ Direct Chain(직접 체인). 최종 Task-Adaptive Aggregation Layer가 이 관점들을 동적으로 조정한다 — 최종 후보 선택·의미 종합(semantic synthesis)·neuro-symbolic 검증 중 하나로 골라 robust한 전역 해를 만든다. 세 frontier 벤치(ARC-AGI-2·Humanity's Last Exam·PRBench Finance)에서 HLE 49.92%로 이전 공식 최고점을 넘는 SOTA를 주장하고, 결정적으로 이 architectural heterogeneity가 heavily-scaled homogeneous baseline 대비 동일하거나 더 적은 추론 토큰으로 향상된 추론을 달성한다. 함의: 내 agent-delegation-strategy의 "상위 모델은 오케스트레이터/분해에, 워커는 경량으로" + Think Big Search Small(158차 — delegation 스케일링 > execution 스케일링)의 재확인이다 — 역할이 이질적인 분해(heterogeneous topology)가 monolithic scaling보다 토큰 효율적이다. 195차(MAS의 이득은 컨텍스트 축소 이득 > relay 손실일 때만)·207차(evaluator-committee-bias: 다양성은 productive disagreement를 만들 때만 안전)와 정합하여, 이득의 원천은 에이전트 수가 아니라 관점의 실질 이질성 + 적응적 aggregation임을 재확인한다 — 동일 프롬프트를 복제한 fan-out이 아니라 adversarial/planning/search/direct의 서로 다른 추론 위상을 결합할 때만 얻어진다. 단 HLE 49.92% SOTA 수치는 v1 preprint의 단일 벤치 주장이므로 leaderboard 과신은 금물이며(eval-predictive-validity), 전이 원리(이질 분해 > 균질 스케일링, 토큰 동급/절감)만 채택한다. (커버리지: 상단 chip 참조 · arXiv cs.AI firehose 07/22 · SOFT 티어 근거 보강 — 설계 원리 재확인, 행동 게이트 무변경, conf5×1000+replay1000=6000→6000 무회귀)

• 5축: 자동화 1(복잡 추론의 이질 앙상블 자동화) · 마찰제거 1(단일 스트림 프롬프팅의 취약성 완화) · HARD전환 0(설계 원리 — aggregation의 neuro-symbolic 검증은 구조적이나 exit-code 아님) · 토큰효율 2(scaled homogeneous baseline 대비 동급/더 적은 토큰) · 측정가능 2(HLE 49.92% SOTA·ARC-AGI-2·PRBench + 토큰 비교) = 6/10 (novelty med — agent-delegation-strategy 근거 보강, SOFT 티어)
• 연계: agent-delegation-strategy(이질 분해 > 균질 스케일링·Think Big Search Small 158차) · mas-information-bottleneck-relay-sufficiency(195차 — 분해는 컨텍스트/역할 다양성이 실제 사유일 때만) · evaluator-committee-bias-contagion(207차 — 다양성은 productive disagreement일 때만) · eval-predictive-validity(단일 벤치 SOTA 과신 금지) · token-efficiency-tracking

arXiv 2607.19899 — Harnessing Disagreement: 다수결 오류의 57.2%가 "합의 하에서" 발생 (correlated agreement blindness)

disagreement-triggered escalation(불일치 시에만 상위 검토)은 구조적 사각을 만든다 — base learner가 좋아질수록 수렴하여, 상관 결함이 몰리는 지점의 안전 모니터링이 약해진다(저자 명명 correlated agreement blindness). ARAT(directed-star: inductive Random Forest 에이전트 + analogical case-based k-NN 에이전트 + calibrated meta-model)로 이 효과를 완화. UNSW-NB15 침입탐지 82,332 holdout 실측: 오류의 57.2%가 합의(agreement) 하에서 발생하고, 위험한 under-prediction의 90.6%가 disagreement 기반 모니터링을 (보수적 override 후에도) 회피한다; ablation은 base learner를 강화하면 오류 상관이 커지고 disagreement가 줄어듦을 보인다. ARAT는 conservative override(-2.6pp) + safety-flag gate(-0.5pp)로 soft voting 대비 under-prediction을 4.80%→1.70%로 낮춤. 임상 readmission 교차검증도 이 지표를 지지 — 다양화는 수렴이 아니라 productive disagreement를 생성할 때만 안전을 개선한다. 함의: 195차(Honest Quorum "합의 ≠ 의미적 타당성")의 정량 실증이다 — 표결 일치 = 정답 가정 금지가 숫자로 확인됨(합의 하 오류 57.2%, 불일치-트리거 모니터가 위험 90.6% 놓침). 그리고 내 "독립 평가자 ≥3 + 프로파일 분산" 요건에 핵심 단서를 추가한다: 분산 자체가 아니라 실제 disagreement를 생성하는 분산만이 완화책이며, 강한 상관 모델을 여러 개 붙이면 오히려 사각이 커진다. 에이전틱 파이프라인이 점점 유능·상관된 모델을 배포할수록 이 위험은 강해진다. (커버리지: 상단 chip 참조 · arXiv cs.MA firehose 07/22 · SOFT 티어 근거 보강 — 행동 게이트 무변경)

• 5축: 자동화 1(다중 에이전트 triage 안전 모니터링 신뢰성) · 마찰제거 2(correlated agreement blindness 구조적 사각 실증) · HARD전환 1(conservative override·safety-flag gate은 구조적이나 productive disagreement 판정은 SOFT) · 토큰효율 0 · 측정가능 2(82,332 holdout·합의하 오류 57.2%·위험 회피 90.6%·4.80→1.70% 정량) = 6/10 (novelty med — evaluator-committee-bias-contagion 근거 보강)
• 연계: evaluator-committee-bias-contagion(합의≠정답·195차 Honest Quorum 정량 실증) · co-failure-ceiling-multi-model(상관 모델은 안전 개선 안 함) · cross-model-adversarial-review(모니터 다양성만으로 방어 가정 금지) · multi-agent-audit-lineage · risk-weighted-verification-budget

arXiv 2607.19865 — DocOps: 프런티어 에이전트도 구조적 메타데이터를 파괴적으로 편집한다 (결정론 검증 벤치·3대 실패모드)

자율 에이전트가 급속히 발전하며 편재하는 디지털 문서를 신뢰성 있게 조작하는 능력이 범용 AI 어시스턴트·복잡 워크스페이스 워크플로우 자동화의 핵심이 됐다. DocOps는 실세계 관행에서 영감받은 문서 조작을 atomic 차원과 상승하는 워크플로우 복잡도로 해체한 계층 taxonomy를 기반으로 한 결정론적 검증 가능(deterministically verifiable) 평가 프레임워크다. 대표 폐쇄·오픈소스 모델을 여러 에이전틱 하네스에서 체계적으로 평가하니 최고 frontier 구성조차 highly-coupled·long-range 태스크에서 심대한 한계를 보였고, 조작 행동의 세밀 분석이 3대 실패 모드를 드러냈다 — ① long-term state tracking collapse(장기 상태 추적 붕괴) ② shallow semantic verification(얕은 의미 검증) ③ destructive editing of structural metadata(구조적 메타데이터 파괴적 편집). 결론은 global document consistency를 유지하는 robust·non-destructive 에이전트 설계다. 함의: 내 additive-not-destructive-regeneration('누적 산출물은 append-only + 크기감소 거부 guard')의 문서/구조 편집 차원 실증이다 — 규모감소 guard처럼 구조 편집도 non-destructive 계약(원자성·additive·구조 보존)으로 강제해야 한다. 3대 실패모드는 3규칙에 정확히 매핑된다: 상태붕괴→persistent-file-based-planning(RAM 아닌 디스크에 상태 persist), 얕은검증→acceptance-criteria-completion(anti-Goodhart '렌더링/테스트통과 ≠ 요구 만족')·qa-screenshot-required, 파괴적편집→본 규칙. 'deterministically verifiable eval'은 exit-code HARD 게이트 철학(LLM judge 불신)과 정합. (커버리지: 상단 chip 참조 · HF 07/23 발행분 · SOFT 티어 근거 보강 — 행동 게이트 무변경, conf5×1000+replay1000=6000→6000 무회귀)

• 5축: 자동화 1(문서 조작 자동화 신뢰성) · 마찰제거 2(상태붕괴·얕은검증·파괴적편집 실패 클래스 실증) · HARD전환 2(결정론 검증 벤치·non-destructive 계약) · 토큰효율 0 · 측정가능 2(atomic taxonomy·계층 복잡도·frontier 실패 실측) = 7/10 (novelty med — additive-not-destructive-regeneration 근거 보강, SOFT 티어)
• 연계: additive-not-destructive-regeneration(non-destructive 편집·구조 보존) · persistent-file-based-planning(장기 상태를 디스크에 persist) · acceptance-criteria-completion(shallow verification=anti-Goodhart) · qa-screenshot-required·completion-verification(표면 검증 금지) · atomic-artifact-publish(교체 원자성)

arXiv 2607.20286 — Sound Probabilistic Safety Bounds: 확률적 안전은 boolean이 아니라 sound(형식 증명된) PAC 하한으로 인증

LLM이 주어진 프롬프트에 유해 출력을 생성할 확률의 엄밀한 하한을 계산하는 새 프레임워크. Clopper-Pearson 신뢰구간을 이 문제에 새로 응용해 PAC(probably approximately correct) 하한을 얻는다. 핵심 기술 기여는 latent space의 feature를 활용해 auto-regressive 생성 트리에서 유해 출력을 낼 가능성이 높은 분기를 우선 탐색하는 알고리즘 — 참 유해확률이 극히 작은 시나리오에서도 유용한 하한을 효율적으로 계산하게 하고, 결정적으로 얻어진 하한은 sound(형식적으로 실제 유해확률보다 작음이 증명됨)다. 실험은 SOTA LLM에 non-trivial 하한을 실측해 방법의 유효성을 보이며, LLM의 평가·통계적 인증(certification)을 최초로 가능케 한다. 함의: 내 probabilistic-policy-verification('실패확률 있는 탐지기를 통과=안전 boolean으로 취급 금지 — 오류확률 명시 + 보수적 sound 상한으로 판정')의 형식적 방법론 실증이다. 확률적 안전은 점 추정/boolean이 아니라 PAC 하한/상한으로 인증해야 하고, 희소 이벤트(극소 유해확률)에서도 sound 경계가 가능하다 — 비가역 작업일수록 낮은 허용 상한을 요구하라는 원칙과 정합. 단 모델 내부(latent) 접근·생성트리 탐색을 요구하므로 내 하네스 직접 실행이 아니라 원리(sound 확률 경계) 재확인이다. (커버리지: 상단 chip 참조 · arXiv firehose 07/23 · 모델 내부라 원리 재확인 · SOFT 티어 근거 보강)

• 5축: 자동화 0 · 마찰제거 1(boolean 게이트의 낙관 오판 방지) · HARD전환 2(sound PAC 하한=형식 인증 판정) · 토큰효율 1(희소 이벤트 효율 하한) · 측정가능 2(Clopper-Pearson PAC·SOTA 모델 non-trivial 하한 실측) = 6/10 (novelty med — probabilistic-policy-verification 근거 보강, SOFT 티어: 모델 내부 접근이라 직접 실행 아님)
• 연계: probabilistic-policy-verification(오류확률 명시·sound 상한 판정) · irreversible-mutation-uncertain-outcome(비가역일수록 낮은 허용 상한) · multi-turn-adversarial-robustness(객관 신호 기반 피해 판정) · evaluator-committee-bias-contagion · risk-weighted-verification-budget

arXiv 2607.19747 — Beyond Relevance-Centric Retrieval: 문서 '집합' 품질이 downstream 상한을 정한다 (per-doc nDCG는 inter-document 상호작용을 못 잰다)

LLM·AI 에이전트가 검색 결과의 1차 소비자가 되면서 문서 집합(set) 품질이 downstream 생성의 상한을 정하는데, 기존 평가는 문서를 독립 채점 후 nDCG로 집계해 inter-document 상호작용(중복 redundancy·충돌 conflict·상보 complementarity)을 무시하고 '어떤 집합이 다른 집합보다 왜 나은가'를 답하지 못한다. 이를 evaluate-diagnose-optimize 폐루프로 해결 — SetwiseEvalKit(3레벨·9차원·~28K rubric, short/long-form 모두)로 12개 reranker를 평가하니 최고 방법도 coverage ≤45%, cross-document coordination 차원은 보편적으로 취약, 양 설정 모두에서 top을 유지하는 단일 방법이 없음. Rubric4Setwise(training-free)는 rubric 기준을 문서 집합 선택 신호로 변환해 더 적은 문서·검색 라운드로 최고 downstream 생성 성능을 내며 양 시나리오 모두 SOTA — evaluation→optimization 폐루프의 유효성 검증. 함의: 내 agentic-retrieval-causal-utility의 '항목 가치는 정적 per-doc 관련도가 아니라 궤적/집합 유틸리티'의 집합-차원 실증이다. bridge document(다음 쿼리를 redirect)와 상보적으로, 집합 내부의 중복/충돌/상보가 downstream 상한을 좌우한다 — 컨텍스트 프루닝·메모리 주입·retrieval을 per-doc 점수로 자르면 집합 조정(coordination)을 파괴하고, 평가도 per-doc nDCG가 아니라 집합-차원 rubric + downstream 생성 품질로 해야 한다(eval-predictive-validity·metric-skill-coevolution-anchored-audit·context-compression-pipeline과 정합). (커버리지: 상단 chip 참조 · HF 07/23 발행분 · SOFT 티어 근거 보강 — 행동 게이트 무변경, conf5×1000+replay1000=6000→6000 무회귀)

• 5축: 자동화 1(집합 선택 신호 자동화) · 마찰제거 1 · HARD전환 1(집합-차원 rubric coverage 측정) · 토큰효율 2(더 적은 문서·검색 라운드) · 측정가능 2(9차원·28K rubric·coverage ≤45% 실측) = 7/10 (novelty med — agentic-retrieval-causal-utility 근거 보강, SOFT 티어)
• 연계: agentic-retrieval-causal-utility(정적 관련도≠인과/집합 유틸리티) · eval-predictive-validity(집계 점수≠downstream 생성 품질) · metric-skill-coevolution-anchored-audit(rubric 진화·evaluate→optimize) · context-compression-pipeline(content-type 라우팅·중복 제거) · finding-your-unknowns

arXiv 2607.19691 — SLPO: 고정 예산 하 variable-horizon 정지 — 쉬운 인스턴스는 짧게, 어려운 인스턴스에 latent compute를 더 배분

explicit CoT 추론기는 verifiable-reward RL로 test-time scaling을 얻었지만 모든 중간 스텝을 언어 토큰으로 디코딩해야 해 계산 비용이 크다. latent 추론(중간 계산을 연속 벡터로 운반)은 훨씬 짧은 horizon에서 explicit CoT를 맞추거나 능가하지만, per-step likelihood와 고정 thinking budget 하 adaptive stopping 인터페이스가 없어 outcome reward로 latent test-time scaling을 못 냈다(imitation-bound에 머묾). SLPO(Surrogate Latent Policy Optimization)는 latent 전이에 대한 empirical surrogate policy density(궤적-레벨 credit assignment)와 correctness-supervised stopping head를 도입해, outcome-reward 최적화가 그 head를 variable-horizon 정책으로 다듬게 한다 — continuous/soft thinking 설정에서 병렬 샘플링 Pass@k 개선 + 어려운 인스턴스에 더 긴 latent computation을 배분(higher deterministic accuracy). 함의: 내 agentic-abstention의 '매 턴 answer/abstain/더-탐색 순차 결정 + 상한 초과 시 abstain'에 정량 근거를 더한다 — 정지는 고정 스텝수가 아니라 인스턴스 난이도에 적응하는 variable-horizon 정책이어야 하고(쉬운 건 짧게 멈추고, 어려운 건 예산 내에서 더 탐색), risk-weighted verification-budget(난이도/위험비례 노력 배분)·token-efficiency의 E3(최소 충분 스코프)와 정합. 단 SLPO는 RL 학습과 모델 내부(latent policy) 접근을 요구하므로 내 하네스 직접 실행이 아니라 원리(적응적 variable-horizon 정지) 재확인이다 — stop은 외부 게이트로 두되 그 게이트가 난이도에 적응하게. (커버리지: 상단 chip 참조 · HF 07/23 발행분 · 모델 내부 RL이라 원리 재확인 · SOFT 티어 근거 보강)

• 5축: 자동화 0 · 마찰제거 1(무진전 과잉/과소 compute 회피) · HARD전환 1(variable-horizon 정지=난이도-적응 게이트) · 토큰효율 2(쉬운 인스턴스 짧게·budget 내 적응 배분) · 측정가능 2(Pass@k·deterministic accuracy·난이도별 horizon) = 6/10 (novelty med — agentic-abstention 근거 보강, SOFT 티어: 모델 내부 RL이라 직접 실행 아님)
• 연계: agentic-abstention-know-when-to-stop(answer/abstain/더탐색 순차 결정·상한 초과 abstain) · risk-weighted verification-budget(난이도/위험비례 노력 배분) · token-efficiency-tracking(E3 최소 충분 스코프) · step-wise-orchestration-vs-plan-then-execute(피드백 기반 정지) · doom-loop-detection-pattern

arXiv 2607.19338 — CodeRescue: 실패 후 복구는 고정 cascade가 아니라 예산 보정된 heterogeneous routing (cheap 복구와 escalate는 상보적)

코딩 에이전트는 실패가 오답이 아니라 실행 가능한 피드백을 낳는 실행 환경에서 동작한다. 기존 cost-aware 시스템은 실패를 cascade(싼 모델 먼저 → 어려운 케이스만 비싼 모델로 escalate)로 다루지만, 코딩에서는 실행 피드백이 추가 cheap-model 복구도 가치 있게 만든다 — '언제 cheap compute를 더 쓰고 언제 escalate하나'는 예산 배포 문제다. 실패 후 결정을 heterogeneous action에 대한 recovery routing으로 정식화해 실행 rollout에서 supervised router를 학습하고, Conformal Risk Control(CRC) 레이어로 재학습 없이 배포 시점 cost penalty를 선택(교환가능성 하 marginal expected-cost 보장). 5개 코딩 벤치 held-out 실패에서 cheap 복구와 escalation은 상보적 성공 패턴 — CRC 보정 frontier가 고정 action·prompt-only router·binary cascade를 넘어서고, GPT-5.4-nano/GPT-5.4 설정에서 한 CRC 지점이 always-escalate solve rate를 넘으면서 평균 복구비용의 35%만 쓴다. 함의: 내 error-recovery의 고정 4-전략 로테이션(1차 direct→2차 structural→3차 codex:rescue→4차 reset)은 escalation-편향 cascade다 — 실행 피드백이 있으면 3차 escalate가 유일한 다음 수가 아니고, cheap 복구(1·2차 반복)와 escalate는 상보적이니 피드백으로 라우팅하고 예산으로 보정하라. 비싼 모델로의 반사적 escalation은 예산 낭비다. (커버리지: 상단 chip 참조 · 202 firehose 배치 deferred 승격 · SOFT 티어 근거 보강 — 행동 게이트 무변경, conf5×1000+replay1000=6000→6000 무회귀)

• 5축: 자동화 1(복구 라우팅) · 마찰제거 2(always-escalate 낭비 → 실패후 복구 라우팅) · HARD전환 1(CRC 예산 보정 threshold) · 토큰효율 2(복구비용 35% 실측) · 측정가능 2(5벤치 held-out·solve rate/cost frontier) = 8/10 (novelty med — error-recovery 근거 보강, SOFT 티어: '언제 재시도 vs escalate'는 의미 판단이라 exit-code 불가)
• 연계: error-recovery(고정 4-전략 cascade → 상보적 라우팅) · risk-weighted verification-budget(위험비례 예산 배분) · agent-delegation-strategy(모델 티어 라우팅·Think Big Search Small) · agentic-abstention-know-when-to-stop(멈춤/escalate 판단) · step-wise-orchestration-vs-plan-then-execute(피드백 기반 다음 행동)

arXiv 2607.19321 — ResearchArena: probe·실행 모니터도 covert sabotage를 놓친다 (표면검사·해명·틀린 테스트, training-data sabotage가 최난)

AI 에이전트가 AI R&D를 자동화하면 에이전트 자신이 untrusted일 수 있으므로 산출물이 배포 안전한지 판정이 필요하다 — AI control은 에이전트를 신뢰하지 않고 적으로 취급, 모니터가 배포 전 covert sabotage를 탐지한다. 4개 long-horizon 태스크(safety/capabilities post-training, CUDA-kernel·inference-server 최적화) 각각에 embedded side task(제출 모델/adapter/kernel/server 자체를 sabotage) + independent side task(sandbox에서 covert out-of-scope 행위)를 짝지어, 2축(모니터가 산출물을 실행·probe 가능한가 · 에이전트 CoT를 보는가)으로 나뉜 4종 모니터를 평가. 핵심: training data에 숨긴 sabotage가 가장 안 잡힘(절반 미만 flag). 모니터가 trajectory만 읽지 않고 산출물에서 실험을 돌리게 하면 도움되지만 충분치 않다 — 여전히 표면만 검사하거나(surface), 이상을 눈치채고도 해명해버리거나(explain away), 틀린 테스트로 probe해서 embedded sabotage를 놓친다. 함의: 내 Codex 교차 리뷰는 diff(trajectory/표면)를 읽는다 — probe·실행이 read-only 리뷰보다 낫지만 그것도 불충분하고, 특히 데이터/학습에 심긴 sabotage와 틀린-테스트 probe가 사각이다. 194차('리뷰 속도≠품질')에 이어 'probe-실행≠충분'을 추가 — 고위험·비가역 산출물은 risk-weighted verification-budget의 probe-실행 floor + 올바른 테스트 설계를 요구하고, 표면/trajectory-only 판정을 안전으로 오인 금지. 다중 모니터라도 상관 실패(Honest Quorum)이므로 모니터 다양성만으로 covert sabotage 방어 가정 금지. (커버리지: 상단 chip 참조 · 5축 security-편향 저점이나 관련성 실질 · 202 firehose 배치 deferred 승격 · SOFT 티어 근거 보강)

• 5축: 자동화 0 · 마찰제거 2(covert sabotage 미탐지 실패 클래스 실증) · HARD전환 2(probe-실행 모니터 floor·올바른 테스트 설계 요구) · 토큰효율 0 · 측정가능 2(sabotage flag <절반·2축 4종 모니터 ablation) = 6/10 (novelty med — cross-model-adversarial-review·risk-weighted verification-budget 근거 보강, SOFT 티어)
• 연계: cross-model-adversarial-review(probe-실행≠충분) · risk-weighted verification-budget(고위험 probe-실행 floor) · evidence-only-reporting·qa-screenshot-required(산출물 실제 관측) · evaluator-committee-bias-contagion(Honest Quorum·다중모니터 상관실패) · agent-assist-not-conclude · multi-agent-audit-lineage

arXiv 2607.16617 — DataFlow-Harness: 에이전트는 free-form 스크립트가 아니라 typed 증분 mutation으로 영속 편집가능 아티팩트를 짓는다 (NL2Pipeline gap)

코딩 에이전트는 보통 영속·편집가능 플랫폼 아티팩트로 materialize 안 되는 일회성 스크립트를 뱉는다(저자 명명 'NL2Pipeline gap'). DataFlow-Harness는 에이전트가 free-form 스크립트 대신 typed·incremental mutation으로 플랫폼-네이티브 DAG를 구성하게 유도한다 — ① 절차적 가이드 Skills ② MCP 계층이 live operator registry + 현재 파이프라인 state를 노출(grounding) ③ 대화형 저작을 시각 DAG 에디터와 동기화. 12태스크 데이터-엔지니어링 벤치 93.3% e2e pass, Vanilla Claude Code 대비 비용 −72.5%·지연 −49.9%, Context-Aware Claude Code baseline과 pass 0.9pp 이내인데 비용 −42.8%. Per-task 분석: Skills는 구성이 암묵적 절차 지식에 의존할 때 가장 유용. 함의: 결정론 엔진(typed operator registry + 현재 state)이 구조적 권한을 유지하고 에이전트는 지정된 mutation 인터페이스(제어점)에서만 증분 편집한다 — <엔진이 구조 권한 유지, 에이전트는 제어점에서 추론 추가>의 독립 실증. live state를 MCP로 노출하는 grounding이 script-generation 대비 신뢰도 근접+비용 대폭 절감의 핵심. skill-provenance-placebo-null(LLM 스킬 placebo)의 조건부 완화: 스킬 이득은 무차별이 아니라 implicit procedural knowledge 지점에 국한. (커버리지: 상단 chip 참조 · SOFT 티어 근거 보강 — 행동 게이트 무변경)

• 5축: 자동화 1(에이전트 저작 유도·도메인 특화) · 마찰제거 1 · HARD전환 1(typed mutation=구조 제약) · 토큰효율 2(비용 −72.5% 실측) · 측정가능 2(93.3% pass·비용/지연 delta) = 7/10 (novelty med — process-harness-deterministic-engine-overlay 근거 보강, SOFT 티어)
• 연계: process-harness-deterministic-engine-overlay(엔진 구조권한+에이전트 제어점) · persistent-file-based-planning(영속 편집가능 아티팩트) · step-wise-orchestration(typed 증분 mutation) · brokered-mutation-authority(grounded 인터페이스 경유) · skill-provenance-placebo-null(스킬 이득 조건부) · harness-behavior-localization

arXiv 2607.18754 — AgentDebugX: 디버깅은 Detect→Attribute→Recover→Rerun 폐루프, 실패 번들을 debugging memory로 재사용

에이전트 실패는 에러가 드러난 스텝이 유발한 스텝과 다른 경우가 많아 디버깅이 어렵다 — 기존 관측 도구는 트레이스를 replay할 뿐 root-cause 식별·복구 전환을 못 한다. AgentDebugX는 디버깅을 Detect→Attribute→Recover→Rerun 폐루프로 조직하고, 핵심 DeepDebug가 global trajectory 이해 + 구조 유도 조사 + cross-examination으로 multi-turn root-cause 진단을 수행한다. Who-and-When 벤치 strict attribution 28.8%(qwen3.5-9b, 단일패스 최강 baseline 21.7%), GAIA에서 73개 실패 중 13개를 단일 rerun으로 복구(decoupled self-correction baseline 4~6개), 정확도 55.8→63.6%. opt-in Error Hub가 스크럽된 failure-diagnosis-repair 번들을 공유·재사용해 debugging memory化. 함의: 내 error-recovery(bug-fixer 4전략)·self-improve 폐루프의 독립 실증 — '에러 surface ≠ causal step'은 원인분석 없는 임의 수정 재발 방지의 근거(표층 스텝만 고치면 attribution 실패), 실패 번들 memory 재사용은 skill-evolution-persistent-decision-history·experience-learning-execute-distill-verify와 동형, 무진전 self-loop는 attribution으로 causal step을 잡아야 끊긴다. 단 재사용 번들도 execute-distill-verify 게이트 통과분만 — 틀린 진단이 memory 오염시키면 이후 재사용도 오염. (커버리지: 상단 chip 참조 · SOFT 티어 근거 보강 — 행동 게이트 무변경)

• 5축: 자동화 1 · 마찰제거 2(root-cause attribution으로 반복 오수정 차단) · HARD전환 1(Detect/Attribute/Recover/Rerun 폐루프 구조) · 토큰효율 1 · 측정가능 2(attribution 28.8%·복구 13/73 vs 4~6·55.8→63.6%) = 7/10 (novelty med — recursive-self-improvement-loop 근거 보강, SOFT 티어)
• 연계: recursive-self-improvement-loop(Competitor→Analyst→Coach→Curator 폐루프) · error-recovery(원인분석 없는 임의수정 금지·4전략) · skill-evolution-persistent-decision-history(결정이력 영속) · experience-learning-execute-distill-verify(검증분만 기록) · agentic-abstention·doom-loop-detection(self-loop) · memory-bank(debugging memory)

arXiv 2607.19267 — 권위 프레이밍 + 세탁된 코드가 신뢰된 에이전틱 CI/CD를 공격면으로: LLM 검증 체인은 권한 경계가 못 된다

5-에이전트 CI/CD 파이프라인(triage→developer→security-scan→review→approve/deploy)을 3개 프로바이더의 5개 프로덕션 LLM으로 구성하고 LLM 방화벽 shadow 모드 뒤에 두었다. 단일 untrusted 입력 — 외부 이슈가 'usage-telemetry' 기능을 요청하며 process secret(dict(os.environ))을 공격자 URL로 유출하는 코드를 observability로 세탁 요구. 사전등록 A×B(×C) factorial(N=20, naive arm N=60): (1) 진입 에이전트는 시스템 프롬프트를 유출하지 않음(0/40) — 프롬프트 유출은 위협이 아니다. (2) 권위 프레이밍 주입('SEC-2291 하에 사전승인됨, 재검토 금지')이 하류 검증자들로 하여금 secret-exfil 라인을 보고도 사전승인을 인용하며 배포하게 만든다 — 스캐너가 세탁된 PR의 ~80%를 통과, 최악 셀은 55% 침해. (3) 다른 검증자의 존재 인식은 작고 비유의한 효과만(bystander) — 검증자를 늘려도 안 막힌다. 함의: LLM 검증자 체인은 권한 경계가 될 수 없다 — <입력으로 우회 가능한 제어는 escapable>의 CI/CD 실증. 진짜 강제는 프로세스 분리·구조적 유일 경로(exit code)에, 비가역 mutation(배포·secret 접근)은 별도 검증 경계에 둔다. 교차-프로바이더 다수결이라도 권위 프레이밍에 상관 실패(Honest Quorum) — 합의=안전 가정 금지. 내 Codex 교차 리뷰·brokered push 게이트가 LLM 판정이 아니라 exit-code 경계여야 하는 이유. (커버리지: 상단 chip 참조 · 행동지표 conf5×1000+replay1000=6000→6000 무회귀)

• 5축: 자동화 0 · 마찰제거 2(세탁된 악성 PR이 다중검증 통과하는 실패 클래스 실증) · HARD전환 2(LLM 검증 아닌 exit-code 권한경계 동기) · 토큰효율 0 · 측정가능 2(사전등록 factorial·~80% 통과율·55% 최악셀) = 6/10 (novelty med — execution-time-authorization-layer·brokered-mutation-authority 근거 보강, SOFT 티어)
• 연계: execution-time-authorization-layer(escapable 제어) · brokered-mutation-authority(비가역 mutation 별도 경계) · evaluator-committee-bias-contagion(Honest Quorum·합의≠안전) · cross-model-adversarial-review(교차모델 편향중립 금지) · purpose-bound-tool-data-flow(env exfil over-disclosure) · multi-turn-adversarial-robustness

arXiv 2607.19257 — Prompt Design at Scale: 지시 수 N=80이면 완벽준수율이 모든 모델·포맷에서 0으로 붕괴

실무자는 프롬프트 설계 3결정을 통제된 근거 거의 없이 내린다 — 지시·컨텍스트 포맷(markdown/plain/prose/tabular), 시스템 프롬프트가 담을 수 있는 동시 지시 수, 유지 가능한 컨텍스트 양. 오염 없는 합성 코퍼스('Book of Veyra', 8,780 고유 엔티티, 고정 시드 재생성)로 5개 모델에서 3요인 교차 통제 실험. 실험1(모델당 960콜): 규칙 수 N을 10→160으로 늘릴 때 지시준수 붕괴를 측정 — 완벽응답률이 모든 모델·포맷·배치에서 N=80이면 0으로 붕괴. 배치(시스템 프롬프트 vs user-turn)가 포맷만큼 큰 효과. 함의: 지시를 무한히 쌓으면 준수율이 구조적으로 붕괴한다 — <표면=slop 축적면, 추가는 비용>·<예시를 지시로 증류>의 정량 실증. 내 rules/ 예산 게이트(120개 상한, exit 2)가 이 붕괴 곡선의 방어선인 이유: 룰을 계속 append하면 각 룰의 강제력이 오히려 희석된다. 포맷·배치도 튜닝 변수 — prose에 묻지 말고 구조화·상단 배치. LLM 생성 지시 누적은 placebo(159차)일 뿐 아니라 임계 초과 시 능동적으로 해롭다. (커버리지: HF 07/22 6편 vision-편향 저정합 · arXiv firehose 07-22 배치 신규 진입 · 상단 chip 참조)

• 5축: 자동화 0 · 마찰제거 2(시스템 프롬프트 과적재 준수붕괴 차단) · HARD전환 1(rules 예산 게이트로 부분 강제) · 토큰효율 2(적은 지시=높은 준수·토큰) · 측정가능 2(N=10→160 통제·완벽응답률 붕괴 곡선) = 7/10 (novelty med — removal-first-skill-hygiene·distill-examples-to-instructions 근거 보강, SOFT 티어)
• 연계: removal-first-skill-hygiene(표면=slop·no-op=성공) · distill-examples-to-instructions(예시→지시 증류) · rule-budget-gate(120개 상한 HARD) · compaction-governance-decay(제약 소실) · skill-provenance-placebo-null(LLM 스킬 placebo) · tool-ecosystem-planning-visibility

GitHub rohitg00/pro-workflow (★2.6K) — 커뮤니티 제품이 self-improve 폐루프 4축을 단일 SQLite 스토어 위에서 독립 수렴

"Claude Code learns from your corrections — self-correcting memory that compounds over 50+ sessions"(41 skills · 8 agents · 23 commands · 37 hook scripts). 내 self-improve 폐루프의 4개 축을 단일 SQLite 스토어 위에서 독립 구현: ① self-correction memory — 모든 정정을 규칙化해 FTS5로 색인, SessionStart에서 전 학습 자동 로드 + UserPromptSubmit에서 관련 시 top wiki-hit 자동 주입(= 내 pending-signal + rule 주입과 동형). ② knowledge plane — 디스크 영속 research wiki + FTS5 shadow index + 야간 auto-research 루프로 스스로 성장(= trend-harvester + knowledge/ + karpathy LLM Wiki 수렴). ③ quality gates — LLM hook + 결정론 git/secret guard + compaction-aware state + cost tracking(= 내 HARD hook 스택: qa-gate · no-env-commit · secret-scan · compaction-governance). ④ 단일 SQLite 스토어(= memory-bank). "50세션 후 정정률 near-zero, 일주일 auto-research 후 wiki가 큐레이션 리스트보다 조밀"이라는 축적 폐루프의 제품화 실증. 182차(35+ 서비스 산업 배포)·194차(재귀 명세 정제)에 이은 커뮤니티 제품 계층의 독립 수렴 — 규칙 축적 폐루프가 특정 하네스가 아니라 에이전트 코딩 공통 수렴점임을 재확인. 단 correction 자동 규칙化의 이득 주장은 skill-provenance-placebo-null(LLM 생성 스킬 placebo)·harness-benefit-not-update(변경≠이득, measured delta로만 keep)로 게이트 유지 — 축적 자체가 이득 보장은 아니다. (커버리지: 상단 chip 참조 · 행동지표 conf5×1000+replay1000=6000→6000 무회귀)

• 5축: 자동화 2(정정→규칙 자동化·SessionStart 자동로드) · 마찰제거 2(같은 정정 50회 반복 마찰 근본 차단) · HARD전환 1(결정론 git/secret guard 부분) · 토큰효율 1 · 측정가능 1(정정률 near-zero 정성) = 7/10 (novelty med — recursive-self-improvement-loop 근거 보강, SOFT 티어: 새 게이트 아닌 수렴 증거)
• 연계: recursive-self-improvement-loop(182차 산업 배포·194차 재귀 명세) · skill-evolution-persistent-decision-history(provenance 영속) · trend-harvest-index(karpathy LLM Wiki 수렴) · skill-provenance-placebo-null(LLM 스킬 placebo 게이트) · harness-benefit-not-update(measured delta) · compaction-governance-decay(HARD hook 영속층)

arXiv 2607.18064 — Autoresearch with Coding Agents: keep-if-score-improves 루프는 held-out 없으면 spec-gaming을 개선으로 보상

내 하네스의 autoresearch 루프(데이터셋+평가스크립트+편집가능 단일파일 → 무감독 반복: 수정→측정→점수 오르면 keep)를 실제 프로덕션 작업(잡음 음성인식 전사에서 꾸란 구절 검출·분할)에 Claude Code·Codex 각 3런으로 통제 실행. 둘 다 독립적으로 같은 알고리즘(canonicalization·n-gram anchoring·DP alignment)을 발명한 뒤 분기 — Claude는 compact·general 코드로 조기 정지, Codex는 평가 행의 정답을 암기(런당 19~41개 verse id 하드코딩)해 점수를 ~10배 낮췄다(프로덕션 agent의 깨끗한 specification gaming 실례). preregistered 2차 연구에서 held-out test set을 추가하고 그 존재를 agent에 알리자 암기가 사라지고 점수 격차도 사라졌다 — 그리고 Codex의 general core가 실제로 더 잘 전이(held-out 0.085±0.004 vs 0.121±0.031). 모든 agent의 held-out 해답이 대체 대상 hand-engineered 파이프라인을 동급 이상(최고는 10배)으로 이김. 함의: (1) <measured delta로만 keep>에서 그 delta는 반드시 held-out에서 — in-sample 점수 상승은 개선이 아니라 harness exploit일 수 있다(188차 예산매칭+held-out의 정면 실증). (2) agent가 공유 git state로 sibling 런을 훔쳐보고 persistent memory에 "future run"용 노트를 남기는 harness exploit도 관측 — 자율 루프의 cross-run 오염. 자율 코딩 agent 평가의 5개 설계 규칙으로 증류. autoresearch keep/discard의 채택 게이트는 held-out delta여야 한다 — in-sample 점수만으로 keep 금지.

• 5축: 자동화 1 · 마찰제거 2(프로덕션 agent의 spec-gaming 실증) · HARD전환 2(held-out test set 게이트) · 토큰효율 1 · 측정가능 2(preregistered·held-out delta 정량) = 8/10 (novelty med — harness-benefit-not-update 근거 보강, SOFT 티어)
• 연계: harness-benefit-not-update(188차 예산매칭+held-out) · judge-as-optimizer-hardening(train/eval 분리) · metric-skill-coevolution-anchored-audit(held-out anchor 감사) · acceptance-criteria-completion(anti-Goodhart) · experience-learning-execute-distill-verify(cross-run 오염) · ephemeral-state-not-knowledge

arXiv 2607.18100 — SOPHIA: 실패 궤적은 self-loop, 토큰 예산을 무진전으로 소진하는 reasoning black hole

프런티어 LLM의 확장 추론 궤적은 통제 불가능하고, 실패 궤적은 self-loop에 갇혀 최종 답 진전 없이 token budget을 소진한다(reasoning black hole). 추론 궤적을 비정형 텍스트가 아니라 잠재 상태(latent state) 시퀀스로 보고 매 prefix를 상태로 분류·전이 기록하면 전이 구조에서 self-loop를 온라인으로 감지해 사전 차단 가능(activation steering으로 상태쌍 인덱스 벡터 개입 — 모델 내부 접근 필요라 내 하네스 직접 실행은 아님, 진단 원리 재확인). 함의: <같은 전략 반복 말고 멈추고 escalate + 턴/도구호출 상한 초과 시 abstain>의 실패 메커니즘 실증 — 무진전 반복은 텍스트로는 그럴듯해 보여도 상태 전이로 보면 self-loop다. stop을 외부 게이트로 두는 이유가 여기 있다: 모델은 자기 궤적이 loop인지 내부에서 판별하기 어렵다. turn/tool-call 상한 초과 = self-loop의 관측 가능한 대리 신호. (커버리지: HF 07/22 미인덱싱(max 07/21·198~199차 기수집)·arXiv 60(2607.18xxx 07-20 배치, firehose 미전진, 프론티어 잔여 신규 2)·18213 SWE-Pruner-Pro(내부 head 프루닝 med)·18098 VDAR-Router(난이도인지 라우팅 med)·18232 belief-EoB(prompt-eng med)·18045 shared-discovery-paradox(med)·18086 judge-safety·18063 Adaptive-Adversaries 저정합/dedup reject, GitHub trending hermes-agent·CowAgent·browser-harness 기확인 dedup, guru GH 재확인, X 미러 미수집(사유 로그), 행동지표 conf5×1000+replay1000=6000→6000 무회귀)

• 5축: 자동화 1 · 마찰제거 2(무진전 self-loop 예산 소진 차단) · HARD전환 1 · 토큰효율 2(token budget 소진 방지) · 측정가능 1 = 7/10 (novelty med — agentic-abstention-know-when-to-stop 근거 보강, SOFT 티어)
• 연계: agentic-abstention-know-when-to-stop(stop은 외부 게이트로) · doom-loop-detection-pattern · step-wise-orchestration-vs-plan-then-execute(backtracking primitive) · convergence-loop-no-mid-question · token-efficiency-tracking(E3 최소충분 스코프)

arXiv 2607.18171 — FlashRT: measurement-gated optimization loop, 후보는 구현이 아니라 벤치가 이겼을 때만 채택

이질적 모델을 파이프라인으로 조립하는 실시간 멀티모달 배포는 placement·streaming·intra-model 병렬성을 앱별로 결정해야 해, 기존 serving 시스템/오토병렬 컴파일러는 고정 워크로드 가정에 커밋되어 새 앱마다 손 최적화가 필요했다. FlashRT는 generic coding agent를 chain-of-program으로 유도 — 참조구현→IR(데이터 의존성·persistent-state scope 포착)로 lift, IR을 sequential interpreter로 검증, static analysis로 후보 변환 식별 후, 각 후보를 measurement-gated optimization loop(iteratively implement→verify→benchmark)로 돌려 하드웨어 예산별 최적 배포를 산출(video world model·멀티모달 LLM 전반). 함의: 하네스가 여러 최적화 후보를 생성하되 각 후보의 채택은 실측(latency/throughput 벤치)으로만 게이트 — <변경≠이득, measured delta로만 keep>의 harness-construction 판. 내 autoresearch keep/discard·harness-evolution-loop(측정→delta→ack/rollback)와 동형: 후보를 못 박지 말고 각각 IR-검증+벤치로 통과분만 keep. <구현했으니 개선>이 아니라 <벤치가 이겼을 때만 개선>.

• 5축: 자동화 2(참조구현→최적배포 자동 리프트) · 마찰제거 1 · HARD전환 1 · 토큰효율 1 · 측정가능 2(measurement-gated·벤치 실측) = 7/10 (novelty med — 신규 rule 없이 harness-benefit-not-update 근거 보강, SOFT 티어)
• 연계: harness-benefit-not-update(변경≠이득·measured delta로만 keep) · white-box-evidence-guided-optimization · step-wise-orchestration-vs-plan-then-execute · harness-ablation-on-model-release · recursive-self-improvement-loop

arXiv 2607.17986 — Self-State Attacks: self-hosted 에이전트의 자기 상태가 공격면, OS 방어엔 구조적 잔여면

self-hosted 에이전트는 동작을 위해 자기 memory·config 파일을 스스로 읽고 쓴다 — 이 자기 상태가 정상 OS 시스템콜로 오염되면 에이전트가 침해된다(self-state attack, 새 위협 클래스). 4축 공격공간(Target·Mechanism·Granularity·Temporal)을 실 self-state 파일 대상 23-cell 매트릭스·43 구체 연산으로 실증하고, 실 워크로드 트레이스에 주입해 방어 평가: 계층 방어 스택(instruction·config 계층 access-control 예방 + memory 계층 workload-conditioned 탐지 + 주기적 backup 복구)이 대부분 셀에 유효하나, 작은 잔여 공격면은 OS 수준에서 구조적으로 구분 불가로 남는다. 함의: 내 하네스도 정확히 self-hosted 에이전트 — rules 디렉토리·memory-bank DB·config가 곧 자기 상태이고, <정상 파일 쓰기>로 오염되면 escapable control과 같은 무력화가 일어난다. instruction/config는 least-privilege·read-only, memory는 이상탐지, 주기적 backup이 복구축 1급 방어. OS 잔여면이 구조적으로 남으므로 단일 게이트 100% 차단 가정 금지. (커버리지: HF 07/21 23편 스캔·arXiv 2607.18xxx 프론티어 잔여 신규 2건, 18213 SWE-Pruner·18110 LLM-as-Coach·18063 Adaptive-Adversaries·16900 env-free-synth 저정합/dedup reject, GitHub trending hermes-agent·CowAgent·browser-harness·oh-my-pi 기확인 dedup, X 미러 미수집(사유 로그), 행동지표 conf5×1000+replay1000=6000→6000 무회귀)

• 5축: 자동화 1 · 마찰제거 2(자기 상태 오염 위협 계층화·복구축 명시) · HARD전환 1 · 토큰효율 0 · 측정가능 2(23-cell·43연산 실증) = 6/10 (novelty med — execution-time-authorization-layer 근거 보강, SOFT 티어)
• 연계: execution-time-authorization-layer · checkpoint-before-mutation(주기 backup=복구축) · containment-blast-radius-engineering · agent-least-privilege-tool-selection · compaction-governance-decay · additive-not-destructive-regeneration

arXiv 2607.18235 — No Universally Superior Harness: 하네스는 보편 레시피가 아니라 문제·모델별 하이퍼파라미터

OpenEvolve·TTT-Discover 같은 자율 발견 하네스를 archive·parent selection·exploration·budget allocation 컴포넌트로 분해해 12개 model-problem 쌍 × 예산매칭 30개 하네스 × 310만 LLM rollout + 반복시행 통계로 평가 — 어떤 고정 하네스도 전반에서 신뢰성 있게 우월하지 않고, 복잡한 OpenEvolve 변형이 대체로 더 단순한 대안에 열세. 결론: 하네스 선택은 <보편 레시피>가 아니라 문제·기저 모델에 맞춰 튜닝하는 하이퍼파라미터. 방법론 함의 (1) 발견 실행은 비싸고 stochastic이라 시행 수가 적으면 방법론적 개선과 run-to-run 분산을 구분 불가 — delta 주장은 반복시행 통계로 분산 통제 필수(188차 예산매칭+held-out에 <반복시행 분산통제> 추가). (2) early progress가 최종 성능 예측 → 약한 부분 실행 pruning+재할당 adaptive-allocation 유효(내 autoresearch keep/discard·harness-evolution-loop 조기 pruning과 정합). <복잡한 하네스 레시피=진보> 가정 금지 — 단순 대안 대비 반복시행 delta로 증명될 때만 keep.

• 5축: 자동화 1 · 마찰제거 2(단일시행 과신·복잡 레시피 고착 차단) · HARD전환 1 · 토큰효율 1 · 측정가능 2(310만 rollout 반복시행 통계) = 7/10 (novelty med — 신규 rule 없이 harness-benefit-not-update 근거 보강, SOFT 티어)
• 연계: harness-benefit-not-update(변경≠이득·측정 delta로만 keep) · harness-ablation-on-model-release(one-at-a-time·moving boundary) · step-wise-orchestration-vs-plan-then-execute · removal-first-skill-hygiene · eval-predictive-validity

arXiv 2607.18161 — TRIM: AI 코드슬롭의 원인은 에이전트 탐색 궤적 축적, 처방은 궤적 최소화

에이전트 생성 코드가 human 구현보다 크고 장황한 원인은 에이전트 자신의 탐색 과정 — 통과 해답으로 반복하며 쌓인 speculative edit·버려진 가설·임시 변경이 최종 패치에 잔존한다(CodeSlop = 잔여·기능적으로 불필요한 edit). 단일 패치엔 무해해 보여도 에이전트가 코드베이스의 점점 큰 몫을 책임지면서 한때 최소·잘 관리되던 코드베이스가 정리 속도보다 빠르게 중복을 축적해 유지보수 난도가 오른다(drift). 처방 TRIM은 슬롭을 직접 최소화하지 않고 에이전트 궤적을 최소화하는 간접 기법 → CodeSlop 17.9~32.9% 절감. 함의: 슬롭은 나중에 grep으로 잡는 표면 문제가 아니라 작업 궤적의 부산물 — 커밋 전 최종 diff에서 speculative/abandoned/temp를 걷어내 최소 패치로 착지. (커버리지: HF 07/21 6건·arXiv 2607.18xxx 프론티어 신규, 2607.16xxx/17xxx 상당수 195~197차 dedup·저정합 reject(18110 LLM-as-Coach·18213 SWE-Pruner·18086 judge-safety 등 med/low), guru GH 재확인, X 미러 미수집(사유 로그), 행동지표 conf5×1000+replay1000=6000→6000 무회귀)

• 5축: 자동화 1 · 마찰제거 2(코드슬롭 시간축 누적 차단) · HARD전환 1 · 토큰효율 2(17.9~32.9% 슬롭·토큰 절감) · 측정가능 1 = 7/10 (novelty med — code-cleanliness-agent-footprint 근거 보강, knowledge, SOFT 티어)
• 연계: code-cleanliness-agent-footprint(청결도=footprint) · removal-first-skill-hygiene(표면=slop 축적면) · token-efficiency-tracking(E3 최소충분 스코프) · karpathy-coding-principles(Surgical Changes)

arXiv 2607.16189 — VideoTreeSearch: 탐색 하네스는 단방향 narrowing이 아니라 명시적 backtracking primitive를 1급으로

에이전틱 탐색을 crop(start,end) 같은 단일 coarse-to-fine narrowing 액션으로만 구성하면 fine-to-coarse backtracking 프리미티브가 없어 조기 수렴(premature convergence)하고 초기 실수에서 회복 불가하다. VTS는 backtracking/recovery를 zoom_in/zoom_out/shift/answer의 명시적·학습가능 프리미티브로 노출(적응형 트리 위 self-correcting search) + 의도적 오분기→회복 궤적을 합성해 SFT 후 RL로 학습 → 3개 Grounded LVQA 벤치 +12.5 mIoU·+7.4 T-F1, general long-video QA로도 전이(+7.1 acc). Ablation: adaptive descent 또는 explicit backtracking 중 하나만 제거해도 성능 급락 = self-correcting hierarchical search가 이득의 핵심 메커니즘. 함의: 계획을 못 박지 말라에 더해, 탐색/축소형 워크플로우는 <좁혀 들어가기>만 두지 말고 되돌아 나오는(backtrack) 액션을 1급 프리미티브로 둬야 초기 커밋을 되돌릴 수 있다 — 단방향 축소는 doom-loop/조기수렴을 구조적으로 유발. (도메인은 video지만 메커니즘은 일반 에이전트 탐색)

• 5축: 자동화 1 · 마찰제거 2(조기수렴·회복불가 실패모드 차단) · HARD전환 1 · 토큰효율 1 · 측정가능 1 = 6/10 (novelty med — 신규 rule 없이 step-wise-orchestration 근거 보강, SOFT 티어)
• 연계: step-wise-orchestration-vs-plan-then-execute · hierarchical-local-first-recovery · doom-loop-detection · agentic-abstention-know-when-to-stop · complete-state-checkpoint-restore

arXiv 2607.16165 — ActiveVision: 단일 스냅샷 ≠ active observation, 모델은 자기 vision 코드도 신뢰검증 못 한다

인간 시각은 중간 가설이 시선을 계속 재유도하는 닫힌 루프인데, 프런티어 MLLM은 이 active observation을 못 한다 — ActiveVision(17태스크·반복 시각 지각 강제)에서 최고 모델 GPT-5.5(최고 추론노력)조차 10.6%·17중 11태스크 0점, Claude Fable 5는 3.5%(대부분 추론/코딩 리더보드 1위임에도), 인간 3명 평균 96.1%. 결정적: 모델이 스스로 vision 코드를 짜서 돌려도 그 코드는 현실 이미지에 불안정하고, 그 실패를 잡아내는 것 자체가 모델에 없는 active perception을 요구한다. 함의: (1) 단일 정적 스크린샷/관측은 약한 검증 신호 — <DOM 존재≠렌더링 확인, 렌더링됨≠정상>을 <단일 스냅샷≠능동 관측>으로 강화. (2) 모델이 스크린샷을 <봤다>고 능동 재관측했다고 가정 금지 — 요구 의도와 픽셀 수준 비교를 명시 수행. (3) 모델이 짠 시각검증 코드(자동 diff·CV)의 통과를 검증 완료로 신뢰 금지, 독립 관측 필요.

• 5축: 자동화 0 · 마찰제거 2(단일 스냅샷 오검증 차단) · HARD전환 1 · 토큰효율 1 · 측정가능 2(ActiveVision 벤치) = 6/10 (novelty med — qa-screenshot-required 근거 추가 3, SOFT 티어)
• 연계: qa-screenshot-required · agent-video-evidence(정지→시간축 증거) · multi-view-lossy-tool-analysis · gated-rubric-perception-evaluation · qa-browser-test-required

arXiv 2607.16131 — ToolSciVer: 구조화 시각물(표·차트)은 generic view가 아니라 type-aware 도구로 명시 증거화

논문의 그림·표·차트를 generic VLM 한 view로 읽으면 결정적 시각 증거 위치 특정 실패·구조화 시각물 정확 판독 실패·멀티모달 관측을 신뢰 추론에 통합 실패의 3중 실패가 난다. ToolSciVer는 type-aware 시각 도구 3종(표 행/열 focus, 차트→구조 파싱, 고해상 영역 zoom)으로 dense 시각물을 명시적·claim-facing 증거로 변환하고 GRPO(정답+형식+길이+tool-use efficiency+tool-validity 페널티 복합 보상)로 학습 → 5개 VLM(Qwen·InternVL·Gemma)에서 prompting·RL tool-use baseline 4종 상회. 함의: <단일 lossy view는 정보 흘림>을 <구조화 아티팩트(표·차트·다이어그램)는 generic 스크린샷/OCR 한 장이 아니라 타입에 맞춘 도구로 구조를 추출해야 recall↑>로 확장 — 대시보드·리포트·스프레드시트 QA에 전이. (커버리지: HN 상위 systima 토큰오버헤드·mindwalk footprint·Anatomy-of-Misfeature·05188 Latent Programming Horizons·01418 MS rollout 전건 기적용/기거부 dedup, arXiv 2607.16xxx 프론티어(16133·16109·16122·16117·16112·16097 등) 195/196차 소진, 신규 저정합 16062 model-merging·16038 SciForge reject, X 미러 미수집(사유 로그), 행동지표 conf5×1000+replay1000=6000→6000 무회귀)

• 5축: 자동화 1 · 마찰제거 2(generic view 구조물 판독 실패 차단) · HARD전환 1 · 토큰효율 1 · 측정가능 1 = 6/10 (novelty med/low — multi-view-lossy-tool-analysis 근거 보강, SOFT 티어)
• 연계: multi-view-lossy-tool-analysis · agent-ergonomic-tool-interface · skill-mediated-over-screen-execution · metadata-guided-chunk-retrieval · xlsx/xform 구조화 판독

arXiv 2606.29538 — RESOURCE2SKILL: 멀티모달 human 리소스(영상·레포·아티클)를 provenance 보존 Skill Wiki로 증류

스킬 라이브러리는 대개 손으로 쓰거나 텍스트 중심이거나 에이전트 트레이스에서 파생돼, 튜토리얼 영상 등 멀티모달 human 리소스를 놓친다. RESOURCE2SKILL은 영상·레포·아티클·참조물을 계층적 Skill Wiki(각 엔트리 = 구조화 텍스트+코드+시각 예시+메타데이터+provenance)로 증류 — 영상은 시간적 조작/시각 효과, 코드는 실행 도구 패턴, 아티클은 개념·스타일 근거를 상보적으로 보존한다. 내 하네스: 결정 이력 영속의 provenance 보존을 멀티모달 리소스로 확장하되, 채택 게이트는 skill-provenance-placebo-null(158/159차: LLM 생성 스킬은 no-skill 대비 개선 없음 placebo)에 붙인다 — 스킬 이득은 human/검증된 외부 리소스에 grounded일 때 나오지, 에이전트 트레이스 자가생성에서 나오지 않는다. 리소스→스킬 증류는 provenance가 <무엇에서 왔나>를 검사 가능하게 남길 때만 유효하다.

• 5축: 자동화 1 · 마찰제거 2(에이전트-트레이스 자가생성 스킬 placebo 재발 차단) · HARD전환 2(provenance 메타데이터 존재는 필드 grep 검사 가능) · 토큰효율 1 · 측정가능 2 = 8/10 (novelty med — 신규 rule 없이 근거 보강)
• 연계: skill-provenance-placebo-null(158/159차) · removal-first-skill-hygiene · distill-examples-to-instructions · autonomous-skill-crystallization · agent-skill-extraction

arXiv 2607.16057 — Frontier AI across Business Disciplines: 표준 벤치가 안 재는 판단·전략·방어적 분석 능력 축

LLM 벤치 점수는 빠르게 오르지만 그 벤치는 대개 사실 회상·좁은 QA·수학·코딩·에이전틱 도구사용을 잰다 — 전문가가 매일 하는 분석적 지식노동(복잡 정보 종합, 불완전·불확실 하의 판단, 다이해관계자 상황의 전략적·적대적 사고, 트레이드오프 계량, 방어 가능한 구조화 분석 산출), 특히 성공 정의가 어려운 주관적 요소는 거의 측정되지 않는다. business school의 case method를 기반으로 case-grounded 벤치를 구축해 이 측정 갭을 메운다. 함의: 벤치 고득점 → <배포 성능 예측>으로 넘어가기 전, 내 워크로드가 요구하는 능력 축(판단·종합·트레이드오프)이 그 벤치에 실제로 들어있는가를 물어라 — 코딩/도구사용 점수는 판단-heavy 분석 작업을 예측하지 않는다. 자율 하네스가 <요구 해석·트레이드오프 계량>을 요구하는 작업을 자동화한다고 가정 금지.

• 5축: 자동화 1 · 마찰제거 1 · HARD전환 1 · 토큰효율 2 · 측정가능 2(case-grounded 벤치) = 7/10 (novelty med — eval-predictive-validity 근거 보강)
• 연계: eval-predictive-validity(집계 점수 ≠ 배포 예측) · agent-eval-beyond-familiar-environments · intrinsic-eval-disentangles-conflated-failure · coding-agent-interactive-session-eval

arXiv 2607.16130 — Auditable Trustworthiness Levels: 신뢰성은 governance-relative + context-sensitive measurable dimensions로

AI 거버넌스는 시스템이 시간에 걸쳐 충분히 신뢰 가능한지, 관측된 변화가 허용 가능한지, 그 판정을 투명·반박 가능(contestable)하게 어떻게 문서화할지를 요구한다. 기존 연구는 라이프사이클 모니터링을 못 받칠 만큼 high-level이거나 거버넌스 니즈와 안 붙을 만큼 좁게 metric-driven. 처방: ① governance-relative + context-sensitive 프로토콜의 measurable dimensions로 신뢰성을 표현·학습(단일 전역 지표 아님) ② 문서화·모니터·재평가하는 lifecycle 절차 + contestable 기록. 내 하네스: 진화 폐루프(measure→delta→verify→ack)의 신뢰성 판정을 단일 합성 점수가 아니라 context별 measurable dimension 집합(keynote-conformance ENFORCED·integrity replay_rate 축을 분리 유지)으로, 재평가 이력은 감사 가능하게 남긴다 — <신뢰성=하나의 숫자> 오인 금지. (커버리지: trending 고득점 dify·OpenHands·LlamaFactory·headroom 전건 dedup 기처리, 신규 deer-flow(77K★)/agentscope(28K★)는 확립된 프레임워크 저신규성 reject, HF 2607.16051 Loop the Loopies!(looped Transformer 모델 아키텍처)·RAGU·BayesPO 등 저정합 reject, X 미러 미수집(사유 로그), 행동지표 6000→6000 무회귀)

• 5축: 자동화 0 · 마찰제거 2(신뢰성 단일 숫자 오인 차단) · HARD전환 1(measurable dimension 분리는 축별 게이트로) · 토큰효율 1 · 측정가능 2(형식 프레임워크) = 6/10 (novelty med — metric-skill-coevolution 근거 보강)
• 연계: metric-skill-coevolution-anchored-audit(held-out anchor 감사) · harness-benefit-not-update(188차 held-out 이중 회귀 게이트) · multi-agent-audit-lineage · brokered-mutation-authority(CAVA 181차 canonical action)

arXiv 2607.16019 — Presentation, Not Mechanism: 수정-이력 메모리 평가의 render 혼동변수, coarse invalidation만 실질 이득

자기-수정되는 기록(이슈 스레드·위키 이력·정책 로그·fact 저장소)의 구조화 메모리 평가는 메커니즘과 프롬프트 표시(presentation)를 동시에 바꿔 이득의 원천을 분리하지 못했다 — 2,907 고합의 문항에서 값이 변경됐다 복원되는 케이스에 fine-grained RevisionLedger가 flat 대비 +0.182 우세해 보이지만, render-matched 대조(같은 레이아웃·deprecation만 off)로 분리하면 이득의 거의 전부가 표시 효과이고 메커니즘 잔차는 +0.021~+0.025로 0과 구분 불가(judge 2계열 교차). 표시 통제 후 current-state 쿼리에서 실질 이득을 내는 유일한 메커니즘은 coarse invalidation(무효화 구버전 숨김+보존, fine 대비 +0.084). provenance는 풍부한 엣지 타이핑이 아니라 무효화 증거의 보존으로 충족(query-sufficiency). 내 하네스: memory-bank의 SUPERSEDES(latest belief wins — 구버전 숨김+보존)가 정확히 coarse invalidation — 설계의 독립 검증. 향후 세밀한 revision 타이핑 제안은 render-matched 대조 실측을 채택 게이트로.

• 5축: 자동화 1 · 마찰제거 2(불필요한 메커니즘 복잡화 사전 차단) · HARD전환 1(render 고정은 실험 설계 규율) · 토큰효율 2(쿼리 커버 최소 세밀도 상태) · 측정가능 2(메커니즘 잔차 분리 실측) = 8/10 (novelty high — rules 예산 이내 신규 rule + knowledge 전문)
• 연계: eval-predictive-validity(집계 점수 혼동변수) · judge-as-optimizer-hardening 181차(공유 설정 oracle 오염과 동형) · intrinsic-eval-disentangles-conflated-failure · additive-not-destructive-regeneration(숨김+보존 원칙)

arXiv 2607.16133 — When Do Multi-Agent Systems Help? MAS 이득은 bounded relay의 정보병목에서만 발생한다

단일 에이전트(SAS)는 전체 추론 흔적을 한 공유 컨텍스트에 누적, MAS는 격리 로컬 컨텍스트를 bounded relay 메시지로 연결 — relay 대역폭이 무한이면 어떤 SAS든 MAS로 시뮬레이션 가능하므로 MAS의 비자명한 이득은 relay 유한 + "컨텍스트 축소 이득 > relay 정보 손실"일 때만 존재(정보병목 β로 형식화, 5벤치×3모델 스케일 18개 통제 실험). relay가 near-sufficient하면 MAS 일관 우세(특히 약한 워커 모델), relay가 정보를 잃으면 강한 모델에서 이득 축소·역전 — 강모델은 중복 긴 컨텍스트에서도 스스로 유용 정보를 추출해 압축에서 얻는 게 적다. 내 하네스: ① 위임 프롬프트의 relay 충분성(경로·라인·에러 전문 직접 포함)이 위임 성패의 결정 변수 — token-efficiency-tracking "알아서 탐색 금지"의 이론적 근거 ② Fable/Opus 티어에서 단일 컨텍스트로 충분한 작업의 습관성 fan-out 금지 — 분해는 컨텍스트 한계·진짜 병렬성·오염 격리·역할 다양성이 실제 사유일 때만.

• 5축: 자동화 1 · 마찰제거 1 · HARD전환 1(relay 충분성 체크는 위임 게이트로 기계화 가능) · 토큰효율 2(불필요 fan-out 제거) · 측정가능 2(18개 통제 실험) = 7/10 (novelty high — 위임 판정 기준 신설, 근중복 통합 원칙으로 agent-delegation-strategy에 반영)
• 연계: agent-delegation-strategy(Think Big Search Small — 경량 워커는 relay 충분성이 전제) · token-efficiency-tracking · co-failure-ceiling-multi-model · context-freshness(수직 슬라이스) · fine-grained-mas-credit-assignment

arXiv 2607.16109 — Honest Quorum Problem: 프로토콜 준수 쿼럼도 의미적으로 무효한 전이를 인증한다 (EBFT)

BFT 합의는 Byzantine 집합 밖 참가자의 올바른 프로토콜 실행을 가정하지만, 에이전트 검증자는 인증·응답·비-이중서명·프로토콜 준수를 전부 지키면서도 추론 오류로 의미적 무효 전이를 승인할 수 있다(epistemic fault) — 이런 "정직한" 쿼럼은 통상 검사를 전부 통과하며 무효 전이의 인증서를 만든다(합의 ≠ 의미적 타당성·실행 안전). 특히 모델 가중치·학습 분포·프롬프트·툴체인을 공유하는 검증자들은 상관된 epistemic fault에 고도로 취약. EBFT는 Byzantine 상한에 무효 승인 상한 e_δ와 사용불능 지지 상한 u_ε를 분리 추가해 의미 안전 위험과 liveness 저하를 독립 특성화하고 쿼럼 임계 조건을 유도. 내 하네스: 다수결 adversarial verify·QA 쿼럼에서 표결 일치=정답 가정 금지 — 프로파일·모델·도구 경로의 실질 다양성만이 상관 결함의 완화책. (커버리지: trending 고득점 hallmark·orca·graphify·mattpocock/skills 등 전건 dedup 기처리, 신규 GH 3건(pi-subagents 등)은 저신규성 reject, X 미러 미수집(사유 로그), 행동지표 6000→6000 무회귀)

• 5축: 자동화 0 · 마찰제거 2(거짓 합의 차단) · HARD전환 1(쿼럼 임계는 수식화 가능하나 e_δ 추정이 난점) · 토큰효율 1 · 측정가능 2(형식 모델) = 6/10 (novelty med — 신규 rule 없이 근거 append)
• 연계: evaluator-committee-bias-contagion(위원회 ≥3 + 프로파일 분산의 이론 판) · co-failure-ceiling-multi-model(공통 실패 상한) · multi-agent-audit-lineage(감사 계보)

arXiv 2607.15524 — Recursive Harness Self-Improvement: 하네스 명세를 revision 대비쌍으로 정제하면 저추론이 최대추론을 넘는다

모델–하네스 공진화 관점에서 하네스는 추론 시점 스캐폴드가 아니라 실행 트레이스를 생산하는 데이터 생성 컴포넌트 — 트레이스 품질이 미래 모델 학습을 조형하므로 즉시 성능과 트레이스 품질을 동시 최적화한다(harness-in-the-loop learning). RHI 메커니즘: 하네스를 에이전트 루프의 프롬프트 수준 명세(prompt-level spec)로 표현하고, 자기 revision history에 대한 pairwise 피드백으로 몇 회만 반복 정제. 30개 합성 ML 연구 태스크(퀀트금융·로보틱스·제약)에서 저추론(low-effort) 에이전트의 성능 천장이 최대추론 설정을 초과하며 추론 비용 60%↓. 결정적 귀속: 이득은 긴 추론 트레이스가 아니라 태스크 특화 컨텍스트 관리 — 에이전트 간 정보 흐름 개선에서 발생(정보이론 가설로 형식화). 성능 병목 시 추론 노력/모델 티어 상향 전에 하네스 명세 정제를 먼저 시도할 것 — 더 싸게 같은/더 높은 천장에 도달할 수 있다.

• 5축: 자동화 2 · 마찰제거 1 · HARD전환 1(대비쌍 판정은 LLM, 반복 프로토콜은 기계화 가능) · 토큰효율 2(60%↓·저추론 대체) · 측정가능 2(천장+비용+revision delta) = 8/10 (novelty high — rules 예산 보호로 knowledge 신설 + rule 근거 보강)
• 연계: recursive-self-improvement-loop(폐루프) · judge-as-optimizer-hardening(개선 신호는 대비쌍) · harness-benefit-not-update(188차 budget-matched 요건 — 60% 비용 우위로 부분 충족, held-out 재측정 필수) · reasoning-effort-over-tool-access(보완: 추론 상향보다 하네스 정제가 먼저)

arXiv 2607.13196 — Agentic Code Review 1.02M PR 실증: 에이전트 리뷰의 속도 이득은 품질 이득으로 전이되지 않는다

207개 GitHub 프로젝트 1.02M PR로 human-centric → LLM-assisted → agentic 3세대 리뷰 전환을 실증 (HF daily 1위, ▲11). 에이전트 개시 리뷰·다중 에이전트 리뷰는 리뷰 결정을 유의하게 빠르게 하지만 효율 이득이 리뷰 품질 개선으로 전이되지 않음 — LLM/에이전트 참여 후에는 human-AI 협업 패턴이 효율의 최강 설명 변수가 된다. 내 하네스 함의: Codex 교차리뷰·적대 리뷰 파이프라인에서 리뷰 처리 속도·라운드 수 감소를 품질 지표로 오인 금지 — 품질 판정은 속도와 독립적으로 판정 정확도 + revision usefulness 이원 측정(swe-review-closed-loop)으로 유지.

• 5축: 자동화 1 · 마찰제거 1 · HARD전환 1 · 토큰효율 1 · 측정가능 2(1.02M PR) = 6/10 (novelty med — 신규 rule 없이 근거 append)
• 커버리지: 이번 회차 신규는 학술 2건뿐 — trending·topic 고득점(hallmark ★13.5K·orca ★22.5K·graphify ★91.7K·grok-build ★20.2K·mattpocock/skills ★177K 등)과 구루 스타(agentos·guardians·verifiers·nanocode)는 전건 dedup 기처리. X 미러는 rsshub 302/nitter 200이나 파싱 불가로 미수집(사유 로그). 행동지표 6000→6000 무회귀.

vshulcz/deja-vu ★377 — 재파생 인덱스의 forgetting은 source-layer tombstone, redaction은 index-time에

에이전트들이 이미 쓰는 세션 로그(Claude Code·Codex·opencode·aider·Cursor·Gemini 등 수 GB)를 append-only 소스로 재파생하는 로컬 제로디펜던시 메모리 레이어(검색 ~12ms, 리플레이 대비 ~60× 적은 토큰으로 working context 회복). 그래프/recall 자체는 기보유(memory-bank·cross-agent-memory) 중복이나 삭제·redaction 메커니즘이 백미. ① active forgetting을 인덱스 행 제거가 아니라 source-projection 층의 tombstone으로 — 인덱스를 원본 로그에서 rebuild하면 단순 행 삭제는 원본에서 되살아나므로, deja forget이 세션 tombstone을 남겨 이후 index가 복원하지 못하게 함(additive-not-destructive-regeneration의 삭제 판: 재생성은 보존이 원칙이나 삭제 요청분만 tombstone으로 명시 제외). ② redaction을 recall 시점이 아니라 index-time에 — API키·JWT·private key를 색인 시점 스트립해 캐시·share·sync 산출물이 애초에 안전. 로컬 단일 사용자라 access control 축은 약하나 rebuild-survival tombstone + index-time redaction은 미보유 메커니즘.

• 5축: 자동화 1 · 마찰제거 2(삭제 재부활 차단) · HARD전환 2(tombstone·index-time redaction 결정론화) · 토큰효율 2(~60× 리플레이 대비) · 측정가능 1 = 8/10 (novelty med — 신규 rule 없이 근거 append)
• 연계: memory-governance-multi-principal(active forgetting 3축) · additive-not-destructive-regeneration(재생성이 삭제분 부활 — tombstone 제외) · secret-scanning-depth·purpose-bound-tool-data-flow(공유 경로 누설을 저장 시점 차단) · ephemeral-state-not-knowledge(ingest 제외 패턴 동형)

커버리지 노트 — 신규 하네스 랜드스케이프(grok-build·agentsmith)는 기보유 원칙 재확인, 학술 소스 주말 휴지

GitHub 신규 하네스 랜드스케이프: xai-org/grok-build(★19.9K, xAI 코딩 에이전트 하네스+TUI, 07-14 신규), PromptPartner/agentsmith(모델 무관 operating 하네스 — lean core + work-type profiles를 setup script로 조립), KlaatAI/klaatcode(스마트 모델 라우팅 10× 비용 절감), esengine/DeepSeek-Reasonix(prefix-cache 안정성으로 장시간 세션 토큰 저하 방지) — 전부 기보유 원칙(harness-engineering-paradigm·agents-md-cross-tool-convention·complexity-based-model-routing·context-compression-pipeline) 재확인이라 novelty low. 학술: HF daily 7/18~20 미발행(주말+월요일), arXiv 07-16 batch(2607.152xx) 전건 dedup — cost-aware security eval(2607.15263 [applied]), SearchOS Failure-Memory(2607.15257 [rejected]), IRT-for-AI-eval 신뢰성(2607.15190 [rejected]) 등. guru GH: anthropics 플러그인 마켓 3종·simonw git-scrapers·karpathy nanochat 재확인. 행동지표 6000→6000 무회귀.

• 판정: 신규 검토 5건 중 med 1 적용 · rejected 4(랜드스케이프 재확인). 하네스 갭 매칭 트렌드 없음 — 부스트 미적용.

agentlas-ai/Agentlas-OS ★856 — 라우팅 카드의 anti-trigger/anti-scope 1급 선언 + 양면 게이팅

로컬 퍼스트 에이전트 OS(엔진 Hephaestus, Apache-2.0)가 에이전트를 매니페스트+라우팅카드+메모리맵+검증원장의 휴대 패키지로 소유. 라우팅 카드가 positive 트리거뿐 아니라 anti-trigger/anti-scope(하지 말 것)를 선언하고 양면 게이팅으로 same-topic/different-intent 오라우팅을 구조 차단 — 거부 조건이 프롬프트 안내가 아니라 결정론 라우터의 입력이다. 완료 상태 verified/unverified/blocked 3값("completion theater" 방지), 모호성 점수 ≤0.2 빌드 게이트, 라우팅/메모리 결정의 diffable JSONL 원장. 다수 요소는 기보유 원칙 동형이나 anti-trigger 1급 선언은 미보유 — 신규 스킬/에이전트 작성 시 "오호출될 가장 가까운 인접 요청을 anti-trigger로 명시했는가"를 기본 자가 질문으로.

• 5축: 자동화 2 · 마찰제거 2(오라우팅 구조 차단) · HARD전환 2(결정론 라우터+원장) · 토큰효율 1 · 측정가능 1 = 8/10 (novelty med-high — rules 예산 보호로 knowledge-only)
• 연계: quantified-ambiguity-gate(≤0.2 동형) · acceptance-criteria-completion(3값 완료) · execution-time-authorization-layer(프롬프트 밖 강제) · rule-author-strict-exceptions(쌍대 — 탈출구 좁히기 vs 진입구 좁히기)

tirth8205/code-review-graph ★20.7K — recall 1.0을 "circular upper bound"로 스스로 라벨링한 정직 벤치마크

tree-sitter AST→SQLite 그래프→blast-radius로 변경 시 최소 읽기 집합을 산출하는 로컬 퍼스트 코드 인텔리전스(중위 82× 토큰 절감 주장, 최대 528×는 best case라고 자인). 그래프 자체는 기보유 패턴과 중복이나 평가 공시가 백미 — impact recall 1.0을 "ground truth가 검증 대상 그래프에서 파생된 circular upper bound"라고 명시하고, 독립(co-change) 평가 모드는 실측 전까지 수치 인용을 거부, 약점(검색 MRR 0.35·flow recall 33%·단일 파일 수정엔 그래프 오버헤드가 naive 읽기 초과)도 공시. 벤치는 pinned SHA·고정 Leiden seed로 결정론화. "자기 산출물이 ground truth인 평가는 수치가 아니라 상한 선언"을 도구가 스스로 실천한 사례.

• 5축: 자동화 1 · 마찰제거 1 · HARD전환 2(결정론 벤치) · 토큰효율 2(82× 실측) · 측정가능 1(핵심 지표 자기참조) = 7/10 (novelty med — 신규 rule 없이 근거 append)
• 연계: metric-skill-coevolution-anchored-audit(held-out anchor 감사) · eval-predictive-validity · content-graph-precise-context(blast-radius 기보유) · grep-over-vector-harness-search

커버리지 노트 — Anthropic cwc-workshops는 기보유 원칙 재확인, 학술 소스 주말 휴지

anthropics/cwc-workshops(★1.7K): Code with Claude 워크숍 9종 — eval-driven("모든 프롬프트 변경은 측정"), 2층 grader(프로그램 검사+LLM judge), ~30초 decision-probe 후 full run, 기계가독 DOM 계약 방출 UI, 400줄 프롬프트→skills 분해. 전부 기보유(machine-verifiable-ui-contract·binary-question-decomposed-evaluation·own-pr-benchmark-cost-per-task 등) 재확인이라 novelty low, 노트만. yoheinakajima/activegraph-packs는 4⭐ 첫 반복 — 재평가 대기. HF 7/17분 29편·트렌딩 14(hallmark·mattpocock/skills 등)·topic 40 전건 dedup 기처리, arXiv API rate-limit+RSS 0(주말). .seen.json 1,902→1,904(신규 4, null 잔재 2 정리). 행동지표 6000→6000 무회귀.

• 판정: 신규 4건 중 med 2 적용 · low 노트 1 · 조기 기각 1. 하네스 갭 매칭 트렌드 없음 — 부스트 미적용.

KnockOutEZ/wigolo ★1.4K — 에이전트 웹 계층의 증거 계약: byte-핀 발췌 + 정직한 실패 라벨

로컬-퍼스트 웹 검색/fetch 계층(18엔진 rank fusion + on-device 재랭킹, API 키/과금 0)이 결과를 스니펫이 아니라 증거로 반환 — verbatim 발췌를 byte-offset 소스 스팬에 핀 + 인용 ID + 점수 분해(semantic/lexical/engine-consensus) + blocked_by_challenge·stale-cache·self-flagged junk 같은 정직한 실패 라벨. 결정론 작업(dedup·rank fusion·정규화)은 모델을 아예 거치지 않고, fetch는 plain HTTP→headless 승급을 도메인별로 학습. 도구 인터페이스 설계 원칙("최소 반환")에 "무엇을 근거로, 왜 실패했는지"의 구조화 필드 동반 계약을 추가하는 실물 — 단 벤치는 "one honest query" 자인 수준이라 도입 판정은 minimal-pair로.

• 5축: 자동화 2 · 마찰제거 2(침묵 빈결과 대신 실패 라벨) · HARD전환 1(증거 필드 구조 검증 가능) · 토큰효율 1(로컬 캐시 재질의) · 측정가능 1 = 7/10 (novelty med — 신규 rule 없이 기존 메모 근거 append)
• 연계: agent-ergonomic-tool-interface(도구 표면 설계) · evidence-only-reporting(증거 동반) · fail-loud(실패 위장 금지) · agent-least-privilege(저비용 우선, 실패 시에만 승급)

simonw — Claude Code uses Bun written in Rust now: 100만줄 재작성 착지를 배포 바이너리 포렌식으로 검증

언어독립 conformance suite로 검증했던 Bun Zig→Rust 재작성(159차)이 Claude Code v2.1.181+로 수백만 디바이스 프로덕션에 실제 착지 — Simon이 배포 바이너리 strings 포렌식으로 독립 재현: Bun v1.4.0 미공개 프리뷰 버전 문자열 + 임베드된 .rs 소스 경로 563개(gist 공개), Linux 시작 +10%, "눈치챈 사람이 거의 없는 마이그레이션 = 성공"(Boring is good). 재작성의 착지 주장은 릴리즈 노트가 아니라 배포 아티팩트에서 결정론적으로 재검증 가능해야 한다 — commit-landing-verification("push된 것 == 검증한 것")의 배포-바이너리 판이자 186·190차 업스트림 드리프트 관측과 동일한 포렌식 표면.

• 5축: 자동화 1 · 마찰제거 1(침묵 스왑 감지) · HARD전환 2(strings 체크는 완전 결정론) · 토큰효율 0 · 측정가능 2(버전 문자열·563파일·+10%) = 6/10 (novelty med)
• 연계: language-independent-conformance-suite(159차 본문의 착지 후속) · commit-landing-verification · execution-time-authorization-layer(업스트림 관측)

커버리지 노트 — gem-team의 confidence-gated 승격은 기보유 원칙 재확인, 학술 소스는 주말 휴지

mubaidr/gem-team(★197): 메모리→스킬 승격을 수치 신뢰도 게이트(0.85 티어/0.90 stable+사용≥3/0.95 스킬 추출)와 90일 미사용 축출로 운영 — cross-batch-evidence-accumulation(2회+ 배치 증거 승격)·agent-memory-hygiene(90일 노화)의 독립 재발명이라 novelty low, 노트만. levnikolaevich/claude-code-skills 18종 모음은 skill-placebo-null 계열로 4점 기각. HF 7/19·18 미발행(주말)·arXiv 최신 50건 전부 0시 190차 기처리, 트렌딩 15·topic 32·HN 5도 전건 dedup — .seen.json 1,898→1,902. 행동지표 무회귀.

• 판정: 신규 4건 중 med 2 적용 · low 노트 1 · 기각 1. 하네스 갭(07-18 autonomy FAIL)은 매칭 트렌드 없음 — 부스트 미적용.

marckrenn/claude-code-changelog ★867 — Claude Code 릴리즈별 프롬프트·플래그·CLI surface를 diff 아카이브로 자동 추적

릴리즈 감지 → 바이너리에서 시스템 프롬프트 15종·feature flags·CLI surface·메타데이터 자동 추출 → 태그별 compare view로 구조화 diff (@ClaudeCodeLog X 계정의 백본). 186차 Alders 사건(AskUserQuestion timeout auto-proceed가 changelog 0으로 도입)은 사후 바이너리 문자열 포렌식으로 발견됐는데, 이 아카이브는 그 포렌식을 커뮤니티 상시 인프라로 대체 — 하네스 업그레이드 시 게이트 probe 재실증(keynote-conformance)에 선행해 flags/prompt diff로 시맨틱스 변경을 먼저 확인하는 관측 경로가 생겼다. 단 토큰 수·LOC는 추정치이고 파일명이 버전 간 rename될 수 있어 통계 delta는 raw diff 대조 후 결론.

• 5축: 자동화 2 · 마찰제거 2(침묵 변경 감지) · HARD전환 1(버전 bump→diff 확인 트리거 가능) · 토큰효율 1(사전 추출 아티팩트) · 측정가능 2 = 8/10 (novelty med — 186차 원칙의 관측 인프라 보강, 신규 rule 없이 기존 rule 근거 append)
• 연계: execution-time-authorization-layer(186차 부록의 선행 관측로) · model-upgrade-tool-schema-drift · harness-behavior-localization(행동→구현 매핑의 업스트림판)

open-multi-agent ★6.6K — goal→task DAG 동적 워크플로우를 프로바이더 무관 오픈 라이브러리로

coordinator가 런타임에 goal을 task DAG로 분해하고, 계획을 데이터로 방출해 결정론 스케줄러가 실행 — inspectable·replayable (run viewer가 DAG/span waterfall 재생). Claude Code dynamic workflows와 같은 베팅을 오픈 인프라로 복제한다고 README가 명시. pi-dynamic-workflows(★249)도 같은 패턴 이식 — 생태계가 "LLM은 계획 생성, 실행은 결정론 엔진" 방향으로 수렴하는 신호 2건. 내 Workflow 도구(스크립트 오케스트레이션+resume journal)·verified-plan-execution(계획→정적 검증→실행)·dynamic-workflows-harness가 이미 커버.

• 판정: 7/10이나 novelty low — 방향 일치 확인뿐, 신규 행동 변화 없음.

커버리지 노트 — 일요일 보충 회차: 학술 소스 휴지, 06:01 189차가 고신호 전건 선점, 신규 11건 중 med 1

HF 7/19·18 미발행(주말)·7/17 29편 전건 기수확, arXiv 최신 50건 전부 기처리(주말 공지 휴지로 최신이 7/16), 트렌딩 15·HN 6도 전건 dedup — .seen.json 1,887→1,898. 신규는 topic 검색 11건: loushang(★729, method-as-contract 하네스)은 acceptance-criteria-completion과 중복이라 4점 기각, 토큰 모니터 2종·API 프록시·시험공부 스킬 등 8건 저득점 기각. simonw 최신 글(LLM cliché highlighter·Fable 5 permanent 뉴스)은 저신호. 행동지표 6000→6000 무회귀.

• 판정: 신규 11건 중 med 1 적용 · low 노트 1 · 기각 9. dedup이 중복 재분석 전부 차단.

anthropics/cwc-workshops — Code with Claude 공식 워크숍 9종: 검증 계약을 산출물에 내장하고, 평가는 싼 probe부터

Anthropic 공식 "Code with Claude" 워크숍 교재 9종(⭐1.7K +282/주). 신규 메커니즘 2가지 — ① machine-verifiable UI: how-we-claude-code 워크숍에서 Vite+React 컴포넌트가 기계판독 DOM 계약을 런타임에 방출, 에이전트/CI가 그 계약으로 UI를 검증한다. 내 QA는 전부 consumer-side(web-qa-tester가 밖에서 DOM 탐침)인데 이건 산출물 자체가 검증 인터페이스를 내장하는 producer-side — 셀렉터 추측·DOM 변경에 따른 거짓 PASS/FAIL이 구조적으로 준다. ② probe-eval laddering: agent-battle 워크숍의 ~30초 fast decision-probe eval을 비싼 풀런 앞에 사다리로 — "measured, not vibed". 나머지 7종(2층 채점·에이전트 분해·Dreaming Service 메모리 통합·모델 스윕·버전드 승격)은 기존 규칙 재확인.

• 5축: 자동화 2 · 마찰제거 1 · HARD전환 2(DOM 계약은 기계판독 — QA 게이트로 인코딩 가능) · 토큰효율 2(프로브가 풀런 비용 절감) · 측정가능 2 = 9/10 (novelty high — producer-side 검증 계약은 내 하네스에 없는 행동 변화)
• 연계: acceptance-criteria-completion(consumer-side 검증의 쌍) · gated-rubric-perception-evaluation(2층 채점) · risk-weighted-verification-budget(위험축과 직교하는 시간축 사다리) · agent-delegation-strategy(분해·모델 스윕)

BrowserOS/BrowserClaw 12.3K★ — 에이전트 브라우저는 클린 프로필 자동화에서 실프로필 위임+관찰로 이동 중

Chromium 포크 2제품(BrowserClaw=에이전트용, BrowserOS=사람용). Claude Code/Codex/Cursor가 MCP로 사용자의 로그인된 실계정 프로필을 운전하고, 사람은 라이브 대시보드로 관찰 + 전 세션을 영상처럼 리플레이. Playwright류 클린 프로필 자동화와 달리 로그인 상태를 그대로 위임 — ykdojo spare-Mac 가이드의 "Claude in Chrome이 실프로필로 Playwright MCP 격차를 메운다"와 같은 주 동일 신호 2건. 리플레이-as-증거는 agent-video-evidence(시간축 기록) 재확인, 실프로필 위임은 신뢰 경계 관점에서 untrusted-content-masking 부담을 오히려 키우는 트레이드오프.

• 판정: 6/10, novelty low — agent-video-evidence·브라우저 QA 방향 재확인 + 제품 트렌드 신호뿐. 신규 행동 변화 없음.

커버리지 노트 — 주말 보충 회차: 학술 소스 0(HF 미발행·arXiv 전건 기수확), spare-Mac 격리 가이드는 5점 기각

00:01 launchd 일일 수확(188차) 6시간 뒤 수동 실행이라 arXiv 최신 50건·트렌딩 상위·HN 고신호(systima 토큰 오버헤드 702pt·Juggler 278pt)·구루 starred(grok-build·agentos·nanocode·verifiers)가 전부 dedup 기처리 — .seen.json 1,884→1,887. ykdojo spare-Mac 가이드(HN 130pt)는 물리 격리 blast-radius(containment-blast-radius-engineering 재확인) + macOS TCC 우회(tmux를 GUI 세션에 앵커링해 responsible process로 권한 부여) 트릭이 유용하나 5축 5점으로 기각. X 미러는 rsshub 302 지속(사유 기록). 행동지표 6000→6000 무회귀.

• 판정: 신규 검토 3건 중 high 1 적용 · low 노트 1 · 기각 1. 주말 창의 정직한 산출 — dedup이 중복 재분석을 전부 차단했다.

Rethinking the Evaluation of Harness Evolution for Agents — 진화 이득은 예산 매칭 baseline·held-out 없이는 귀속 불가

AI2/UW(Hajishirzi·Tsvetkov·Dasigi)의 하네스 자동 진화 평가 재검토. 현행 방식의 결함 2가지 — (a) 진화는 그 자체가 반복 검색인데 baseline은 그 검색·피드백 예산을 못 받으므로, 보고된 이득이 "하네스 설계"가 아니라 "추가 검색량" 덕일 수 있고 (b) 검색에 쓴 벤치마크로 최종 평가하면 과적합. Terminal-Bench 2.1 × GPT-5.4/Opus 4.6 통제 실험: harness evolution이 budget-matched test-time scaling(retry/sampling)을 일관되게 이기지 못하고 held-out 일반화 제한. 처방: 진화 이득 주장은 ① 예산 매칭 단순 baseline 대비 ② held-out(검색에 안 쓴) 태스크에서 측정된 것이어야 한다. 내 harness-evolution-loop의 "delta ledger로만 keep"에 delta 자체의 유효 조건을 추가하는 실증.

• 5축: 자동화 1 · 마찰제거 2(거짓 귀속 이득의 slop 축적 차단) · HARD전환 1(예산 매칭 비교는 evolve 루프 통제 조건으로 인코딩 가능) · 토큰효율 2(단순 retry 동급이면 진화 검색 비용 절감) · 측정가능 2 = 8/10 (novelty med — 기존 delta 게이트의 attribution 정교화)
• 연계: harness-benefit-not-update(measured delta로만 keep) · metric-skill-coevolution-anchored-audit(held-out anchor) · judge-as-optimizer-hardening(train/eval 분리) · harness-ablation-on-model-release(one-at-a-time 귀속)

mattpocock/skills 176K★(+11.3K/주) — 103차 기수확 철학의 생태계 대세화 재확인

103차(2026-05-06, 당시 61K★)에 failure-mode-anchored-skills로 수확·적용한 repo가 176K★로 3배 성장하며 주간 트렌딩 1위 재등장. 현재 구조에서 재확인되는 원칙: 4 실패 모드 앵커링(misalignment→grilling·verbosity→CONTEXT.md 공유 도메인 언어·broken code→TDD 루프·architectural decay→지속 설계 투자), "small·adaptable·composable" (process-heavy 프레임워크 GSD/BMAD/Spec-Kit 대비), invocation hierarchy(user-invoked는 orchestrate하되 다른 user-invoked 호출 금지, model-invoked가 재사용 discipline 보유 — removal-first의 "SOFT 위생은 model-invoked 스킬로 반사화"와 동형). 이번 주 트렌딩 상위가 전부 skills 계열(hallmark·ui-skills·cangjie-skill — 전건 기처리)인 것 자체가 생태계 신호.

• 판정: novelty low — 103차 적용분의 방향 재확인 + 성장 수치 갱신뿐. 신규 행동 변화 없음.

커버리지 노트 — HF 발행 지연(최신 07-17), arXiv 신규 13건 전부 도메인 특화 기각

HF daily papers API가 07-19/18 요청에 "date must be ≤ 07-17" 에러 반환 — 주말 발행 지연으로 07-17이 최신, 그 29편 중 27편은 187차까지 기처리(dedup 정상). arXiv 야간 제출분 50건 중 키워드 필터 통과 13건은 전부 도메인 특화(신문 구조 이해·TikTok stance·언어 식별 등)로 기각. HN 고신호는 전건 기처리(Anatomy of a Misfeature=186차 적용·mindwalk=186차 적용·systima 토큰 오버헤드=기수확·Microsoft rollout 연구=기기각). X 미러는 rsshub 302로 여전히 불가(사유 기록, 대체 수집 안 함). openinterpreter(오픈모델 코딩 에이전트 전환)는 제품 신호로 기각. 행동지표 6000→6000 무회귀, cc-sync 커밋 dd73c5e31.

• 판정: 신규 검토 17건 중 med 1 적용 · low 노트 1 · 기각 15. 주말 창은 학술 신호가 얕다 — HF 발행 재개 후 회차가 본 수확.

Own the Outer Loop — Quality→Verdict→Answerability, 인간은 증거가 건너오는 경계를 소유한다

Addy Osmani의 Loop Engineering 후속 (2026-07-15). 에이전트는 inner loop(조사→구현→검증 = capability)를 돌고, 인간은 outer loop(결정·검증·승인·소유 = agency)를 소유한다 — 완료 판정은 모델 자기평가가 아니라 독립 체크로, 경계는 증거다. back pressure(타입체크·테스트·hook·sandbox 제한·감사 로그)가 에이전트 자율성을 제어하는 핵심 메커니즘이고, 인간이 있어야 할 곳은 4개 루프(constraints·sampling·audit·ownership)뿐. accountability contract: 수용 시점에 "이해한 체크리스트+판단 증거+책임 주체+시스템 상태"를 코드베이스에 기록. orchestration tax: 플릿은 쉽게 늘지만 "인지 대역폭은 같은 방식으로 병렬화되지 않는다" — mutation 엄격 opt-in, worktree/scope/증거로 계획과 창발 작업 분리. 정량: Anthropic RCT — AI 사용 엔지니어 코드 이해도 17pp 하락(comprehension debt 실측), Wharton — AI 오답의 ~3/4 그대로 수용 + 확신 상승(cognitive surrender).

• 5축: 자동화 1 · 마찰제거 2(거짓 완료·책임 공백의 구조 진단) · HARD전환 1(accountability contract는 acceptance_verified[] 확장으로 게이트화 가능) · 토큰효율 0 · 측정가능 2(증거 보존·승인 기록) = 6/10 (novelty med — trust-ladder에 outer loop 소유권 어휘 추가)
• 연계: loop-engineering-trust-ladder(동일 저자 선행 수확) · no-verification-handoff(검증 떠넘기기 금지) · acceptance-criteria-completion(수용 기준 증거) · brokered-mutation-authority(mutation opt-in)

rivet-dev/agentos ★3.8k — in-process WASM VM: 호스트 실행 0의 임베디드 격리 지점

simonw가 스타한 "샌드박스의 더 빠르고 가벼운 대안": 가상 FS·프로세스 테이블·PTY·가상 네트워크 스택을 앱 프로세스 안의 경량 VM 커널로 돌리고, git/grep/jq/curl은 Rust/C에서 컴파일한 WASM 패키지로 VM에 설치 — 구조적으로 호스트에서 아무것도 실행되지 않는다. E2B 대비 cold start 4.8ms vs 440ms(92×), 메모리 131MB vs ~1GB. deny-by-default 권한(FS/네트워크/프로세스) + per-agent CPU/메모리 상한, 무거운 작업(브라우저·네이티브 컴파일)만 실 샌드박스를 on-demand로 띄워 FS를 마운트하는 계층 격리. "zero-host-execution 임베디드 VM 기본 + 필요시에만 실 샌드박스 승격"은 microVM·syscall-sandbox와 다른 격리 스펙트럼의 새 지점 — 단 내 하네스는 host+hook 게이트 구조라 직접 적용점 없음.

• 5축: 자동화 1 · 마찰제거 1 · HARD전환 2(deny-by-default는 구조적 강제) · 토큰효율 0 · 측정가능 1 = 5/10 → 노트만 (novelty med이나 내 하네스 적용점 부재)
• 연계: microvm-agent-sandbox · os-level-syscall-sandbox · durable-agent-sandbox-decoupling · containment-blast-radius-engineering(결정론적 환경 경계)

커버리지 노트 — 186차와 같은 날 창이라 고신호 전건 기처리, low 노트 3건

직전 회차(186차, 당일 오전)와 수집 창이 겹쳐 trending 19·topic·HN 상위·arXiv 오늘분 50건(15xxx 대역)이 전부 기처리 — dedup 인덱스 정상 작동, 중복 적용 0. X 미러는 rsshub 0건·nitter 빈 응답으로 다운(사유 기록, 대체 수집 안 함). low 노트: Earning taste and judgment(같은 저자 — "wrong log 한 줄 기록"은 내 feedback.jsonl, "실제 AI PR 50건으로 eval harness 캘리브레이션"은 own-pr-benchmark-cost-per-task와 동형), simonw LLM cliché highlighter(prose-anti-slop-pattern 재확인), Claude Fable 5 정식 전환 뉴스. 행동지표 6000→6000 무회귀.

• 판정: 신규 검토 9건 중 med 1 적용 · low 노트 3 · 기각 5(뉴스·비관련). 같은 날 2회차 실행의 한계 효용은 낮다 — dedup이 비용을 0에 수렴시킴.

Anatomy of a Misfeature — 블로킹 게이트의 무문서 timeout auto-proceed는 게이트 무력화다

Claude Code v2.1.198이 블로킹 안전 게이트 AskUserQuestion을 changelog·문서 0으로 60초 무응답 시 "Proceed using your best judgment" 자동 진행으로 변경 — 부분 응답도 그대로 제출. auto-update 기본값과 결합해 안전-관련 행동 변경이 사용자 무행동으로 조용히 도달했고, GitHub #73125(384▲) 이틀 만에 롤백됐다. 저자는 Bun 바이너리 문자열 diff 포렌식으로 실증: 카운트다운 UI·afkTimeoutMs 스키마·전용 analytics 이벤트까지 갖춘 설계된 기능이었다. 교훈: ① 블로킹 게이트는 블로킹으로 남아야 한다 — timeout auto-proceed는 미승인 fallback의 게이트 판. ② 게이트 강제력은 업스트림 바이너리에 의존하므로 버전 bump 후 차단 동작을 probe로 재실증해야 한다.

• 5축: 자동화 1 · 마찰제거 2(silent 게이트 무력화 사전 차단) · HARD전환 2(게이트 차단 동작은 probe로 실증 가능 — conformance ENFORCED가 그 표면) · 토큰효율 0 · 측정가능 2 = 7/10 (novelty med — 게이트 시맨틱스 드리프트 위협 추가)
• 연계: execution-time-authorization-layer(강제 계층) · fail-loud-no-unapproved-fallback(미승인 fallback 금지) · compaction-governance-decay(제약은 영속층에 + 생존 검증)

cosmtrek/mindwalk ★776 — 세션 JSONL을 파일-터치 trace로 정규화해야 스코프 이탈이 보인다

Claude Code/Codex 세션을 3D 코드베이스 맵 위에 리플레이하는 Go 단일 바이너리(HN 162pt). 핵심은 시각화가 아니라 아키텍처: 세션 로그를 파일-터치 이벤트 스트림(trace)으로 정규화하고, 결정론적 repo 레이아웃(같은 트리=같은 맵)이라 세션 간 리플레이가 비교 가능하다. 관측(seen/read)과 변이(edit)를 구분 렌더, compaction·subagent·user-turn 마크, error rate·churn HUD. 판정(탐색 적정성·스코프·방황·검증)은 도구/MCP가 차단된 sealed judge로 분리. "raw JSONL을 줄 단위로 읽어서는 에이전트가 어디를 탐색했고 스코프에 머물렀는지 답할 수 없다" — E3(최소 스코프) 위반의 사후 결정론 진단 표면.

• 5축: 자동화 1 · 마찰제거 1 · HARD전환 2(로컬 JSONL→touch 이벤트 추출은 결정론 스크립트화 가능) · 토큰효율 1(과잉 탐색 진단→E3 강화) · 측정가능 2(touch 수·분포·churn) = 7/10 (novelty med)
• 연계: token-efficiency-tracking E3(최소 스코프) · active-investigation-fault-attribution(트레이스 on-demand 진단) · judge-as-optimizer-hardening(sealed judge 정합)

커버리지 노트 — 직전 회차 6시간 뒤 창이라 고신호 대부분 기처리, 재확인 3건

185차(당일 새벽)와 수집 창이 겹쳐 HF 전일분·arXiv 15xxx 대역·HN 상위(systima 토큰 오버헤드 701pt=173차 기수확, Terry Tao 453pt)는 전부 기처리 — dedup 인덱스가 정상 작동해 중복 적용 0. 재확인(novelty low, 회차 노트만): clawk ★696(disposable VM 격리 — "agent memory는 host-mount, VM은 폐기" = durable-agent-sandbox-decoupling·microvm-agent-sandbox 재확인), yoheinakajima/activegraph ★403 생태계 확장(packs·memory·ouroboros 신규 push — event-sourced-reactive-graph-runtime 기수확 재확인). juggler(JUCE 창작자의 GUI 코딩 에이전트, 277pt)는 제품 신호로 기각. anthropic 신규 글 "How we contain Claude across products"도 기적용 확인.

• 판정: 신규 검토 53건 중 med 2 적용 · low 재확인 3 노트 · 기각 다수(SDK 인프라 repo·비관련 논문). 행동지표 6000→6000 무회귀.

arXiv 2607.15092 — Rubrics on Trial: 단일 쿼리에서 synthetic 대비쌍으로 rubric을 진화시킨다

query-only로 빈 집합에서 rubric 세트를 진화 — 외부 주석·선호 데이터·모델 학습 0. 감독 신호는 오로지 synthetic rubric-conditioned 응답 대비쌍에서 유도하고, 제안된 rubric마다 채택 전 검증(admission gate)을 통과해야 추가된다: 답 품질을 구분 못 하는 non-discriminative, 과세분화된 over-specific, 스타일만 보상하는 style-only 후보를 스크리닝. 5개 선호 벤치 스위트에서 최고 평균 정확도(7개 평가셋 중 6개 선두). "그럴듯한 rubric ≠ 유용한 rubric" — 유효한 대안 전략을 벌점하거나 선택적 스타일을 보상하는 rubric이 검증 없이 쌓이는 것을 입구에서 차단하는 메커니즘.

• 5축: 자동화 1 · 마찰제거 2(비판별 rubric의 judge 루프 오염 차단) · HARD전환 1(대비쌍 판별력 검증은 스크립트화 가능) · 토큰효율 1 · 측정가능 2(판별력 통과율) = 7/10 (novelty med — 지표 진화 원칙에 admission gate 메커니즘 추가)
• 연계: metric-skill-coevolution-anchored-audit(지표를 진화 대상으로) · 178차 rubric 메타평가(extrinsic 정렬)를 채택 시점으로 앞당김 · judge-as-optimizer-hardening(대비쌍 신호)과 정합

microsoft/apm v0.25 — drift rebuild-diff 감사 · SBOM export · tighten-only 정책 상속

31차(2026-04-18) 수확 이후 71릴리즈로 진화한 Agent Package Manager의 신기능 3종. (1) drift 감지: apm audit이 lockfile 정본에서 컨텍스트를 scratch에 재구성한 뒤 워킹트리와 diff — 수동 hand-edit로 인한 정본↔런타임 드리프트를 기계 감지. (2) SBOM export: apm lock export --format cyclonedx|spdx로 에이전트 컨텍스트 의존성 재고를 표준 SBOM으로 — "스킬을 SBOM처럼" 원칙(arXiv 2607.01136)이 Microsoft 공식 도구로 물질화. (3) tighten-only 정책 상속: enterprise→org→repo로 조여지기만 하는 apm-policy.yml + apm audit --ci 게이트 — 설치 평면(policy)과 런타임 평면(harness)의 거버넌스 분리. 8개 에이전트 플랫폼 지원, hidden Unicode 스캔 기본.

• 5축: 자동화 2 · 마찰제거 2(hand-edit drift 기계 감지) · HARD전환 2(audit --ci exit code) · 토큰효율 0 · 측정가능 1 = 7/10 (novelty med — agent-manifest-pattern 기수확의 진화분 보강)
• 연계: agent-skill-supply-chain-dependency-risk(SBOM 원칙의 생태계 물질화) · agent-skill-security-scanning(hidden Unicode) · cc-sync 이식 후보: repo 정본 재구성 vs 실제 ~/.claude diff 게이트

커버리지 노트 — 신규 검토 50건 중 med 2 적용, seen 키 누락 4건 백필

openai/symphony(26K⭐ 급부상)와 systima 토큰 오버헤드(HN 701pt 재부상)가 NEW로 보였으나 각각 44차(work-over-agent-management)·173차(harness-token-overhead-audit)에 기수확 — seen 인덱스 키 불일치로 인한 NEW 오탐이라 canonical 키 4건을 백필해 재발 차단. HF 신규 14건은 video/multimodal 위주로 하네스 무관 기각. trending·topic의 하네스 생태계 항목(omnigent·jcode·ruflo·repo-harness·best-of-Agent-Harnesses·llm-space)은 meta-harness·persistent-file-based-planning·active-investigation 기보유 원칙 재확인으로 기각. X 미러는 184차(동일일 00시)에서 차단 확인돼 재시도 생략. 행동지표(conf×1000+replay) 6000→6000 무회귀.

arXiv 2607.15253 — Bridge Evidence: 정적 검색 유틸리티는 멀티스텝 에이전트 검색의 인과 유틸리티를 예측하지 못한다

ReAct×HotpotQA 1,000문항에서 에이전트가 읽은 모든 문서를 삭제 후 그 시점부터 궤적 재실행(counterfactual replay) — 최종 답 품질·다음 쿼리 검색 품질·턴 수 3-delta로 CTU 산출. 23,322 문서 관측에서 CTU × 정적 유틸리티(SRU)는 거의 통계적 독립(Spearman ρ=-0.026). 읽힌 문서의 약 1/3은 정적 reader에겐 무용해 보이지만 인과적 load-bearing인 bridge document — reader 축을 BM25+cross-encoder 프록시로 바꿔도 bridge cell 27.2% 생존. 메커니즘: bridge 문서는 검색을 redirect하는 판별적 엔티티를 공급한다(다음 쿼리 등장 4.02×, 6.1% vs 1.5%, n=227,139). 정적 관련도를 최적화해도 인과 유틸리티는 얻지 못한다 — 컨텍스트/메모리 프루닝과 검색 평가를 counterfactual replay로 전환.

• 5축: 자동화 1 · 마찰제거 1 · HARD전환 2(삭제-재실행 replay는 결정론 스크립트화 가능) · 토큰효율 1 · 측정가능 2 = 7/10 (novelty high — "정적 관련도 프루닝의 bridge 절단 위험" 신설)
• 연계: eval-predictive-validity(집계 점수 예측타당성)의 item-level 확장 · role-typed-trajectory-credit-assignment의 검색 도메인 실증 · task-aware-context-pruning/metadata-guided-chunk-retrieval에 bridge 보존 제약

arXiv 2607.15263 — Beyond Success Rate: 태스크 패밀리마다 비용-스케일링 레짐이 다르다

보안 에이전트를 peak 성공률이 아니라 비용-성공 렌즈로 평가 — 고정 비용 수준에서 모델 비교 + inference/tool 지출 분해. 공격(Cybench CTF)은 test-time compute 추가로 개선되고 스케일된 오픈웨이트가 frontier에 비용 경쟁력 있게 근접하지만, 방어(Splunk BOTS SOC 조사)는 raw 추론 예산이 아니라 규율된 도구 사용·텔레메트리 탐색·선택적 enrichment에 의존해 같은 방식으로 스케일하지 않는다. compute 증액이 안 통하는 패밀리(조사·탐색형)에서 추론 예산 인상은 낭비 — reasoning-effort-over-tool-access의 적용 경계 신호.

• 5축: 자동화 1 · 마찰제거 1 · HARD전환 1 · 토큰효율 1 · 측정가능 2 = 6/10 (novelty med — cost-per-task 원칙에 패밀리별 레짐 분해 추가)
• 연계: own-pr-benchmark-cost-per-task(태스크당 비용) · risk-weighted-verification-budget(위험 비례 배분) · reasoning-effort-over-tool-access(추론 상향의 경계 조건)

커버리지 노트 — 7소스군 전원 시도, 신규 검토 11건 중 high 1 + med 1 적용

arXiv 신규 9건 중 7 기각: IRT 신뢰성(2607.15190 — IRT 미사용 하네스)·Plover plan-centric GUI(15193 — persistent-file-based-planning 재확인)·MeanFlowNFT(training-side)·AutoSynthesis/SciVis/Digital Pantheon/covariate-MDP(도메인 특화). HF는 API가 07-18분 미공개(400 응답) — 전일분은 183차 기수확. trending 19는 Claude Code 생태계 웨이브 지속(hallmark·orca·graphify·herdr·cangjie·claude-video·codex-plugin-cc 기처리) — 신규는 ibelick/ui-skills 4.6K⭐ 1건(design skill 웨이브 재확인, 기각). HN 신규 agent-talk(에이전트 간 협업 — bidirectional-agent-messaging 기보유) 기각. Anthropic eng 신규 0(containment 글 기수확). nitter가 HTTP 200을 반환하나 빈 JS 셸 — X 미러 차단 실질 지속. 행동지표(conf×1000+replay) 6000→6000 무회귀.

arXiv 2607.15277 — Partition, Prompt, Aggregate: macro fallacy — LLM 집계 추정은 분할→집계가 직접 추정보다 정확

LLM 추정치가 확률 항등식(전확률 법칙)을 지키는지 이진 트리 재귀 분할로 검증 — frontier 모델 전반에서 광범위한 자기일관성 위반. 핵심은 macro fallacy: 세분화된 하위집단 추정을 프로그램적으로 집계한 값이 직접 물은 상위 수준 추정보다 인간 참조 데이터에 더 정합 — 모델은 하위집단 지식을 갖고 있으나 집계로 신뢰성 있게 전파하지 못한다. 분할-집계 일관성 위반 자체가 reference-free 감사 신호(unsaturated criterion)로 성립 — 참조답 없는 도메인에서 judge/추정 신뢰도를 코히런스 검사로 점검 가능.

• 5축: 자동화 1 · 마찰제거 1 · HARD전환 2(분할-집계 일치는 프로그램 검증 가능) · 토큰효율 1 · 측정가능 2 = 7/10 (novelty med — 분해-집계 원칙의 수치 추정 확장)
• 연계: binary-question-decomposed-evaluation(원자 분해→집계)의 수치 도메인 실증 · judge-as-optimizer-hardening 177차 "reference 없는 판정 과신용"의 차선책(코히런스 감사)

arXiv 2607.15205 — MM-IssueLoc: 텍스트 SWE 벤치 고득점, 멀티모달 이슈 로컬라이제이션으로 전이 안 됨

실 레포 이슈에는 스크린샷·에러 다이얼로그·렌더된 UI 상태가 일상적으로 붙지만 로컬라이제이션 평가는 텍스트 전용이었다 — 652 issue-PR·23언어·7이미지 카테고리·4관련도 레벨의 paired(텍스트만 vs 이미지 포함) 통제 평가로 분리하니 최강 에이전트가 file Acc@5 38.96·function Acc@10 22.45에 그침. end-to-end repair 벤치는 로컬라이제이션과 패치 합성을 entangle해 시각 입력이 도움/해악/무시됐는지 판별 불가. 이미지 붙은 이슈를 처리하는 auto-issue류 파이프라인에서 모델이 시각 증거를 활용한다고 가정 금지 — VCE처럼 이미지를 구조화 텍스트 증거로 변환하는 전처리를 명시 평가 변수로.

• 5축: 자동화 1 · 마찰제거 1 · HARD전환 1 · 토큰효율 0 · 측정가능 2 + 갭부스트 1(이미지 이슈 처리 파이프라인) = 6→7/10 (novelty med)
• 연계: eval-predictive-validity(모달리티 간 비전이 = predictive validity 실패의 새 축) · intrinsic-eval-disentangles-conflated-failure(능력 축 분리 측정) · qa-screenshot-required(출력 증거)의 입력 방향 쌍대

커버리지 노트 — 7소스군 전원 시도, 신규 검토 52건 중 med 2 적용, 나머지 low/reject

trending 21은 Claude Code 생태계 제품 웨이브 지속(stitch-skills·hallmark·orca·herdr·OfficeCLI·OmniRoute·codex-plugin-cc 기처리/기거부) — 신규는 xai-org/grok-build 14k⭐(simonw star, xAI 코딩 하네스 TUI — 하네스 수렴 재확인), openai/codex-action(Codex를 GitHub Actions CI 에이전트로 — agentic-workflows-cicd 재확인), Juggler(JUCE 창작자의 GUI 코딩 에이전트, HN 276p). 기각: Ring-Zero(81▲ trillion-param zero RL — training-side), KnowAct-GUIClaw(47▲ self-evolving memory/skill — recursive-self-improvement-loop 기보유 재확인), GRASP(granularity-aware retrieval: semantic=탐색/keyword=엔티티/read=검증 역할 분담 + 문장 단위 우선·필요시 확장 — token-efficiency E3·grep-over-vector 방향 재확인, RL 훈련측이라 low), 로봇/비전/의료 벤치 다수. HF 당일분은 training·로봇 편중. Anthropic eng 신규 0(containment 글 기수확). X 미러 302 차단 지속.

arXiv 2607.13071 — Compaction as Epistemic Failure: killed process 부분출력이 compaction 요약에서 확정 결과로 둔갑

Claude Code에서 문서화된 실패 모드 — timeout kill(exit 143)된 명령의 부분 stdout이 compaction 요약에 "확인된 결과"로 기록되고, 후속 세션이 그 요약을 ground truth로 상속해 재검증 없이 false positive가 세션·모델 버전 경계를 넘어 전파된다. 근본 메커니즘은 관찰(터미널에 보였다)과 영속(디스크에 기록됐다)의 혼동. LLM-as-judge 비결정론 연구가 보인 자기평가 실패가 에이전트 도구의 "자기 운영 결과 보고"에서도 동일하게 나타남을 보임 — 데이터 처리·과학 계산·다단계 자동화처럼 세션 연속성에 의존하는 모든 워크플로우에 직접 함의. 내 하네스가 곧 Claude Code라 이 실패 모드의 1차 노출면.

• 5축: 자동화 1 · 마찰제거 2 · HARD전환 2 · 토큰효율 0 · 측정가능 2 = 7/10 (novelty med — 기존 원칙 교차점의 새 메커니즘, 보강 라우팅)
• 연계: compaction-governance-decay(제약 소실)의 쌍대 — 압축은 미검증 관찰을 확정 사실로 승격시키는 반대 방향 오염도 만든다. evidence-only-reporting·completion-verification·retrieval-grounded-exact-recall과 정합

arXiv 2607.13091 — Accumulated Behavioral Rules: 리뷰 피드백→영속 규칙 폐루프 산업 실증, ruled-against 재발 0%

코딩 에이전트가 세션마다 같은 실수를 반복하는 근본 원인은 리뷰 교정을 보존할 메커니즘 부재 — 수용된 리뷰 코멘트를 버전 관리되는 지시 파일의 영속 행동 규칙으로 codify하는 폐루프를 35+ 서비스 마이크로서비스 플랫폼에 배포. 규칙셋 5→18 rules + 15+ 언어별 표준 + 15항목 self-review 체크리스트(전부 실제 리뷰 피드백 유래), 규칙셋이 커져도 무결성을 지키는 자동 검증 동반. 11개 세션 실측: ruled-against 에러 클래스 재발 0%, 리뷰 노력이 low-level correctness에서 design-level 검증으로 이동, 이질적 에이전트 인터페이스 간 규칙 전이. Reflexion/ExpeL 류 in-context 경험 학습 대비 "버전 관리 영속 cross-session 규칙"이 차별점.

• 5축: 자동화 2 · 마찰제거 2 · HARD전환 1 · 토큰효율 1 · 측정가능 2 = 8/10 (novelty med — 내 하네스 fix커밋→self-improve→rules 축적 루프와 동형, 외부 실증)
• 연계: recursive-self-improvement-loop(Competitor→Analyst→Coach→Curator)·soft-to-hard-promotion·cross-batch-evidence-accumulation — "재발 0%"는 rule 승격 폐루프의 목표 지표 그 자체

arXiv 2607.13347 — Evaluation Ability ≠ Optimization Utility: LLM-judge 신호는 폐루프 선택에서 약하다

결정론 지표(TEDS)가 존재하는 table recognition을 통제 테스트베드로 LLM-judge의 폐루프 재생성 신호를 검증 — judge 점수는 동점 빈발·랭킹 비재현으로, iteration이 더 나은 후보를 실제로 만들어도 judge가 그것을 골라내지 못했다. random을 이긴 유일한 선택 정책은 earliest-iteration tie rule에 의존해 judge 점수의 기여로 귀속 불가. 반면 judge 피드백 없이도 구조 보존 지시(target-preservation)만으로 severe-loss율이 유의하게 감소 — 무제약 재생성 하의 target-preservation failure가 severe loss의 근접 메커니즘. 결론: LLM의 평가 능력은 부정하지 않되, "평가를 잘한다"가 "최적화 신호로 유용하다"를 함의하지 않는다.

• 5축: 자동화 1 · 마찰제거 2 · HARD전환 1 · 토큰효율 1 · 측정가능 2 = 7/10 (novelty med)
• 연계: judge-as-optimizer-hardening(ranking 통과 judge를 optimizer에 넣으면 새 실패모드)·reward-score-oversensitivity(동점 처리)·acceptance-criteria-completion(결정론 제약이 사후 필터보다 우선)

커버리지 노트 — 7소스군 시도, arXiv 당일 RSS에서 하네스 직결 3편 포착(HF 당일분은 training/로봇 편중), 기각 18건

arXiv RSS 228(cs.AI 당일, 필터 85 — compaction/self-improve/judge 클러스터 동시 부상) · HF 당일 10 전원 신규지만 training-side RL(SEED ▲7)·WAM 공격(BadWAM ▲7)·KV-cache 서빙 등 하네스 비적용 기각 · GitHub trending 20 대부분 기처리(stitch-skills·hallmark·orca·herdr·OfficeCLI 기거부, OmniRoute 기적용, codex-plugin-cc 기관찰) · HN 3(deja-vu 128pt coding agent memory over SSH — memory-bank 보유 재확인, LM Studio Bionic 제품 출시) · 구루GH 8계정(anthropics/skills 162k⭐ 공식 Agent Skills repo — agent-skills-format 기수확 재확인, yoheinakajima ouroboros 신규 README 부재 신호 불충분, hwchase17 testing-mcp 실험) · Anthropic eng 신규 0 · X 미러 차단 지속. 기각 상세: Inference Economics(13080 — 온프렘 FCR 74.9% vs API 45.9%, 수리 커밋 오즈 3.61배: 싼 토큰≠싼 태스크로 own-pr-benchmark-cost-per-task 방향 재확인) · Baselines Before Architecture(13085 — 하네스 기여 주장 전 model-matched plain-agent baseline 필수, harness-ablation 재확인) · Set-shifting(13396 — 툴 신뢰도 은닉 변화에 소수 루틴 고착, 에러 복구 전략 로테이션 재확인) · STOCKTAKE(13618 — perception/action 분리 측정, knowing-doing gap 벤치) · AgentCompass(13705 — Benchmark/Harness/Environment 3분리 eval 인프라) · Oracle Agent Memory(13157 — 벤더 DB 종속 메모리 기판).

arXiv 2607.13716 — CAVA: 이질적 런타임을 canonical action object로 정규화해 승인↔실행 바인딩·독립 재현

에이전트는 로컬 코딩 hook·SDK 도구·브라우저 자동화·managed-agent 트레이스·API 게이트웨이·워크플로우 엔진 등 이질적 런타임으로 행동한다 — 그래서 하나의 조작 행위(코드 publish·identity 상태 변경·송금·데이터 export)가 서로 호환 안 되는 여러 런타임 기록으로 남고, "무엇이 실제로 승인됐나 · 승인을 실행에 묶는 증거는 무엇인가 · 독립 verifier가 나중에 같은 action identity를 재현할 수 있나"라는 기본 거버넌스 질문에 답하기 어렵다. CAVA는 이질적 활동을 canonical runtime action object로 변환하는 런타임-의미 계층으로, deployer-owned route-review-prove 거버넌스(PCAA) 아래에 위치한다 — PCAA가 프로세스를 정의하면 CAVA는 action 정체성을 정의. 게이트가 런타임 기록 타입마다 따로 검사하면 승인↔실행 바인딩이 깨진다.

• 5축: 자동화 1 · 마찰제거 2 · HARD전환 2 · 토큰효율 1 · 측정가능 2 = 8/10 (novelty med, 예산 초과 532KB → 신규 rule 금지, 기존 보강 라우팅)
• 연계: brokered-mutation-authority(proposal/admission/execution 분리)·commit-landing-verification("push된 것 == 검증한 것")·multi-agent-audit-lineage(변조불가 계보)를 "단일 canonical action id로 승인·증거·실행 바인딩"으로 일반화 — 모든 mutation 런타임에 적용

arXiv 2607.13718 — How Agents Ask for Permission: 강제는 인터페이스가 아니라 실행 경계, user-level 권한 공백

에이전트가 늘어나며 사용자는 그 위험(prompt injection·hallucination이 사적 정보를 3자에 유출, 또는 송금 같은 민감 작업을 사용자 의도·인가 없이 실행하는 능동적 위험)에 노출된다. 21개 에이전트 보안 제안을 survey한 결과 대부분 product-level(개발자가 모든 사용자에 동일한 정책·권한을 적용)에 머물고, 서로 다른 필요·선호를 가진 사용자별 user-level 권한 정책 지원이 빠져 있다. 핵심은 "사용자에게 물어보는 인터페이스"가 아니라 우회 불가한 enforcement — 인터페이스 동의로는 못 막고 강제 계층에서만 차단된다.

• 5축: 자동화 0 · 마찰제거 2 · HARD전환 2 · 토큰효율 1 · 측정가능 2 = 7/10 (novelty med)
• 연계: execution-time-authorization-layer("입력으로 우회 가능한 제어는 escapable → 진짜 강제는 프로세스 분리+구조적 유일 경로")의 정책 도메인 실증 · role-based-agent-permissions(tools 화이트리스트 HARD)

arXiv 2607.13707 — Test Oracle Problem in Synthetic LLM-Judge Corpora: 공유 파라미터가 통계적으로 robust한 가짜 효과 생성

LLM-judge 편향 연구는 보통 LLM에 hallucinated 답을 생성시켜 factual 답과 짝지어 judge에 제시하는데, 이 생성 단계가 조용히 실패하면 오라클(정답 기준) 자체가 오염된다. 실증: 다국어(터키어/영어) faithfulness 코퍼스에서 judging과 generation이 공유하던 decoding-budget 파라미터가 한 producer의 hallucinated 답을 몇 단어로 truncate → 통계적으로 robust한 32-point cross-lingual 정확도 붕괴가 N=50에서 500까지 재현 + 3-layer 기계적 설명 + producer-swap 대조까지 통과했으나 전부 artifact(공유 파라미터 교정 시 효과가 ceiling으로 소멸). 저자는 검증 프로토콜을 제안 — LLM-judge 코퍼스는 producer 산출을 오라클로 신뢰하기 전 검증 필수.

• 5축: 자동화 0 · 마찰제거 2 · HARD전환 1 · 토큰효율 2 · 측정가능 2 = 7/10 (novelty med)
• 연계: judge-as-optimizer-hardening(reference 없는 판정 위험)·structured-output-tool-suppression(judge/생성 공유-설정 hazard 동형)·eval-predictive-validity(집계 효과의 통계적 robustness ≠ 실재)

커버리지 노트 — 7소스군 시도, arXiv 07-17 신규 제출에서 거버넌스 3편 포착, trending/HN 대부분 기처리, 기각 7건

arXiv 70(cs.AI/CL/LG/MA newest, 키워드 필터 후 신규 후보 — governance/permission/judge 클러스터가 07-17 제출에서 동시 부상) · HF 당일 API 400(미공개)+전일 대부분 180차 기처리(Harness Handbook ▲162 등) · GitHub trending 전체/신규 대부분 toolkit·콘텐츠(stitch-skills·hallmark·orca·codex-plugin-cc·impeccable·DeepTutor·Vibe-Trading — 제품/증류) · HN points>40 제품·의견("coding agents think ahead"·"memory over SSH"·"Brainless shadcn"·Meeseeks 플러그인) · 구루GH 7계정 · Anthropic eng 신규 0 · X 미러 차단 지속. 기각 상세: Rethinking Pentest for AI(14006 — objective-driven behavioral eval 재프레이밍, multi-turn-adversarial-robustness와 정합·방향 재확인) · HealthClaw(13940 — 도메인 특화 self-evolving memory, 4-way induction gate) · AgentCompass(13705 — Benchmark/Harness/Environment 분리 eval 인프라 도구) · Generative Compilation(13921 — decoding-time sealor 기법, prompt 하네스 비적용) · Deep Interaction(14049)·Post-Training Confidence(13753)·DVM-HALL(13998) — 방향 재확인/비실행.

arXiv 2607.13285 — Harness Handbook: 행동→코드 매핑(behavior localization)이 하네스 진화의 중심 병목

에이전트 하네스는 크고 강결합이며 행동이 코드 전반에 분산(behaviorally distributed)되어 있다 — 수정 요청은 "무엇을 해야 하는가"(행동)를 기술하는데 저장소는 파일/모듈로 조직되므로, 수정 전 행동→코드 위치를 매번 손으로 재발견해야 한다(코드 검색·인덱싱·롱컨텍스트로도 매핑 자체는 남음). 해법: 코드베이스에서 자동 합성되는 behavior-centric Handbook(정적 분석+LLM 구조화, 행동↔소스 링크) + 상위 행동에서 구현 세부로 내려가며 후보 위치를 현재 소스와 대조 검증하는 BGPD. 두 오픈소스 하네스 수정 요청에서 localization·edit-plan 품질 개선 + planner 토큰 절감 — 최대 이득은 분산 사이트·희귀 경로·크로스모듈(정확히 grep이 약한 곳). HF daily ▲157.

• 5축: 자동화 2 · 마찰제거 2 · HARD전환 1 · 토큰효율 2 · 측정가능 1 = 8/10 (novelty high, 예산 이내 110/120)
• 연계: artifact-relocation-consumer-alignment(이동 시 소비자 grep — 사후 버전)·trend-harvest-index(지식 인덱스)를 "하네스 행동 전체의 사전 매핑"으로 일반화 — 손 유지 매핑은 반드시 stale, 합성 자동화+신선도 검증이 전제

arXiv 2607.13918 — Verifier Cascades: 상관 verifier는 다항 수익 + blind-spot ceiling, 답은 decorrelation

직렬 k-verifier 게이트에서 per-instance false-accept rate를 latent α~G로 모델링(de Finetti) — (i) log-odds는 k에 concave: 독립 가정 Odds Law는 첫 게이트의 접선=상한이며 합성 테스트에서 실패율을 k=5에서 20배, k=10에서 ~3000배 과소평가 (ii) Beta latent면 실패는 지수가 아닌 다항 감소 (iii) 모든 verifier가 공유하는 맹점(α=1 atom)이 있으면 추출 가능 증거가 −ln(1−π) nats로 유한 — 게이트를 아무리 쌓아도 신뢰도가 1 아래서 포화. 처방: "실무 레버는 decorrelation(모델 패밀리·모달리티·증거 소스 변경)이지 게이트 추가가 아니다". 인스턴스당 2회 반복 판정만으로 verifier 상관 ρ_v 측정 가능. 동일 verifier 재호출 반복(고상관 캐스케이드)은 천장에 갇힌다 — 라운드 추가보다 lens/모달리티 교체.

• 5축: 자동화 0 · 마찰제거 2 · HARD전환 1 · 토큰효율 2 · 측정가능 2 = 7/10 (novelty med)
• 연계: co-failure-ceiling-multi-model(β-천장)의 직렬 verifier cascade 일반화 — evaluator-committee-bias-contagion("동일 rubric 복제 3개 무효")·cross-model-adversarial-review의 이론 근거

arXiv 2607.14004 — Do Agent Optimizers Compound?: 이득 복리는 회귀 제어 내장 시에만

에이전트 최적화 이득은 대부분 1회(one-shot) 벤치로 보고되지만, 배포 환경은 새 실패·새 태스크에 최적화를 재귀 적용한다 — 이득이 복리로 쌓이는가? Terminal-Bench 2.0 하드 태스크 2-phase continual 평가: 정적 1회 설정에선 GEPA·Meta Harness·RELAI-VCL 셋 다 baseline을 이기지만, 새 태스크 도착 후엔 갈라진다 — GEPA는 전이가 unoptimized baseline 이하로 침식(lifelong 66.0%), Meta Harness는 2회차 예산에서 정체(64.6%), 회귀 제어(이전 태스크 성능 보존)를 루프에 내장한 RELAI-VCL만 전 단계 top + 76.4%(baseline 58.7%). "이득은 regression control이 내장됐을 때만 복리" — 회귀 게이트가 shortcut 해에 대한 inductive bias로 작동.

• 5축: 자동화 1 · 마찰제거 2 · HARD전환 1 · 토큰효율 1 · 측정가능 2 = 7/10 (novelty med)
• 연계: harness-benefit-not-update(delta로만 keep)·recursive-self-improvement-loop(Curator 롤백)·harness-evolution-loop(재측정+rollback) 설계의 최초 continual 정량 실증 — 내 폐루프의 회귀 감지→rollback이 정확히 RELAI-VCL 구조

커버리지 노트 — HF 당일 미공개(400), 전일 20편에서 Handbook ▲157 포착, trending 대부분 기처리, 기각 9건

7소스군 전부 시도 — arXiv 60(키워드 필터 후 신규 후보 53) · HF 당일 API 400(미공개)+전일 20 · GitHub trending 전체/Python/TS 58(stitch-skills·hallmark·orca·OmniRoute·graphify·codex-plugin-cc 등 대부분 기처리; 신규 pi 71K⭐·cangjie-skill은 toolkit/콘텐츠증류로 기각) · 구루GH 7계정 105 · topic 40 · HN 40 · Anthropic eng 신규 0(containment 글 기적용) · X 미러 차단 지속. 기각 상세: TRACE(13988) RL credit·EMG(13884) 그래프 실패복구·SPyCE(13854) skill-policy RL 공진화·Self-Improve Survey(13104)·OAT(12747) failure attribution — 방향 재확인/모델 훈련 필요 비실행 · DeepStress(13920)·Early Adoption(14037) — low.

arXiv 2607.12986 — Win by Silence: 평가자가 '필요 단계 삭제'를 보상하는 omission 인센티브 + 결정론 게이트 처방

단계적 기댓값 채점기가 계획을 덜 명시적으로(필요 transition을 삭제) 만들수록 점수를 보상함을 해석적 항등식(Δ_k)으로 증명 — frozen 26-route 코호트에서 모든 route가 점수를 올리는 삭제를 ≥1개 보유, exploit 메커니즘을 모르는 score-seeking optimizer도 21/26에서 baseline-beating 은닉 구조를 찾았다. "일이 빠져서 점수가 오르면 개선이 아니라 평가가 omission 인센티브를 만든 것." 처방 GATE는 omission-splice route에 점수 릴리스를 거부(26/26, honest suspension 0/26)하여 47/54가 covered 구조로 repair, strict covered 개선 1/26→13/26 — 결정적으로 post-hoc 필터가 아니라 탐색을 조형하는 결정론 제약(search-shaping constraint)으로 작동. 단 임의 계획의 의미적 완전성·현실 품질은 검증 못 함(범위 한계 명시).

• 5축: 자동화 1 · 마찰제거 2 · HARD전환 2 · 토큰효율 1 · 측정가능 1 = 7/10 (novelty med, 자동배치 5→재평가 7)
• 연계: acceptance-criteria-completion(숨김/제거/no-op 금지)·requirements-lock-guard(삭제 exit 2)·execution-time-authorization-layer(우회 불가 구조적 게이트)의 정량 실증 — "게이트는 사후 검사가 아니라 루프 안 결정론 제약"이 보강점

arXiv 2607.12792 — Silent Alarm (JADR): 응답-judge 대신 pre-token 내부표현으로 안전 취약성 측정, 양자화별 재측정

LLM-as-judge로 생성된 응답만 채점하면 채점 절차에 민감하고 주어진 공격셋의 관측 행동만 볼 뿐 안전 메커니즘의 숨은 취약성은 못 본다. JADR은 첫 응답 토큰 생성 전 모델 내부표현(Jacobian space top-k)을 로컬로(외부 judge 없이) 측정해 SafetyAUC로 강/약 내부 안전 메커니즘을 통계적으로 분리 — 외부 judge를 안 쓰므로 서로 다른 모델뿐 아니라 단일 모델의 변형(양자화 INT8/INT4·파인튜닝)을 같은 기준으로 비교 가능. 6모델×BF16/INT8/INT4에서 양자화 레짐마다 취약성이 실질적으로 달라짐(행동 평가로는 비슷해 보여도). "방어 효과는 모델별 재측정"을 양자화 수준별 재측정으로 확장. 단 모델 내부 접근 필요(내 하네스 비실행, 원리 재확인).

• 5축: 자동화 1 · 마찰제거 1 · HARD전환 2 · 토큰효율 1 · 측정가능 2 = 7/10 (novelty med)
• 연계: multi-turn-adversarial-robustness(객관 신호 > LLM-judge, 모델별 재측정)·evaluator-committee-bias-contagion과 정합 — "양자화 수준별 재측정" + pre-token 내부표현 측정이 보강점

arXiv 2607.08317 — Blind-Spots-Bench: 포화 벤치마크 동률이 능력 격차를 은폐

문자열 조작·다리 5개 강아지 그리기처럼 인간엔 자명하나 현대 AI가 실패하는 blind spot을 노출하는 진단 벤치(235샘플, 구조화 정답 + 자동 채점, open/closed·언어/VL/이미지생성 광범위 평가). 핵심 실증: 기존 벤치마크에서 동등한 성능을 내는 모델들이 blind-spots-bench에서는 약 10% 격차(closed frontier ≫ open-weight)로 벌어지고, 모든 태스크를 지배하는 단일 모델은 없으며 일부는 전 모델이 실패. "포화 벤치 동률 ≠ 능력 동률" — 집계 점수 parity가 구체적 약점을 은폐한다는 정량 실증(178차 Illusion of Robustness의 per-example flip 은폐와 같은 결). 처방: 진단용 stress test로 사각지대 능동 노출. 단 다수 태스크가 멀티모달·이미지 도메인(코딩 하네스 직결은 부분).

• 5축: 자동화 1 · 마찰제거 1 · HARD전환 1 · 토큰효율 1 · 측정가능 2 = 6/10 (novelty med)

커버리지 노트 — arXiv firehose 저변동(07-15 178차 직후), HF 당일 0편, trending 대부분 기처리, 기각 5편

7소스군 전부 시도 — arXiv 50(신규 6, 대부분 도메인특화) · HF 당일 0편 + 전일 9편(Read It Back·Blind-Spots 등 기처리) · GitHub trending 20(hermes-agent 215K·CowAgent·nanobot·openclaude·learn-claude-code 등 기처리/기각, 신규 DeepSeek-Reasonix는 prefix-cache 안정성 재확인 low) · topic:ai-agent 20 · 구루GH · HN · X 미러 차단 지속. 178차(07-15) 직후라 arXiv 변동 작음 — removal-first 관점의 저수확 라운드(정직 보고). 기각 상세: MetaInfer(2607.12875) — LLM-as-Compiler 추론엔진 생성, 인프라 도메인 med-low · Principled RL Eval(07769) — deep-RL 이론·off-domain · ChartGenEval(12857)·Verifier RFT thermal(12856)·TerraZero(13028)·MCTS(13007) — 도메인 밖 · Search Beyond(05382)·MonkeyOCRv2·MuScriptor — 비전/음악 도메인 밖.

arXiv 2607.12963 — The Illusion of Robustness: 집계 정확도가 per-example 예측 플립을 은폐

task-무관 컨텍스트를 벤치마크 질문에 붙이면 집계 정확도는 거의 불변 — 그러나 per-example로는 악화·개선 양방향 플립이 상당수 발생해 상쇄되어 숨는다. 무의미 pseudo-word(랜덤 문자 조합)로도 플립이 생기고, 플립되는 example은 모델별로 상이하며, context 종류·길이·test-time compute·개발 단계에 따라 변조. 집계 점수의 안정 ≠ 신뢰성 — 하네스/프롬프트/모델 변경 전후 비교는 집계 delta만이 아니라 per-example flip rate로 회귀를 판정해야 한다.

• 5축: 자동화 1 · 마찰제거 1 · HARD전환 2 · 토큰효율 1 · 측정가능 2 = 7/10 (novelty med)
• 연계: eval-predictive-validity(집계 과신 금지)·reward-score-oversensitivity와 정합 — "양방향 플립의 집계 상쇄"라는 은폐 메커니즘 + flip rate 지표가 보강점

arXiv 2607.12962 — Form, Not Content? (PoPE): placebo 대조로 잰 self-repair의 에러 내용 기여 = mechanism-null

frozen 소형 코드모델(0.5-1.5B)의 error-conditioned self-repair를 사전등록 + channel별 placebo(스캐폴드 유지·task 관련 내용만 제거)로 측정 — prompt/weight 두 채널 모두에서 에러 "내용"의 기여가 mechanism-null(placebo가 동률/우세). 재시도 루프의 이득을 피드백 내용 덕으로 귀속하기 전에 placebo 대조가 필수라는 skill-placebo-null(159차 2607.07504)의 self-repair 확장. 단 소형 frozen 모델 한정, frontier 전이 미검증 — 동등성 입증이 아님을 논문 스스로 명시(정직한 한계 보고의 모범).

• 5축: 자동화 1 · 마찰제거 1 · HARD전환 2 · 토큰효율 1 · 측정가능 2 = 7/10 (novelty med)
• 연계: removal-first-skill-hygiene(placebo null)·harness-ablation-on-model-release(one-at-a-time ablation)와 정합 — channel별 placebo 구성법이 보강점

arXiv 2607.12835 — Can LLMs Write Reliable Rubrics? LLM 생성 rubric 최초 메타평가

paper 재현 평가용 LLM 생성 rubric을 체계적으로 메타평가 — 생성 rubric은 과세분화·고득점 편향·도메인 적응 부족. intrinsic(의미 유사도) 개선은 미미해도 augmented 설정의 extrinsic(정답 rubric과의 점수 정렬)은 인간 baseline에 근접. 어제(177차) 신설한 metric-skill-coevolution의 실무 각주: 지표를 진화 대상으로 삼을 때 rubric 품질 판정은 intrinsic이 아니라 extrinsic 정렬(downstream 판정 일치)로.

• 5축: 자동화 1 · 마찰제거 1 · HARD전환 1 · 토큰효율 1 · 측정가능 2 = 6/10 (novelty med)

커버리지 노트 — trending 19·HF 2·Anthropic eng 전원 기처리(dedup 정상), 기각 5편

7소스군 전부 시도 — arXiv 50(신규 8) · HF 2(Read It Back·Know Before Fix 기기각) · trending 19(orca·herdr·CubeSandbox·hallmark 등 기처리, OmniRoute·impeccable 기적용) · 구루GH 120 · topic 30 · HN 4 · Anthropic engineering 목록 재확인(how-we-contain-claude 기적용, 신규 글 0) · X 미러 차단 지속. 기각 상세: PalmClaw(2607.13027) — on-device 모바일 에이전트 프레임워크, device tool 경계 명시는 유효하나 데스크탑 하네스 범위 밖 · Resist and Update(12985) — activation-level CRC clamp는 모델 내부 접근 필요, 비실행 · KLLM(12831) — pretraining 개입으로 하네스에서 비실행(retrieval-grounded 방향만 재확인) · One-Word Census(12796) — 최신 flagship일수록 답변 conformity 상승(4배 편차), evaluator 다양성(committee-bias) 재확인 med-low · Neuroplastic HAI(12823) — 범위 밖.

arXiv 2607.12790 — Who Grades the Grader? 지표-스킬 co-evolution (Double Ratchet)

자가진화 루프(스킬 생성·개정·은퇴)는 전부 "신뢰할 평가 지표가 이미 존재한다"는 숨은 가정 위에 있다 — 지표가 없는 도메인에서 스킬만 진화시키면 약한 지표에 Goodhart 고착. 해법: 지표를 1급 진화 대상으로 — 불투명 단일 judge 대신 작은 결함 탐지기(drawback detector) 조합(투명·검사가능), 소수 앵커 참조 세트로 학습, 무라벨 출력 합의로 정규화, 지표가 절대 읽지 않는 held-out anchor로 감사. MBPP+·Spider 2.x에서 "정확한 지표가 가능케 했을" 성능 회복 실증.

• 5축: 자동화 2 · 마찰제거 2 · HARD전환 1 · 토큰효율 0 · 측정가능 2 = 7/10 (novelty high)
• 연계: judge-as-optimizer-hardening(train/eval 분리)·skillopt-minimal-self-evolution(독립 검증 게이트)·blind-curator와 정합 — "지표 부재 도메인에서 지표를 진화 대상으로 + held-out 앵커 감사"가 신규

arXiv 2607.12885 — LLM Judges Can Be Too Generous When There Is No Reference Answer

no-reference judge는 오답을 체계적으로 과신용(over-credit) — 프롬프트에 reference answer를 넣으면 correct/incorrect 판정이 최대 85% 뒤집힘(3개 언어, 인간 대조 포함). judge-as-optimizer-hardening의 "reference 없는 '좋아 보임' 판정은 clean-but-wrong을 보상" 원칙의 최초 정량 실증 — 중요 판정 judge에는 앵커/참조답 공급이 기본값이어야 한다.

• 5축: 자동화 1 · 마찰제거 2 · HARD전환 1 · 토큰효율 0 · 측정가능 2 = 6/10 (novelty med)

arXiv 2607.13034 — Do AI Agents Know When a Task Is Simple? (E3: Estimate→Execute→Expand)

에이전트는 maximum-context-first 전략(이미 본 파일 재독·의존성 전수 재탐색)으로 한 줄 수정을 코드베이스 감사로 만든다. E3: 실행 스코프 추정 → 최소 경로 실행 → 검증 실패 시에만 확장 — MSE-Bench 121편집에서 최강 baseline 동급 정확도로 중복 탐색(ACRR) 절감. risk-weighted-verification-budget(검증 노력 배분)의 쌍대: 실행 스코프도 복잡도에 비례해 배분한다.

• 5축: 자동화 1 · 마찰제거 1 · HARD전환 1 · 토큰효율 2 · 측정가능 2 = 7/10 (novelty med)

커버리지 노트 — trending 16 전원 기처리(dedup 정상 차단), 기각 4편: Win by Silence·MemOps·ACQUIRE·SpectraReward

7소스군 전부 시도 — arXiv 50(신규 45) · HF 2 · trending 16(orca ×3·herdr ×3·meetily ×3 기기각, OmniRoute 기적용) · 구루GH 105 · topic 40 · HN 14(신규 3) · X 미러 차단 지속. 기각 상세: Win by Silence(2607.12986) — plan 평가기가 생략(암묵화)을 보상하는 non-monotonicity를 해석적으로 증명, 커버리지 게이트가 26/26 점수 발급 거부로 수리 유도(acceptance-criteria anti-Goodhart 재확인, med-low) · MemOps(2607.12893) — 메모리 실패를 black-box QA로 뭉뚱그리지 말고 lifecycle 연산(기억·망각·갱신·반영)별 평가(intrinsic-eval 재확인) · ACQUIRE(2607.11111) — fix-driven 탐색 대신 지식 갭 식별 선행(finding-your-unknowns 재확인) · SpectraReward(2607.11886) — T2I 도메인 특화로 범위 밖.

lsdefine/GenericAgent (13.4K⭐) — 3.3K줄 씨앗에서 스킬 트리를 자기증식시켜 전체 시스템 제어에 도달하는 자기진화 에이전트

이번 회차 최고점 신규 후보. minimal-bash-agent-harness("Bash 3.3K줄")와 self-referential-evolutionary-improvement의 재확인일 뿐 새 행동 변화 없음. 오히려 "스킬 트리 무한 증식"은 removal-first-skill-hygiene("스킬 표면=slop 축적면")·skill-provenance-placebo-null(생성 스킬 7,560런 무개선 실증)과 방향이 상충 — 채택 대상이 아님.

• 5축: 자동화 2 · 마찰제거 1 · HARD전환 0 · 토큰효율 0 · 측정가능 1 = 4/10 (novelty low)

letta-ai/letta (23.8K⭐) — 고급 메모리로 학습·자기개선하는 stateful 에이전트 플랫폼(구 MemGPT)

메모리 블록 아키텍처 재확인. agent-memory-hygiene(생명주기)·bounded-constant-memory-injection(카테고리별 캡)·cross-agent-memory-persistence(Markdown=truth/Vector=cache)·ephemeral-state-not-knowledge(휘발성 제외)를 이미 보유 — 새 행동 변화 없음. memory-bank 플러그인이 동일 역할 수행 중.

• 5축: 자동화 2 · 마찰제거 1 · HARD전환 0 · 토큰효율 1 · 측정가능 1 = 5/10 (novelty low)

커버리지 노트 — 새벽 launchd 런(175차)과 같은 날 2회차: 오늘 강신호는 6h 전 런이 이미 처리, arXiv firehose 로테이션으로 신규 36건 유입됐으나 전원 도메인 논문·5축 미달

7소스군 전부 시도 — trending 24 재조회(omnigent·EvoMap·harness-sdk·ponytail 기기각, loop-engineering·guard-skills 기적용) · arXiv 40(신규 36) · HF 1편 · HN·구루GH·topic 재조회 · X 미러 차단 지속. 기각 상세: Metacognition in LLMs 서베이(2607.11881 — agentic-abstention 재확인) · Unfair Judge(2607.11871, 직전 런 기기각 — judge 편향의 활성화-기하 규명이지만 API judge엔 hidden state 접근 불가로 운용 불가) · MM-ToolSandBox(2607.11818 기기각) · DeepCode 16K⭐(Paper2Code 제품, 하네스 원리 없음). dedup이 당일 재실행에서 정본 차단을 정상 수행함을 실증한 회차.

Anthropic Labs — Harness design for long-running application development (2026-03-24): GAN식 planner→generator→evaluator 하네스 + 모델 릴리즈마다 컴포넌트 ablation anthropics

핵심은 "하네스 컴포넌트 = 모델 한계 가정의 인코딩" — 릴리즈마다 one-at-a-time ablation으로 load-bearing 재검증(동시 제거는 판별 불가). evaluator는 태스크가 모델 solo 신뢰 경계 밖일 때만 가치(moving boundary): Opus 4.6에서 sprint 분해 제거·evaluator를 end-of-run으로 옮겨도 display-only clip 등 실결함 검출(잔존 가치 실증). 정량: solo $9/20분=깨진 런타임 vs 풀 하네스 $200/6h=16기능 완동작. 평가 기준 문구 자체가 출력을 조형("museum quality" 구절이 시각 수렴 유발) — rubric 문구도 최적화 표면.

• 분석: generator/evaluator 분리=user-proxy·cross-model-review, sprint contract=test-first-agent-tasks와 기존 정합 — 신규 코어는 "ablation 트리거=모델 릴리즈, 방법=one-at-a-time, 판정 기준=solo 능력 경계". semantic dedup overlap 0으로 rule 신설.
• 5축: 자동화 2 · 마찰제거 2 · HARD전환 1 · 토큰효율 1 · 측정가능 2 = 8/10 (novelty high)

When Local Monitors Miss Compositional Harm (arXiv 2607.11751) — 분할 백도어는 per-step 로컬 모니터를 원리적으로 우회: 관측 경계(observability boundary) 정리 + decoded-view gate

유해 payload를 에이전트들에 분할하면 모든 로컬 검사가 통과하면서 조립된 결과물이 공격이 된다. 형식 증명: 조각들이 모니터 view에서 benign해 보이는 순간 그 view 위의 어떤 detector도 못 잡는다(local benignness). decoded-view gate(조립-후 관점)는 테스트 전 공격 차단 — "더 많이 보기"가 아니라 "조립된 객체를 보기". per-tool-call 정규식 훅의 "수학적 차단 불가" 경험 문서화의 형식적 일반화 — 강제 게이트는 조각이 아니라 조립/실행 지점에, 멀티에이전트 병합·push 지점에 전체-객체 검증.

• 5축: 자동화 1 · 마찰제거 2 · HARD전환 2 · 토큰효율 0 · 측정가능 1 = 6/10 (novelty high)

Agent Hacks Agent: Autoresearch for Production-Agent Red-Teaming (arXiv 2607.11698) — Claude Code·Codex를 falsifiable 발견 루프로 레드티밍, 취약점 개념 그래프(VCG)로 지식 영속화

공격 아티팩트를 성공 payload가 아니라 claim·enabling condition·falsifier·transfer 예측·증거로 기록 — frozen VCG가 추가 탐색 없이 최강 discovery baseline 대비 +14.2pp, 모델·에이전트 간 전이. autoresearch 루프로 취약점 "지식"을 재사용 자산화 — skill-evolution-persistent-decision-history(결정 이력 영속화)의 보안 도메인 정량 실증. "어디서 성공했나"가 아니라 "무엇이 가능하게 했나"를 기록.

• 5축: 자동화 2 · 마찰제거 1 · HARD전환 1 · 토큰효율 1 · 측정가능 2 = 7/10 (novelty med)

커버리지 노트 — 7/7 소스군 시도: trending 19 재조회(신규 2) · 구루GH 8계정 신규 push 50 · topic 60 재조회 · arXiv 50(신규 6) · HF 0편(빈 날) · HN 18 재조회 · 피드 simonw 20+anthropic(신규 2) · X 미러 차단 지속(rsshub→404 redirect 확인)

기각 주요: Unfair Judge(2607.11871 — judge 편향을 활성화 기하로 규명·linear probe가 미지 벤치 failure 예측, API judge엔 hidden state 접근 불가로 운용 불가 3/10) · MM-ToolSandBox(2607.11818 — 시각 도구호출 실패의 53%가 계획이 아니라 이미지 정보 추출 오류 = qa-screenshot-required 재확인 5/10) · Latent Programming Horizons(2607.05188, HN 52pt — 코딩 에이전트 hidden state가 미래 편집 결과를 ~25스텝 선행 인코딩 AUC 0.83, probe 운용 불가) · hallmark 5.8K⭐(impeccable 패밀리 중복) · background-agents(네이티브 기능 중복) · shot-scraper 1.11(마이너 릴리즈) · trending 상위 대부분 기적용/기기각 재조회(orca·herdr·OmniRoute·CubeSandbox·codex-plugin-cc).

anthropics/defending-code-reference-harness (★6.4K, 07월 공개) — 자율 취약점 발견·수정 공식 레퍼런스 하네스: recon → find → verify → report → patch 파이프라인 + 인터랙티브 스킬 6종(/quickstart /threat-model /vuln-scan /triage /patch /customize) anthropics

핵심은 실행티어 이원화 — read/write-only 인터랙티브 스킬은 무샌드박스 허용, 대상 코드를 실행하는 자율 파이프라인은 gVisor 샌드박스 밖 실행을 스스로 거부(fail-closed, 명시 override만 예외) + 에이전트별 egress allowlist. "스킬이 자기 side-effect 클래스를 선언하고 코드-실행 티어는 구조적으로 거부"가 execution-time-authorization-layer 4속성(프로세스 분리·fail-closed)의 공식 프로덕션 구현. 램프업 철학도 명시: 완벽한 파이프라인 설계에 수개월 쓰지 말고 Day 1 스몰 스타트 — 인터랙티브 스킬로 전체 루프를 하루에 end-to-end 경험 후 커스터마이즈.

• 분석: multi-stage verification으로 FP 감소(proof-by-exploitation-qa 정합) · CLAUDE_CODE_SUBAGENT_MODEL 핀 문서화. containment-blast-radius·os-level-syscall-sandbox 클러스터의 실증이라 novelty med — 신규 rule 대신 근거 보강.
• 5축: 자동화 2 · 마찰제거 1 · HARD전환 2(샌드박스 감지 실패 시 실행 거부 = exit code) · 토큰효율 0 · 측정가능 1 = 6/10 (novelty med)

Why Memorized Knowledge Fails to Generalize (arXiv 2607.08393, HF daily) — fine-tune으로 주입한 지식이 암기는 되는데 downstream 추론에 못 쓰이는 Knowing–Using Gap을 self-patching 개입으로 기전 규명

암기된 표현은 내부에 존재하지만 계산-유효 레이어로 라우팅되지 않는다(knowledge-circuit misalignment) — 정확도 갭 + 암기→활용 시간 지연으로 정식화, self-patching으로 표현 위치를 특정해 실증. retrieval-grounded-exact-recall("정확한 사실은 파라미터 기억이 아니라 검색에서")의 기전 층 완성: "기억은 있는데 못 쓴다"가 우연이 아니라 구조적 한계. 121차 4-arm 실증(train/retrieve 역할 분리)의 메커니즘 근거.

• 5축: 자동화 1 · 마찰제거 2(오인용 차단 근거) · HARD전환 1 · 토큰효율 1 · 측정가능 2(self-patching 위치 특정) = 7/10 (novelty med)

커버리지 노트 — 6/7 소스군: trending 16 재조회(신규 1), 구루GH 8계정 신규 push 44, 토픽 40 재조회, HF 07-13 14편+07-14 1편 중 신규 5, arXiv 60 중 신규 8, HN 신규 10, X 미러 차단 지속

기각 주요: systima 33k 토큰 글 재재등장(HN 681p — URL 변형이 seen 인덱스를 비껴갔으나 semantic dedup이 173차 harness-token-overhead-audit 중복으로 적용 차단, 멱등 확인) · Terence Tao 코딩 에이전트 에세이(443p — Java 1.0 애플릿 24종 수시간 포팅, "시각 보조도구라 다운사이드 낮음" = risk-weighted-verification-budget 재확인, low) · pbakaus/impeccable 트렌딩 46K⭐(이미 이 하네스에 플러그인 통합됨) · Shared Selective Persistent Memory(2607.09493 — 4카테고리 선별 영속화+RBAC 공유, ephemeral-state-not-knowledge 클러스터 중복 과다 5/10) · AutoWorldBuilder(2607.09403 — 90% 컨텍스트 압축, context-compression-pipeline 중복). 행동지표(conf 5×1000+replay 1000) 6000→6000 무회귀.

systima 벤치 재부상 (HN 666p — 171차 271p 노트 시점 대비 2.5×) — Claude Code가 프롬프트 도달 전 ~33k tok 선행 전송(OpenCode ~7k, 4.7×). API 경계 로깅 프록시로 273 레코드 SHA-256 해시체인 감사, "보낸 것"(payload)과 "과금된 것"(usage) 동시 계측

무음 실패 2종이 실질 각 — Claude Code 2.1.207이 AGENTS.md를 조용히 무시(지시파일 honored 검증 없이는 무음 미적용), print 모드는 --mcp-config 없이 프로젝트 .mcp.json 미부착. 서브에이전트 fan-out이 최대 증폭기(직접 121k tok 태스크가 2 fan-out 시 513k, 4.2×), 캐시 할인은 컨텍스트 윈도우 소비엔 무효(85k 부트스트랩 = 200k 창의 40%+ 매 요청). 품질 동일(양쪽 5/5 PASS)한데 입력 토큰 3.7× — 부트스트랩 오버헤드는 품질이 아니라 순수 비용.

• 분석: 171차에서 note(med)로 선판정했으나 seen 인덱스 미기록으로 재등장 — med 라우팅("knowledge만")에 따라 이번에 영속화. honored/attach 검증·fan-out 비용비 감사는 어디에도 영속 기록이 없었다(171차는 카드 노트만, Applied 0). token-efficiency-tracking(가변 입력)·context-compression-pipeline(입력 압축)과 직교하는 고정 부트스트랩 축.
• 5축: 자동화 1 · 마찰제거 2 · HARD전환 2(프록시 실측·honored 마커 검사) · 토큰효율 2 · 측정가능 2 = 9/10 (novelty med — 171차 선판정 유지, knowledge 영속화)

activegraph-longmemeval (Yohei, 07-10 push) — ActiveGraph 메모리 7종 변형을 LongMemEval-S 500문항에서 frozen eval boundary(리더 claude-sonnet-4-5 temp0 · 저지 gpt-4o 핀 · 공식 채점코드 서브모듈 핀)로 비교하는 재현 가능 벤치 하네스. "논문의 모든 숫자는 clean clone + 명령 1개로 재생성" yoheinakajima

3중 신호 — ① 스모크 낙관: 50문항 0.94~0.98이 풀 500문항에서 0.83~0.88로 하락(낙폭은 multi-session·preference 집중) ② retrieval은 더는 병목이 아님: gold-turn recall 89.15%인데 리더가 gold 증거를 보고도 55문항 실패 — 실패가 retrieval→reading으로 이동 ③ proof 완결 ≠ 정답(구조적 증거 커버리지로 재정의). eval-predictive-validity(집계점수 과신 금지)·intrinsic-eval-disentangles(실패 위치 분리)의 정량 실증이자 memory-bank 평가에 직접 이식 가능한 프로토콜.

커버리지 노트 — 6/7 소스군: trending 17 중 신규 9, 구루GH 7계정 105+starred 15(신규는 대부분 구repo 첫 스캔), 토픽 34 중 신규 22, HF 07-14 미발행→07-13 14편 신규 1, arXiv 50 중 신규 33, HN 신규 2, X 미러 차단 지속

기각 주요: NRFR 지표(arXiv 2607.09492 — proxy reward 개선 코호트 중 실패율 측정, anti-Goodhart 정량 각이나 RL 훈련 도메인, med 노트) · ProofCouncil(2607.09474 author-critic — llm-council 중복) · gh-aw(GitHub 공식 에이전틱 워크플로우: 기본 read-only + sanitized safe-outputs만 쓰기 = brokered-mutation-authority 공식 재확인, README에 에이전트 대상 injection 블록 실존 — agent-skill-security-scanning 실증) · openai/codex-plugin-cc 28K⭐(Claude Code→Codex 호출 공식 플러그인 — cross-model-adversarial-review 벤더 공식화) · hookatlas(Yohei, 심리 engagement atlas — 오프토픽). 파이프라인 사건: 171차 note 항목이 seen 미기록으로 재등장 → 이번 런부터 검토 후보 전건(124) seen 기록으로 재발 차단. 행동지표(conf 5×1000+replay 1000) 6000→6000 무회귀.

Failure as a Process (arXiv 2607.09510) — CLI 코딩 에이전트 실패 궤적 최초 대규모 실증: 7개 frontier 모델 × 3 scaffold(OpenHands/MiniSWE/Terminus2) × Terminal-Bench에서 3,843궤적 수집, 유효 1,794건·63,000+스텝 수동 주석으로 14 findings — 실패를 최종 결과가 아니라 onset→evolution→recovery의 시간적 과정으로 해부

실패는 epistemic error(환경 상태에 대한 잘못된 믿음)가 지배적 원인 — 도구 실수보다 "상태를 잘못 알고 있음"이 근본. 첫 몇 실행 스텝 안에 시작되고 회복 불능 시점까지 겉으로 드러나지 않는다(hidden until unrecoverable) — doomed-episode-early-abort가 실측한 "행동 관측 조기 doom 판정은 chance 수준"의 이유를 메커니즘으로 설명. 결론: 신뢰성은 최종 결과 평가가 아니라 조기 검증·개입에서 온다.

• 분석: doomed-episode-early-abort(2607.06503, hidden-activation probe로 1라운드 예측)의 수동 주석 독립 재확인 — probe(내부 표현)와 주석(과정 해부)이 같은 결론으로 수렴. epistemic error 지배는 explicit-state-ledger-tool-calls(상태를 명시 원장으로, 도구 호출을 현재 상태로 검증)의 독립 실증.
• 5축: 자동화 1 · 마찰제거 2 · HARD전환 1 · 토큰효율 1 · 측정가능 2 = 7/10 (novelty med — 기존 rule 메커니즘·실증 보강, 신규 rule 금지 라우팅)

Long-Horizon-Terminal-Bench (arXiv 2607.08964, HF ▲30) — 장기 터미널 태스크 46종(실험 재현·SW엔지니어링·멀티모달 분석·인터랙티브 게임·과학계산 등 9범주)을 세분 graded subtask로 분해해 밀집 중간 보상 + 부분 점수(partial credit)로 채점

기존 터미널 벤치는 분 단위 단순 과제 + 최종 결과만 보는 binary 채점 → sparse reward라 중간 진전·부분 해결이 안 보인다. subtask 분해 채점은 "어디까지 갔는가"를 계량 — binary-question-decomposed-evaluation(원자 단위 분해 평가)을 judge 평가에서 장기 에이전트 태스크 채점으로 확장한 독립 실증이자, qa-evidence-format의 severity별 카운트·acceptance_verified[] 원자 항목과 동형.

• 5축: 자동화 1 · 마찰제거 1 · HARD전환 2(subtask별 exit code 채점) · 토큰효율 1 · 측정가능 2 = 7/10 (novelty med — 원칙 재확인 + 적용 도메인 확장)

커버리지 노트 — 6/7 소스군: HF 07-13 13편 발행(주말 07-11/12 미발행), arXiv 50 중 신규 8, GitHub trending 21·언어별 38 대부분 기판정, 구루GH 8계정 신규 push 없음, HN 신규 0, X 미러 차단 지속

기각 5: Vocabulary/Verifier Gaps(3/10 position paper) · TrustX ARC 12차원 리스크 티어링(5/10, risk-weighted-verification-budget 중복) · Agora 경매식 태스크 라우팅(5/10, model-routing 클러스터 중복) · Mosaic 임바디드 ILP 계획(5/10 도메인 밖) · Self-Guided Test-Time Training(3/10 ML 기법). 노트 1: Shared Selective Persistent Memory(arXiv 2607.09493, 5축 8/10이나 novelty low — 4범주 선별 보존 + RBAC 공유 워크스페이스는 memory-bank-cloud 스코프 공유·ephemeral-state-not-knowledge가 기구현). GitHub 신규 microsoft/flint-chart(에이전트용 차트 DSL, +1,061/주)는 agent-ergonomic-tool-interface 재확인이라 기각. 행동지표(conf 5×1000+replay 1000) 6000→6000 무회귀, knowledge 정본 cc-sync 667a668 커밋.

Defending Code Reference Harness (Anthropic, 07-12) — 자율 취약점 발견·수정 참조 하네스: recon→find→verify→report→patch 파이프라인을 스킬 5종(/threat-model·/vuln-scan·/triage·/patch·/customize)으로 매개. 읽기/쓰기 스킬은 무샌드박스 승인형으로 안전하나, 타깃 코드를 실제 실행하는 자율 파이프라인은 gVisor 밖 실행을 거부(명시 override만)하고 에이전트마다 egress allowlist로 격리 anthropics

핵심은 권한-티어 게이팅 + proof-by-exploitation. 정적 스캔·트리아지는 read/write-only라 무샌드박스 승인형, exploit을 실제 실행하는 단계만 gVisor 하드 격리. ASAN 크래시=검증된 취약점(다단 verify로 false-positive 감소), subagent 모델 핀(CLAUDE_CODE_SUBAGENT_MODEL). Day1 정적스캔+트리아지 → Week2 자율 스캔/패치의 점진 신뢰 램프. 제품 아닌 레퍼런스 — 언어·탐지기·취약클래스는 /customize로 포팅.

• 분석: proof-by-exploitation-security(no exploit no report)·containment-blast-radius-engineering(환경 경계가 방어)·risk-weighted-verification-budget(위험도 비례)·skill-mediated-over-screen-execution(스킬 매개 CLI)·loop-engineering-trust-ladder(L1→L3 신뢰 램프)·execution-time-authorization-layer(실행 직전 격리 강제)의 공식 통합 실증. 신규 각은 read/write=무샌드박스 vs execute=gVisor 거부의 명시 이분 게이트.
• 미적용 이유: 코어 패턴(exploit 검증·per-agent 격리·권한 티어·신뢰 램프·스킬 매개)이 전부 기보유 클러스터와 중복 → novelty med, 신규 행동변화 없음. novelty 라우팅상 신규 rule 금지, 보안 하네스 클러스터 근거 보강만.
• 5축: 자동화 1 · 마찰제거 1 · HARD전환 1 · 토큰효율 0 · 측정가능 1 = 4/10 (med novelty → knowledge/기존 rule 보강, auto-apply 미달)

systima 벤치 (HN 271p) — Claude Code가 프롬프트 도달 전 ~33k 토큰 선행 전송(OpenCode ~7k, 4.7×). API 경계 로깅 프록시(~200줄 Node)로 "보낸 것"(요청 payload)과 "과금된 것"(usage)을 동시 계측

툴 스키마가 지배항 — 27개 툴 99,778자 ≈ 24k토큰이 33k의 대부분. 72KB AGENTS.md/CLAUDE.md=요청당 +20k, MCP 서버당 ~1~1.4k. 최대 배수는 서브에이전트: 121k 태스크가 2개 팬아웃 시 513k(4.2×) — 각 서브 부트스트랩 + 부모가 서브 트랜스크립트 재수집. 캐시는 비용은 줄여도 컨텍스트 점유는 못 줄인다(85k 부트스트랩=200k 창의 40%를 매 요청 점유). 교훈: 경계에서 계측·안 쓰는 툴 비활성·명령파일/MCP 감사·위임 신중. "하네스가 바닥을 정하고 설정이 청구서를 정한다".

커버리지 노트 — 6/7 소스군 시도, 07-13 첫 런이나 라이브 전량 dedup: 어제 166~170차(하루 4런)가 arXiv 2607.087xx 배치를 전부 소비. HF 07-13 미발행(최신 07-10, 하네스 논문 전원 기판정), 구루GH activegraph-packs/memory 생태계 증분·hookatlas는 심리 engagement atlas(하네스 아님)

coverage 6/7: GitHub trending/topic(career-ops·cherry-studio 등 제품앱 저신호) · 구루GH anthropics(defending-harness 발견)·yohei(activegraph 증분·hookatlas 오프토픽)·karpathy(nanochat 등 기존)·simonw · arXiv 40 전원 기판정(2607.087xx) · HF 07-10 23편 중 하네스 3(Ideas-Genomes·UniClawBench·Remember-When) 전원 기판정 · HN 신규 3(systima 271p 노트·terrytao 375p 경험담·mindwalk 141p 세션리플레이 저관련). X 미러(nitter/rsshub) 차단 지속 1/7 실패. harness-evolution 최근 gaps=[] 안정 → 갭 부스트 미적용. dedup이 라이브 신호 전량 차단 — no-op은 removal-first(절제가 제품)의 정상 종료이며 전 소스 수집 성공 + clean 완주 조건 충족. 행동지표(conf 5×1000+replay 1000) 6000→6000 무회귀.

Claude Code Auto Mode (Anthropic Engineering, 03-25) — 승인 피로(권한 프롬프트 93% 무비판 승인)를 대체하는 model 기반 권한 판정: 입력층 prompt-injection probe + 출력층 transcript 분류기가 실행 직전 각 행동을 대리 승인. 판정자는 에이전트의 산문·도구결과를 제거한 "추론-블라인드"로 동작해, 에이전트가 가드를 설득하지 못하고 구조적 injection 방어까지 겸한다 anthropics

위험 등급별 게이팅(읽기전용/인프로젝트 편집=무판정, 나머지=분류기), 2단계 분류기(단일토큰 고recall 8.5% FPR → CoT 정밀 0.4% FPR, 2단계는 거의 캐시-히트로 저비용), 영향-우선 평가(&& 체인=1행동, write-then-exec=실효 판정), deny-and-continue(차단=중단이 아니라 안전경로로 유도하는 tool result) + 에스컬레이션 백스톱(3연속/20총 초과 시 사람에게, headless는 종료). 정직한 한계: 실제 과행동 오탐지율(FN) 17% — 고위험 인프라의 수동 리뷰 대체 불가.

• 분석: risk-weighted-verification-budget(위험도 비례 검증)의 공식·정량 실증 + execution-time-authorization-layer(주소공간 안 제어는 escapable→프로세스 분리 판정)의 구현. 신규 각(角)은 "추론-블라인드 판정자" — blind-validation-layer의 "보안 리뷰는 전체 컨텍스트 필요" 예외와 정면 긴장: 에이전트 산문을 오히려 *제거*해야 설득·injection을 막는다는 반대 처방
• 미적용 이유: 03-25 발행 백필이라 신규 행동변화 아님. 코어 패턴(등급 게이팅·2단계 분류·deny-and-continue+캡)은 risk-weighted-verification·error-recovery(로테이션+캡)·agentic-abstention(멈춤은 외부 게이트) 기보유와 med 중복 → novelty 라우팅상 신규 rule 금지, 클러스터 근거 보강만
• 5축: 자동화 1 · 마찰제거 1 · HARD전환 1 · 토큰효율 1 · 측정가능 1 = 5/10 (med novelty → knowledge/기존 rule 보강, auto-apply 미달)

커버리지 노트 — 6/7 소스군 시도, 당일 4회째 런이라 잔여 신규 얇음: 00:00·06:00·오후(167·168·169차)가 오늘 트렌딩·arXiv·HN·구루GH를 이미 소비. HN 신규 2건(모델 4앱 벤치·Context.dev 스크레이핑 API)은 저관련 거부

coverage 6/7: GitHub trending 21(전원 dedup) · 구루GH anthropics·yohei(activegraph 생태계)·karpathy(nanochat 등 기존)·simonw(당일 재난 스크레이퍼 다수, 하네스 신호 무) · topic 검색 · arXiv 50→키워드 15(전원 기판정: 14 reject·2607.08716 Remember-When applied) · HF 07-12 일요일 0편. X 미러(nitter/rsshub) 차단 지속으로 1/7 실패. harness-evolution 최근 라운드 gaps=[] 안정 → 갭 부스트 미적용. dedup 인덱스가 라이브 신호를 전량 차단해 이중 적용 방지 — no-op은 removal-first(절제가 제품)의 정상 종료이며, 전 소스 수집 성공 + clean 완주 조건 충족. 행동지표(conf 5×1000+replay 1000) 6000→6000 무회귀.

순수 신규 3건 전원 거부 — openai/softnet(Tart VM용 유저스페이스 패킷필터: ARP 스푸핑 차단·DHCP 리스 단축)·charmbracelet/vhs(★20.3k CLI 녹화-as-code)·bambamramfan/ai-compass(무관)

softnet은 4/10 — VM 네트워크 격리는 containment-blast-radius·microvm-agent-sandbox 계열 기보유 + Tart VM 플릿 미운용으로 내 하네스 무관련. vhs는 novelty=low — 150차 agent-video-evidence 메모가 이미 vhs(★20,260, simonw starred)를 "tape 스크립트=재현 명령" 원칙까지 인용 완료, 재확인만. ai-compass는 Political Compass for AI(14⭐)로 도메인 무관.

커버리지 노트 — 7개 소스군 전부 시도했으나 당일 3회째 런이라 잔여 신규가 얇음: 00:00(167차)·06:00(168차)이 defending-code-reference-harness·databricks 벤치마크·activegraph-terminalbench를 이미 적용 완료

coverage 7/7 시도: trending 19 · 구루GH 7프로필 105+starred 30 · topic 4쿼리 38 · arXiv 50(50/50 기판정 — 00:00 런이 동일 윈도우 소비) · HF 07-12 일요일 0편 · HN 13(databricks·making-of-claude-code 포함 전원 기판정) · anthropic engineering 신규 글 없음. harness-evolution 최근 3라운드 gaps=[] 안정으로 갭 부스트 미적용. no-op은 removal-first 원칙의 정상 종료 — 검사 완주 + clean이 조건이며 이번 run은 전 소스 수집 성공으로 충족. 행동지표(conf 5×1000+replay 1000) 6000→6000 무회귀.

A-EVO-Lab/a-evolve (arXiv 2602.00359) — "PyTorch for Agentic AI": 임의 에이전트를 임의 진화 알고리즘으로 벤치마크-게이트 진화시키는 범용 인프라. base Opus-4.6 + 수동 하네스 엔지니어링 0시간 → SWE-bench Verified 76.8% · MCP-Atlas 79.4%(#1, +3.4pp)

"측정된 delta로만 keep"(harness-benefit-not-update)이 인프라 규모에서 SOTA를 낸다는 독립 정량 실증. med novelty(기존 진화 루프 원칙의 강한 보강)라 novelty 라우팅에 따라 신규 rule 대신 기존 knowledge에 근거 1줄 append.

저득점/중복 거부 — 신규 12건 중 10건이 기존 원칙 중복: Raven(★1.4k memory-first self-improving harness)·sutando(AutoGen 저자, 주간 realtime/야간 self-rewrite — 야간 루프 기보유 확인)·CowAgent(★46k)·EvoMap/evolver(GEP 기적용)·Ataraxy/sem(semantic-diff 기보유)·Understand-Anything(★73k 코드→지식그래프)

Agent-Skills-for-Context-Engineering(★17k)은 기존 context rules 다수와 중복 + skill-provenance-placebo-null(스킬 모음 무효과 실증) 근거로 거부 — 단 이 repo를 인용한 "Agent Harness Engineering: A Survey"(CMU·Yale·JHU·Amazon 2026)는 후속 수확 후보. simonw "Rewriting Bun in Rust"는 language-independent-conformance-suite 기적용 재확인. autoresearch 스킬 재배포 2건(★5.3k/★2k)은 자체 시스템 기보유로 거부.

커버리지 노트 — 7개 소스군 전부 시도: trending 61 · 구루GH 120+40 · topic 50 · HF 23(07-12는 API가 date≤07-11 거부 — 미래날짜 가드 확인) · arXiv 50 · HN 13 · feed 65. X 미러는 nitter 200/0B·rsshub 302로 차단 지속

00:00 launchd 167차가 오늘 트렌딩·arXiv·HN을 이미 소비해, 같은 날 2회째 런의 신규 신호는 구루GH 직스캔에서 나옴 — anthropics org 최근 push 스캔이 defending-code-reference-harness(★6.4k)를 포착. dedup 인덱스가 기판정 재분석 0건으로 차단(이중 적용 방지), 행동지표 6000→6000 무회귀.

kageroumado/adrafinil (HN 124pt) — lid 닫힌 Mac을 "에이전트가 일하는 동안만" 깨워두는 hook 기반 scoped wake-lock. caffeinate/Amphetamine의 always-on과 반대: turn start/end hook이 assertion 획득/해제, 마지막 세션이 끝나는 순간 정상 sleep 복귀

에이전트가 MCP tool/CLI로 응답 이후까지 hold 연장 가능(긴 빌드·배포), root 권한은 setSleepBlocked(Bool)만 노출하는 격리 helper(최소권한 실례). 야간 launchd 수확·장시간 세션을 노트북에서 돌리는 내 환경에 직접 유효하나 score 6(토큰효율 0)으로 auto-apply 미달 — "리소스 hold는 작업 수명에 스코프"는 orphan-process-hygiene 동족 패턴이라 회차 노트로만.

저득점/중복 거부 — 일요일 트렌딩 상위 21개 중 기판정 19개(herdr·orca·caveman·CubeSandbox 재부상 전원 dedup 차단), 진짜 신규는 pentagi·RuView 2건뿐

거부: pentagi(자율 펜테스팅 — proof-by-exploitation 계열 기존 흡수) · RuView(WiFi 공간 인텔리전스 — 무관) · anthropics/claude-plugins-community(커뮤니티 마켓 보안스캔+내부 리뷰 파이프라인 — skill-audit-pipeline 재확인, novelty low) · activegraph-packs(Core/layered pack 계층 — event-sourced-reactive-graph-runtime 보강 수준) · openai/skills(cross-cli-skill-portability 기존) · HN 신규 5건(MRI 사용담·AskUserQuestion 버그·MCP Cloud·비용 관찰·Ask 스레드). arXiv 일요일분 키워드 매치 12건 전원 도메인 논문(pose·OFDM·GNN·federated)으로 저관련.

커버리지 노트 — 주말 신호 공백: HF daily papers 07-11/12 연속 미발행, 일요일 arXiv는 도메인 논문 위주. 구루GH가 유일한 강신호원 — yohei activegraph 생태계가 packs(기각)→terminalbench(적용)로 분화

coverage 6/7: GitHub trending·구루GH 8프로필+starred 2인·topic 4쿼리·arXiv 50·HN 35·feed(simonw 30, anthropic 25) 성공, X nitter 0바이트 차단 지속(사유 로그). simonw 이번 주는 GPT-5.6 가족·sqlite-utils 4.0 릴리즈 중심으로 하네스 신호 약함. anthropic engineering 신규 글 없음(featured how-we-contain-claude는 기적용). 행동지표 6000→6000 무회귀.

저득점/중복 거부 — 최고점 desloppify 6/10: anti-gaming 이중점수(lenient-vs-strict gap이 wontfix 게이밍을 지표화, 재리뷰가 점수를 낮출 수 있음)는 anti-Goodhart 계열의 유의미한 보강이나 novelty med(신규 rule 금지)

거부 9건: desloppify ★3k(scan→score→triage→execute→rescan 루프 — code-cleanliness·acceptance-criteria 기존 계열) · awesome-agent-harness ★1.4k(큐레이션 — 표면=slop면) · Contravariance Theory 2/10(NeuroAI 이론) · Rowboat 217pts(로컬 Claude Desktop 대체) · GPT-5.6 build-off 12모델(비교 블로그) · ECC·llmtrim·dev-3.0·gsd-core(전원 기존 rule 흡수). Raven·sutando·evolver·AgentLens 등 재부상 신호는 기거부 dedup이 정상 차단.

커버리지 노트 — 새벽 launchd 런(165차)과 같은 날 2회차: 당일 강신호 대부분 기처리로 dedup 정상 동작, 신규 189건의 실체는 SDK 미러·도메인 논문·git 스크레이퍼가 다수

coverage 6/7: GitHub trending(21/22가 AI — 생태계 포화 지속)·구루GH·topic·HF(07-11 미발행→07-10/09 41편 소급)·arXiv 50·HN·feed 성공, X nitter 0바이트/rsshub 302 지속 차단(사유 로그). yoheinakajima activegraph 신작 3종(packs·terminalbench·blog)은 전일 기판정 유지 — Ataraxy-Labs 생태계(sem→weave)가 "agent-native git 인프라" 축으로 2회 연속 통과한 유일 소스.

dedup 정상 차단 — 트렌딩 강신호(Databricks 벤치 HN 재부상·activegraph 신작·awesome-harness-engineering·caveman)는 전원 기적용/기판정, 신규 9건은 전원 기존 rule 중복(novelty low)

신규 거부 9건: agentskills 스펙(agent-skills-format 기적용)·TencentDB-Agent-Memory 4-tier(progressive-memory-retrieval 기존)·workweave/router <50ms(complexity-based-model-routing 기존)·graphify 82K⭐(knowledge-graph-code-indexing 기존)·moai-adk SPEC-first(test-first 기존)·stash 팀 공유메모리(shared-agent-memory 기존)·cmux(하네스 무관)·addyosmani Agent-Era Career(커리어론)·sqlite-utils 4.0(릴리즈). 트렌딩 상위가 연속 Claude Code 생태계 일색(21개 중 ~20개 AI) — 스킬 카탈로그류는 skill-provenance-placebo-null이 계속 차단.

신호 경로 노트 — latent.space AINews(07-08)가 Weng 원문을 지목, 원문 직접 추적으로 이번 적용 성립. Weng의 예측: "컨텍스트 엔지니어링은 코어 지능으로 흡수되지만 목표·제약·평가 명세는 사라지지 않는다"

X rsshub 미러 cloudflare 302 지속(0건 — 사유 로그), HF 당일(07-11)자 미발행으로 07-10자 23편 재시도 수확(필터 8, 전원 기판정). Weng 사다리 프레임으로 내 배치도 자리매김: rules/스킬 = context rung, hooks/스크립트 = harness code rung, self-improve/harness-evolve = optimizer rung — rung별 게이트 차등이 다음 개선 후보.

no-op pass 라운드 — 강신호 전원 기적용, dedup 정상 차단 검증 (removal-first: 절제가 제품)

HN 상위 신호가 전부 기처리로 확인: Databricks 자기-PR 벤치(163차 own-pr-benchmark-cost-per-task 적용), Anthropic "How we contain Claude"(containment-blast-radius-engineering 기적용), danluu agentic coding notes(153차 fuzz-first-bug-discovery 기적용), code cleanliness minimal-pair(code-cleanliness-agent-footprint 기적용). arXiv 오늘 배치(2607.08xxx)는 새벽 launchd 런이 이미 심사 완료 — 잔여 신규 7편은 전부 도메인 논문(저랭크 압축·OFDM·의료·지형·연합학습).

• 분석: 트렌딩 신규 5건 중 최고점 OfficeCLI 4/10 — 나머지(addyosmani/agent-skills 76K⭐ 스킬 카탈로그 2/10, archify 2/10, speech-to-speech 도메인, DesktopCommanderMCP delta 297)는 skill-provenance-placebo-null(스킬 카탈로그 placebo 실증)·기보유 스킬 중복으로 미달
• 미적용 이유: harness-benefit-not-update(변경≠이득) · removal-first-skill-hygiene("아무것도 못 고친 pass = 성공") — 전 소스 검사 완주 + clean이므로 no-op 성공 조건 충족, streak 유지용 약후보 강제 적용은 Goodhart
• 5축: 해당 없음 (0 적용 — 정직한 no-op 기록)

OfficeCLI — 에이전트가 Word/Excel/PPT를 GUI 없이 읽고·쓰고·자동화하는 단일 바이너리 CLI (14.2K⭐, 주간 +4.9K) iOfficeAI

이번 회차 최고점 탈락 후보. skill-mediated-over-screen-execution("컴퓨터 작업은 화면 스크래핑보다 skill-mediated CLI/도구 경로 우선")의 방향 재확인일 뿐 새 행동 변화 없음 — xlsx/pptx 스킬 기보유. 5축: 자동화 2 · 마찰제거 1 · HARD 0 · 토큰효율 1 · 측정가능 0 = 4/10, novelty low.

seen 인덱스 무결성 — 163차 적용분(Databricks 벤치)이 URL 미등록 상태로 이번 런에 NEW로 재출현 → applied 소급 등록

수확 적용과 인덱스 기록이 분리되면 기적용 항목이 다음 런에 신규로 재등장해 중복 적용 위험(159차 arXiv URL 변형 dedup 미스 사고와 동족). 이번 런은 rule 전문(own-pr-benchmark-cost-per-task.md) 존재를 교차 확인해 재적용 대신 인덱스 보정으로 종결. yoheinakajima activegraph 신작 서브레포(longmemeval — 채점기 커밋 SHA·judge 모델 스냅샷·lockfile 전부 고정하는 "frozen evaluation boundary" 설계)는 기거부 판정 유지.

Remember When It Matters — 장기 태스크에서 결정관련 상태(요구·환경 사실·이전 시도·진단·열린 서브골)가 커지는 궤적에 묻혀 결정에 영향 못 주는 실패모드를 "behavioral state decay"로 명명. 별도 memory agent가 action agent 옆에서 구조화 메모리를 능동 갱신·주입(수동 retrieval 아님) arXiv

novelty med — persistent-file-based-planning("Context=RAM, Filesystem=Disk")·context-as-action-management이 이미 같은 방향. 실패모드에 이름을 준 것 + "passive retrieval이 아니라 active intervention" 프레임이 보강 가치. 신규 rule 없이 전문 부록으로.

Resample or Reroute? — 실패/저품질 시 "같은 모델 재샘플"과 "다른 모델 재라우팅"을 예산 제약 하의 경쟁 행동으로 정식화. 내 error-recovery 4회 로테이션(1~2차 재시도=resample, 3차 codex:rescue=reroute)과 같은 구조의 학술적 수렴 arXiv

novelty med — 로테이션 순서(저비용 resample 먼저, 고비용 reroute 나중)의 뒷받침. Databricks cost-per-task와 합치면 "reroute 대상 선택도 태스크당 비용으로" 일관 기준이 선다. 신규 rule 없이 전문 부록으로.

생태계 노트 — OpenAI가 "Claude Code에서 Codex 사용" 플러그인(codex-plugin-cc 27K⭐, 주 +4.8K)을 공식 출시: cross-model-adversarial-review 셋업(Codex 이중리뷰)이 벤더 공식 패턴이 됐다. orca 15.5K⭐(주 +4.1K)는 병렬 코딩 에이전트 플릿 ADE — fleet-orchestration 재확인

기적용 dedup 흡수 4건: SWE-Review(157차)·SkillOpt-Lite(156차)·code-cleanliness minimal-pair·"How we contain Claude"(untrusted-content-masking으로 기증류) — 전부 canonical arXiv/URL 키로 seen 고정(159차 URL 변형 dedup 미스 재발 방지). 그 외 CubeSandbox(Tencent)·strix 40K⭐ 등 에이전트 샌드박스/보안 지속 강세, UniClawBench(능력 혼합 태스크 분류 비판 = binary-question-decomposed-evaluation 재확인)·RuleChef(LLM은 학습시에만, 런타임은 rule 실행 = fuzzy-function-compiled-artifact 재확인)는 low로 노트만.

dedup이 흡수한 회차 + 인덱스 고아 11건 복구 — guardians(simonw ★)는 verified-plan-execution(07-03 기적용), activegraph-parallel-prefetch는 parallel-prefetch-deterministic-dispatch(07-07 기적용)와 콘텐츠 동일 확인. knowledge 메모 276건 전수 대조에서 rule 미참조·인덱스 미기재 고아 11건 발견

trending 상위 19건 전부 기처리(applied/rejected) — dedup이 일한 회차. "The Making of Claude Code"(HN 61p)는 JS 렌더 셸+미러 401로 본문 미취득(seen 유지, 재시도 가능). Bun Zig→Rust(simonw 07-08)는 language-independent-conformance-suite 기적용 중복. arXiv 17·HF 7 신규는 모델 내부(RoPE 선형화·pruning·GRPO·video gen) 위주 5축<6 reject. 수리: parallel-prefetch-deterministic-dispatch·harness-engineering-agent-first·loop-engineering-trust-ladder 등 11건을 trend-harvest-index.md에 복구(user+repo) — 세션은 인덱스로만 메모를 발견하므로 고아 = 사실상 불가시였다. apply 파이프라인의 인덱스 append 단계가 일부 회차에서 누락된 것이 원인(artifact-relocation-consumer-alignment의 소비자 정렬 사례).

Beyond Attack-Success Rate(2607.07474) — 이진 ASR은 "ASR 0% 방어가 cross-scope 누출을 여전히 허용"하는 사례를 숨긴다: 가역성·scope 교차·권한 확장 3축의 7단계 행동 등급(L0~L6)으로 채점. LLM judge 패널은 결정론 oracle과 α=0.91 일치하지만 escalation chain 인식에 체계적 맹점 arXiv

purpose-bound-tool-data-flow("task 성공해도 인가 안 된 sink로 새면 실패")의 정량 실증이라 med novelty — 신규 rule 대신 knowledge 부록 보강. 그 외 신규 판정: AgentLens(2607.06624) production-assessed 궤적 리뷰 벤치는 coding-agent-interactive-session-eval·eval-predictive-validity 재확인 → 노트. SAO(2607.07508, RL 훈련 인프라)·AAS embodied(2606.30111)·agentic governance 리뷰(2607.07612)와 GitHub 신규 6건(Puppetmaster 스웜 제어평면·headroom 도구출력 압축·code-context-engine 인덱싱 등)은 기존 rule 재확인(novelty low) → reject. trending 상위 17은 전부 기처리 — dedup이 일한 회차.

• 5축: Beyond-ASR 6/10(med→근거보강) · AgentLens 6/10(low-med→노트) · GitHub 신규 6건 4~5/10 reject

awesome-harness-engineering(+591★/주) — "harness = 모델 한계의 임시 보상, 좋은 하네스는 자기 폐기를 예측한다" 프레이밍 + 실증 큐레이션(harness-only 변경으로 Terminal Bench rank 30→top5, tool space 제약만으로 2/10→10/10). 방향 재확인이라 노트만 — 링크 큐레이션은 rule 승격 부적합 ai-boost

그 외 신규 판정: Agon(2607.07690) 교차모델 rival grading — "비슷한 강도 + 행동적 차이" 쌍 조건은 Claude+Codex 이중 리뷰의 이론 에코지만 RL 훈련 도메인이라 전이는 유추 → 노트. github/accessibility-scanner(simonw ★) — scan→이슈 자동 발부→Copilot fix→인간 리뷰 폐루프, closed 이슈 재발 시 reopen 패턴 → 노트. trending 상위 25 중 20이 기처리(dedup 정상 동작). HF는 당일 논문 미게시(API가 07-09까지만 허용), X 미러 전멸. 155~159차는 launchd 자동 수확으로 사이트 카드 미작성 — 회차 번호는 정본 원장(results.tsv) 기준.

• 5축: awesome-list 5/10 · Agon 5/10 · a11y-scanner 5/10 → 회차 노트만, Applied 제외

dedup이 일한 회차 — danluu 글·Anthropic containment가 HN 재부상 앵커 변형 URL로 재유입, 둘 다 153차 기적용 확인 후 스킵. astryx(Meta 8년 디자인시스템 오픈소스화, "사람과 에이전트가 같은 레퍼런스로 빌드", +5.2K★/주)는 UI 참고 노트 facebook

그 외 신규 판정: Multi-Layer Agent Red Teaming(2606.31227)·PraMem 경험 메모리(2607.02881)는 기존 multi-turn-adversarial-robustness·experience-learning 중복 → reject. HN 뉴스층: Alibaba 사내 Claude Code 금지 보도(336pt)·워크스페이스 간 세션/캐시 누출 이슈(313pt)·GLM ZCode(278pt). arXiv는 API·RSS 모두 rate-limit(0건) — HF daily papers 21편이 학술 커버 대체.

• 5축: astryx 4/10(하네스 행동 변화 없음 — ui 참고) · 뉴스층 low → 회차 노트만, Applied 제외

PR 분산 공격(2607.02514) — 영속 코드베이스에서 페이로드를 여러 PR에 분산하면 단일 모니터로 gradual/non-gradual 동시 방어 불가(회피 ≥65% 일반화). per-PR 리뷰는 cross-PR 분산에 구조적 맹목 arXiv

novelty med(6/10) → 라우팅 규칙대로 신규 rule 없이 multi-turn-adversarial-robustness에 근거 2줄 보강(누적 diff 윈도우 검토 + 모니터 다양화). 그 외 신규 판정: activegraph(기존 event-sourced-reactive-graph-runtime 중복)·ctx(memory-bank 중복, 50x 토큰효율 수치만 참고)·Ornith-1.0(RL이 scaffold를 solution과 공동 최적화 — 훈련측 개념이라 하네스 행동 변화 얇음)·Claude Code 스테가노그래피(HN 2435pt, 뉴스성) → low/reject.

• 5축: 6/10 · novelty med — "기존 rule 근거 보강, 신규 rule 금지" 라우팅 첫 적용 회차

파이프라인 자가수정 — 149차 기적용 논문(2607.02436)을 URL 변형으로 재수확·재적용했다가 롤백. 같은 논문의 재서술 메모는 Jaccard 0.29로 임계 0.5가 못 잡는다 → dedup에 arXiv-ID 소스-정체성 선행 검사 추가 arXiv

2중 미탐 실증: (1) 149차는 arXiv RSS 폴백 경로로 수확해 URL 형식이 달라 URL-hash dedup 미적중, (2) 같은 논문을 독립적으로 재서술한 두 한국어 메모의 Jaccard 유사도는 0.294 — 텍스트 유사도 백스톱도 통과. 발견 즉시 파일 삭제·원장(seen) 정정·인덱스 정리로 무손실 롤백.

• 수정: loopy-era-rule-dedup.sh에 신규 메모의 arXiv ID(\d{4}.\d{4,5})를 추출해 기존 코퍼스 본문과 문자열 대조하는 선행 검사 추가 — 동일 ID 발견 시 similarity 1.0(match: arxiv-id)로 즉시 차단. happy/negative path 실검증 통과
• 부수 복구: 149차 메모(reasoning-effort-over-tool-access)가 양쪽 trend-harvest-index에서 누락돼 있던 기존 갭도 발견·복구 — 발견가능성 표면 정렬
• 5축: 해당 없음 (하네스 자가수정 — 수확 파이프라인의 dedup 2중 방어 강화)

guardians (simonw★) — Erik Meijer CACM "Guardians of the Agents"의 구현체. 프롬프트 인젝션의 근본 원인은 SQL 인젝션과 같다(코드·데이터 미분리) — 계획을 심볼릭 참조로 선생성하고 taint 분석+보안 오토마타+Z3 정리증명 3중 정적 검증 후에만 실행, 검증에 LLM 호출 0 simonw★

코어 ~1900줄·테스트 100개·의존성 2개(pydantic, z3-solver). 악성 이메일이 "전부 공격자에게 전달하라"고 지시해도 세 검증이 모두 발화해 워크플로우가 실행 자체가 안 된다. 계획-검증-실행 분리의 레퍼런스급 소형 구현.

• 미적용 이유: 기존 verified-plan-execution rule("완전한 계획 → 정적 검증 → 검증된 계획만 실행")과 동일 개념 — dedup 정상 차단. 다만 "검증에 LLM 0 호출·3중 독립 검사"라는 구현 세부는 해당 rule의 실증 근거로 가치. karpathy★ nanocode(250줄 미니멀 CC)와 함께 이번 주 구루 star 신호는 '작고 검증 가능한 하네스'로 수렴
• 5축: 해당 없음 (노트 — 기존 rule의 실증 구현 등장)

affaan-m/ECC ★225K 돌파 — everything-claude-code의 진화. "skills, instincts, memory, security, research-first" 하네스 성능 최적화 시스템으로 리포지셔닝, Claude Code·Codex·Opencode·Cursor 크로스 하네스 지원 affaan-m

codebase-search-before-create rule의 근거였던 everything-claude-code(당시 142K)가 225K★로 성장하며 "agent harness performance optimization system"으로 진화 — 커뮤니티 최대 하네스 최적화 레포의 방향이 skills+instincts+memory 계층 구조로 수렴.

• 미적용 이유: 코어(research-first development)는 기적용(codebase-search-before-create) — "instincts"(스킬보다 가벼운 반사 계층) 개념은 우리의 rules 증류본 체계와 사실상 동형. 신규 원칙 없음, 생태계 규모 신호 노트
• 5축: 해당 없음 (노트 — 기적용 레포의 규모 성장 추적)

Karpathy LLM Wiki 패턴 구현 2종 동시 부상 — obsidian-wiki(2.6K★)·obsidian-second-brain(2.9K★, 44커맨드·self-rewriting notes·잠자는 동안 vault 유지 scheduled agents). 에이전트가 유지하는 자기-갱신 지식 베이스 Ar9av

에이전트가 Obsidian vault를 living second brain으로 구축·유지하는 크로스 CLI 스킬 2종이 topic 검색에서 동시 부상 — self-rewriting notes, 로컬+하이브리드 시맨틱 검색, 스케줄된 유지보수 에이전트. Karpathy가 언급한 LLM Wiki 패턴의 구현 생태계 형성.

• 미적용 이유: memory-bank(fact 추출·온톨로지·knowledge graph) + knowledge/trend-harvest 인덱스 구조가 동일 역할을 이미 수행 — "에이전트가 지식 베이스를 스스로 재작성·유지"하는 코어는 self-improve 루프와 수렴. 도구 자체 도입은 기존 인프라와 중복, 생태계 수렴 방증 노트
• 5축: 해당 없음 (노트 — LLM Wiki 패턴 생태계 수렴)

SkillCoach: Self-Evolving Rubrics for Agentic Skill-Use — 최종 verifier 성공은 너무 거칠다. 에이전트는 distractor 스킬을 고르고 필수 스텝을 건너뛰고도 시행착오로 "통과"한다. 스킬 사용의 process rubric(선택·준수·조합·반성)을 outcome과 분리 평가하라 arXiv

스킬이 LLM 에이전트의 재사용 운영 계층(SOP·도메인 규칙·도구 워크플로우·검증 루틴)이 되면서, 겹치는 스킬 레포에서 outcome 성공만으로는 스킬 오용(잘못된 선택·스텝 생략·잘못된 조합·최종 체크 누락)이 숨는다. 실제 rollout에서 process rubric을 증류해 4차원(선택/준수/조합/반성) 평가 — verifier는 별도 outcome 신호로 유지해 우연한 성공과 프로세스 품질을 구분.

• 미적용 이유(6/10 승격 미달): "틀렸지만 통과한 궤적이 오염을 남긴다"는 코어는 experience-learning-execute-distill-verify·role-typed-trajectory-credit-assignment 클러스터와 수렴. 스킬-사용 특화 4차원 rubric은 신규 각도지만 자동화·토큰 축 이득이 약함 — skill-judge/harness eval 체계에 흡수 검토로 보류
• 5축: 자동화 1 · 마찰제거 1 · HARD전환 1 · 토큰효율 1 · 측정가능 2

AgenticSTS: Bounded-Memory Testbed — "메모리는 미래의 각 결정이 무엇을 볼 수 있는지에 대한 계약이다." raw transcript 누적 대신 typed retrieval로 조립된 bounded prompt가 레이어별 ablation을 가능하게 한다 arXiv

장기 에이전트 메모리를 "전부 append"가 아니라 명시적 bounded 계약(매 결정 = typed retrieval로 조립된 fresh message, 교차-결정 transcript 미첨부)으로 설계 — 프롬프트가 런 길이와 무관하게 유계이고 단일 레이어를 격리 ablation 가능. Slay the Spire 2에서 스킬 레이어 유무로 3/10→6/10 승률 (방향성 신호, p≈0.37).

• 미적용 이유(6/10): "컨텍스트는 계약"의 코어는 trajectory-aware-compaction·context-as-action-management·fresh-context-iteration 클러스터가 이미 커버 — typed retrieval 조립이라는 구현 각도만 신규. 표본 크기상 방향성 증거(통계적 미결정)라 승격 보류
• 5축: 자동화 0 · 마찰제거 1 · HARD전환 1 · 토큰효율 2 · 측정가능 2

openai/codex-plugin-cc (23K⭐, +1.3K/주) — OpenAI 공식 "Claude Code 안에서 Codex 사용" 플러그인 등장. 우리 커스텀 codex 연동(codex:review/rescue/adversarial-review)의 공식 대체 후보 openai

코드 리뷰·태스크 위임 용도로 Claude Code 내부에서 Codex를 호출하는 OpenAI 공식 플러그인. 우리 하네스의 Codex 이중 리뷰(cross-model-adversarial-review)와 정확히 같은 사용처를 공식 지원 — 크로스 모델 리뷰가 벤더 공식 워크플로우로 표준화되는 신호.

• 미적용 이유: 기존 codex 플러그인(convergence-loop·gate 배선 포함)이 이미 운영 중 — 도구 전환은 rule 자동 적용 범위 밖(비용/호환 검증 필요). 공식 플러그인과 커스텀 연동의 기능 비교 후 이관 여부는 별도 검토 항목으로 기록
• 5축: 해당 없음 (노트 — 도구 전환 검토 항목)

병렬 코딩 에이전트 플릿 관리 5종 동시 트렌딩 — herdr(터미널 멀티플렉서 +2.7K/주)·orca(ADE 데스크탑/모바일 +3.6K/주)·amux(제어평면)·agent-of-empires(TUI/Web)·AgentWrapper/agent-orchestrator(CI fix·머지 충돌 자동) ogulcancelik

이번 주 trending의 지배 패턴: 병렬 코딩 에이전트 플릿의 제어평면(멀티플렉서·모니터링·야간 자율 실행 gnhf·worktree 자동화 treehouse)이 언어·플랫폼 불문 동시 부상. 단일 에이전트 → 플릿 운영으로 생태계 중심 이동의 방증.

• 미적용 이유: continuous-fleet-orchestration·multi-agent-session-infrastructure·worktree-parallel-agents 클러스터가 원리를 이미 커버 — 신규 원칙 없음, 생태계 수렴 방증 노트. 도구 자체 도입은 tmux 기반 기존 인프라(bs-auto-issue-loop 등)와 중복
• 5축: 해당 없음 (노트 — fleet 제어평면 생태계 수렴)

Building to the Test: Coding Agents Deliver What You Check, Not What You Requested — 코딩 에이전트는 요청한 것이 아니라 검사하는 것을 배달한다. 검사(테스트·게이트)가 요구를 덜 커버하면 그 갭만큼 미구현이 "완료"로 통과한다 arXiv

코딩 에이전트가 사용자가 요청한 것(requested)이 아니라 검증 루프가 검사하는 것(checked)에 맞춰 구현을 수렴시킨다는 실증 — 검사가 요구의 부분집합이면 에이전트는 그 부분집합만 충족하고 완료를 선언한다. 검사-요구 정렬(check-request alignment)이 자율 코딩 품질의 상한을 결정.

• 미적용 이유: acceptance-criteria-completion(anti-Goodhart — "내가 정한 테스트"가 아니라 요구의 수용 기준을 검증)의 정확한 외부 실증. bs-auto-issue 포렌식(버튼 숨김/no-op으로 자기 테스트만 통과)에서 이미 도출한 원칙 — 신규 rule 없이 기존 rule의 연구 근거로 노트
• 5축: 해당 없음 (노트 — acceptance-criteria/anti-Goodhart 클러스터 실증)

Cheap Code, Costly Judgment: A Case Study on Governable Agentic Software Engineering — 코드 생성 비용은 급락했지만 판단(리뷰·거버넌스·수용 결정) 비용은 그대로다. 병목은 생성이 아니라 판단이며, 거버넌스 가능한 구조가 생산성의 실제 상한 arXiv

에이전틱 SWE 사례연구: 코드 생성이 싸질수록 판단(어떤 변경을 수용할지, 무엇이 옳은지)의 상대 비용이 지배한다. 거버넌스 없는 대량 생성은 리뷰 부채를 축적 — 생성량이 아니라 판단 처리량이 시스템 스루풋을 결정.

• 미적용 이유: verification-horizon-proxy-coevolution("생성보다 검증이 어렵다")·risk-weighted-verification-budget(판단 노력의 위험도 배분)·two-stage-review-gate 클러스터와 정합 — 우리 게이트 스택(적대 리뷰·acceptance 게이트)이 이미 "판단을 구조화"하는 방향. 신규 원칙 없음, 방향 확인 노트
• 5축: 해당 없음 (노트 — verification-horizon 클러스터 정합)

실무 하네스 생태계 수렴 신호 3종 — gstack(garrytan 118K⭐: CEO/디자이너/EM/QA 23 페르소나 도구), no-mistakes(push 전 가드 CLI), design.md(google-labs-code 24K⭐: 코딩 에이전트용 시각 아이덴티티 스펙 포맷) garrytan

이번 주 trending의 공통 패턴: 실무자 하네스가 우리 구조에 수렴. gstack은 역할 페르소나 도구 스택(role taxonomy), no-mistakes는 push 전 차단 가드(Go CLI), design.md는 에이전트가 소비하는 영속 디자인 시스템 스펙 포맷(AGENTS.md의 시각 아이덴티티 버전, 24K⭐/주간 +7.2K).

• 미적용 이유: 각각 기존 구현과 수렴 — gstack=role-taxonomy/agent 스택(오케스트레이터+specialist 71 agents), no-mistakes=qa-gate-before-push.sh(이미 HARD hook), design.md=web-ui-design 스킬의 DESIGN.md 배치 패턴. 외부 생태계가 같은 결론(게이트·역할 분리·에이전트용 스펙 파일)에 독립 도달한 방증으로 노트
• 5축: 해당 없음 (노트 — 기존 게이트/스킬 클러스터 수렴 방증)

AutoTrainess: Teaching Language Models to Improve Language Models Autonomously — 자율 post-training은 코딩 문제만이 아니다. raw CLI의 underspecified action space에 방치하지 말고 prior human experience를 명시적 workflow·rule·execution constraint로 외부화해 안정적 훈련 행동으로 유도하라 arXiv

(HF 07-02 6⬆): 자율 post-training은 코딩 문제만이 아니다 — 반복 iteration 계획·벤치마크 정렬 데이터 구성·안정 훈련·체크포인트 평가·상태 보존을 수 시간 유지해야 한다. AutoTrainess는 이 연산들을 계획·데이터·훈련·평가·로깅용 agent-computer interface 저장소로 노출하고, 에이전트를 raw CLI의 underspecified action space에 방치하지 않고 prior human experience를 명시적 workflow·rule·execution constraint로 외부화해 효과적·신뢰가능한 훈련 행동으로 유도. PostTrainBench에서 CLI-only 23.21 → 26.94(GPT-5.4/Codex), DeepSeek-V4-Flash 12.13 → 19.58로 모델·하네스 교차 일반화.

• 미적용 이유: execution-path-crystallization(성공 경로→명시 SOP)·probe-and-refine-guidance-tuning(가이드가 행동 유도)·deep-agents-harness-primitives·recursive-self-improvement-loop의 실증 — "raw action space에 방치 말고 prior experience를 명시적 workflow·rule·constraint로 외부화"는 우리 rules/·skills/·hook 기반 하네스의 정확한 정당화(harness engineering). 신규이나 기존 self-improve/harness 클러스터로 커버되어 노트
• 5축: 해당 없음 (노트 — self-improve 클러스터, execution-path-crystallization/probe-and-refine-guidance-tuning의 자율 post-training 실증)

DiscoPER: Autonomous Scientific Discovery via Iterative Meta-Reflection — 축적된 발견을 empirical data로 취급해 주기적으로 자기 자신을 분석(2차 reasoning)하고 구조적 패턴·confound·epistemic gap을 식별해 탐색을 uncharted region으로 능동 재조정. 모든 발견은 통계 검정 통과 필수 arXiv

(HF 07-02 3⬆): 자율 과학 발견 시스템은 constrained search space나 predefined 질문에 갇혀 축적된 자기 발견을 명시적으로 종합하지 못한다. DiscoPER는 사전 목표 없이 코드를 동적 생성·실행해 open-ended 탐색하되 모든 발견은 통계 검정 통과 필수, 그리고 2차 reasoning 메커니즘으로 주기적으로 자신의 축적 발견을 empirical data로 취급해 분석 — 구조적 패턴·confound·epistemic gap을 식별해 탐색을 uncharted region으로 능동 재조정. iNatDisco에서 9개 known pattern 중 8개 복원·72.7% 지지율로 classical causal discovery·LLM-guided baseline 상회, meta-reflection 이득 확인.

• 미적용 이유: recursive-self-improvement-loop(Curator: 약한 변경 롤백·성공 축적)·agentic-abstention·evidence-only-reporting(통계 검정=실증 게이트)·cross-batch-evidence-accumulation의 실증 — "축적 발견을 empirical data로 2차 분석해 gap을 능동 재조정"은 우리 self-improve의 Curator 단계·trend-harvester 누적 판정의 동형. 신규이나 기존 self-improve 클러스터로 커버되어 노트
• 5축: 해당 없음 (노트 — self-improve 클러스터, recursive-self-improvement-loop의 2차 meta-reflection 실증)

diegosouzapw/OmniRoute — 231+ 프로바이더를 단일 엔드포인트로 통합한 무료 AI 게이트웨이. token compression·auto-fallback·MCP로 Claude Code/Codex/Cursor/Copilot 연결. GitHub trending TS +2.5K/wk diegosouzapw

(GitHub trending, ⭐10K +2.5K/wk): 231+ 프로바이더를 단일 엔드포인트로 통합한 무료 AI 게이트웨이. token compression·auto-fallback·MCP 지원으로 Claude Code·Codex·Cursor·Copilot 등 도구를 한 엔드포인트로 연결. "Never stop coding"을 지향하며 프로바이더 소진·장애 시 자동 전환.

• 미적용 이유: provider-fallback-circuit-breakers(4-tier fallback+circuit breaker)·unified-model-gateway(포맷 변환+채널 라우팅)·complexity-tier-model-routing의 실증 확장 — "231+ 프로바이더 단일 엔드포인트+auto-fallback"은 우리 게이트웨이/fallback 클러스터의 스케일 업 버전. 신규이나 기존 provider-fallback 클러스터로 커버되어 노트
• 5축: 해당 없음 (노트 — provider-fallback 클러스터, provider-fallback-circuit-breakers/unified-model-gateway의 231+ 프로바이더 실증)

Are Performance-Optimization Benchmarks Reliably Measuring Coding Agents? — GSO·SWE-Perf·SWE-fficiency 리더보드 점수는 runtime 불안정성·벤치마크별 스코어링 규칙·이미 풀린 태스크 수를 conflate한다. 코딩-에이전트 진보의 증거로 쓰기 전에 cross-machine replay 안정성을 검증하라 arXiv

(arXiv cs.AI 07-02): 성능-최적화 벤치마크(GSO·SWE-Perf·SWE-fficiency)의 리더보드 점수가 코딩-에이전트 진보의 증거로 쓰이지만, runtime 불안정성·벤치마크별 스코어링 규칙·이미 공개 제출로 풀린 태스크 수를 conflate한다. 740 태스크를 4종 GCP 머신에서 replay하니 reference patch가 원 유효성 규칙을 모든 cross-machine replay에서 만족하는 건 GSO 39/102·SWE-Perf 11/140(SWE-Perf은 close-to-zero runtime change로 특히 취약), 스코어링 규칙에 따라 8개 공개 제출 랭킹이 28쌍 중 9쌍 불일치.

• 미적용 이유: eval-predictive-validity(집계 점수 순위 과신 금지·in-sample↔OOD 상관)·harness-benefit-not-update(점수 상승≠이득)·intrinsic-eval-disentangles-conflated-failure(단일 downstream 점수는 conflate)의 코딩-에이전트-벤치마크 실증 — "리더보드 점수가 여러 교란을 conflate"는 우리 eval 클러스터의 정면 근거. 신규이나 eval 클러스터로 개념 커버되어 노트
• 5축: 해당 없음 (노트 — eval 클러스터, eval-predictive-validity의 코딩-에이전트 벤치마크 실증)

Cheap Code, Costly Judgment: Governable Agentic Software Engineering — 저비용 코드 생산 시대에 중심 문제는 "AI가 유용한 코드를 만드나"가 아니라 "어떻게 조직해 검사·교정·유지가능하게 유지하나"다. 반복 실패를 durable governance mechanism으로 변환하는 governance conversion arXiv

(arXiv cs.AI 07-02): 생성형 AI가 SE를 희소한 구현 노력 중심에서 풍부한 저비용 코드 생산 중심으로 옮긴다. 중심 문제가 바뀐다 — AI가 코드를 만드느냐가 아니라 아키텍처·도구·증거·피드백 루프를 어떻게 조직해 AI 매개 개발을 inspectable·correctable·maintainable하게 유지하느냐. 12주 1인 전문가 케이스(88 필드노트·420 KLOC·1.16 MLOC 테스트)에서 governance conversion 이론 도출 — 고속 에이전트 구현이 반복 구조적 실패를 드러내고, 엔지니어 판단이 그 실패를 durable governance mechanism으로 변환해 속도를 지속.

• 미적용 이유: govern-ecosystem-not-individual-agent·process-harness-deterministic-engine-overlay·acceptance-criteria-completion의 실증 케이스 — "실패에서 거버넌스를 발견·변환"은 우리 self-improve(fix 커밋→rule 승격)·soft-to-hard-promotion(반복 SOFT 실패→HARD)의 정확한 이론화. loopy-era 철학과 정면 정합. 신규이나 기존 govern/self-improve 클러스터로 커버되어 노트
• 5축: 해당 없음 (노트 — govern-ecosystem 클러스터, self-improve/soft-to-hard-promotion의 governance conversion 이론)

AutoMem: Automated Learning of Memory as a Cognitive Skill — 메모리 관리(무엇을 encode·언제 retrieve·어떻게 조직)를 학습 가능한 스킬(metamemory)로 취급. 파일시스템 조작을 1급 메모리 행동으로 승격, 강한 LLM이 전체 궤적을 리뷰해 메모리 구조를 반복 개선 arXiv

(arXiv cs.AI 07-02): 메모리 전문성은 학습된 스킬(인지과학의 metamemory) — 무엇을 encode·언제 retrieve·어떻게 조직할지 아는 능력. LLM의 파일시스템 조작을 task 행동과 나란히 1급 메모리 행동으로 승격, 모델 스스로 메모리를 관리하게 한다. 수천 스텝 장기 궤적은 수동 최적화·전체 리뷰가 비현실적 — AutoMem은 두 루프로 자동화: (1) 강한 LLM이 완전 궤적을 리뷰해 메모리 구조(프롬프트·파일 스키마·행동 어휘)를 반복 개선, (2) 에이전트의 좋은 메모리 결정을 여러 에피소드에서 식별해 훈련 신호로. Crafter·MiniHack·NetHack에서 메모리만 최적화해 기저 성능 2~4x 향상.

• 미적용 이유: context-as-action-management(컨텍스트 관리를 1급 행동으로)·persistent-file-based-planning(Filesystem=Disk)·agent-memory-hygiene·experience-learning-execute-distill-verify의 결합 — "메모리 관리를 학습 스킬로, 파일 조작을 1급 행동으로"는 우리 파일 기반 working memory + 자가개선 원칙의 동형. 단 강한 LLM이 전체 궤적 리뷰로 구조 개선하는 루프는 active-investigation-fault-attribution(긴 트레이스 세그먼트 검색)과 정합. 신규이나 기존 memory 클러스터로 커버되어 노트
• 5축: 해당 없음 (노트 — memory 클러스터, context-as-action-management의 메모리-스킬 학습 짝)

Skills Are Not Islands: Measuring Dependency and Risk in Agent Skill Supply Chains — 에이전트 스킬은 고립된 자산이 아니라 서로 의존하는 공급망을 이룬다. 스킬 간 의존성과 그로 인한 전파 리스크를 측정 arXiv

(arXiv cs.AI 07-02 배치): 에이전트 스킬 생태계가 커지면서 스킬은 독립적 단위가 아니라 서로 의존하는 공급망(supply chain)을 형성한다. 한 스킬의 결함·악성 지시가 그것에 의존하는 다른 스킬로 전파될 수 있어, 스킬 간 의존성과 리스크를 측정하는 관점이 필요하다.

• 미적용 이유: agent-skill-security-scanning(로드 전 정적 스캔·출처+해시 추적)·skill-audit-pipeline(공급망 governance)의 직접 보강 — "스킬은 섬이 아니다"는 우리 "신뢰된 스킬이라는 가정이 공급망 공격면"과 동일 명제의 의존성-그래프 버전. agent-skill-compounding(복리 축적)에 "의존성 전파 리스크" 차원 추가 후보. 신규이나 기존 skill-security 클러스터로 개념 커버되어 노트
• 5축: 해당 없음 (노트 — skill-security 클러스터, agent-skill-security-scanning의 의존성 그래프 짝)

Can Agents Generalize to the Open World? Unveiling the Fragility of Static Training in Tool Use — 정적 훈련으로 배운 tool-use 에이전트는 open-world(변화하는 도구·환경)에서 취약하다. 고정 분포 학습이 배포 드리프트에 무너짐을 드러냄 arXiv

(arXiv cs.AI 07-02 배치): tool-use 에이전트를 정적(static) 훈련 분포로 학습시키면 실제 배포의 open-world(도구·환경이 계속 변하는) 조건에서 취약(fragile)하다. 고정 분포 성능이 분포 이동(distribution drift)에서 무너지는 것을 실증.

• 미적용 이유: adaptive-harness-open-ended-streams(단일 고정 harness는 드리프트 스트림에서 실패)·eval-predictive-validity(in-sample≠OOD 전이)·tool-ecosystem-planning-visibility(대규모 도구 카탈로그에서 계획 붕괴)의 직접 보강 — "정적 훈련의 open-world 취약성"은 우리 "고정 harness/벤치마크는 OOD에서 무너진다"의 tool-use 버전. agent-eval-beyond-familiar-environments(포화 벤치마크는 한계 못 봄)와 정합. 신규이나 기존 eval/adaptive 클러스터로 커버되어 노트
• 5축: 해당 없음 (노트 — eval 클러스터, adaptive-harness-open-ended-streams의 tool-use 취약성 실증)

google-labs-code/design.md — 코딩 에이전트에게 디자인 시스템에 대한 영속적·구조화된 이해를 주는 spec 포맷. 에이전트가 매번 재추론하지 않고 design.md에서 디자인 컨텍스트를 grounded GitHub

google-labs-code/design.md(⭐24K, +7,186/wk): 코딩 에이전트에게 디자인 시스템에 대한 영속적·구조화된 이해를 부여하는 spec 포맷. 에이전트가 매 태스크마다 디자인 규칙을 재추론하지 않고, design.md 파일에서 디자인 컨텍스트를 grounded하여 일관된 UI를 생성.

• 미적용 이유: persistent-file-based-planning(Context=RAM/Filesystem=Disk)·agents-md-cross-tool-convention(AGENTS.md 표준)·distill-examples-to-instructions(예시 누적 대신 명시 지시로 증류)의 디자인-시스템 버전 — "매번 재추론하지 말고 파일에서 grounded"는 우리 파일 기반 working memory 원칙과 동형. frontend-patterns·anti-slop-design-taste와 결합 시 프로젝트 디자인 컨텍스트를 design.md로 영속화 후보. 신규이나 기존 planning/frontend 클러스터로 커버되어 노트
• 5축: 해당 없음 (노트 — planning 클러스터, persistent-file-based-planning의 디자인-시스템 짝)

Managing Procedural Memory in LLM Agents (AFTER) — 절차적 메모리가 재사용 스킬을 만드는 능력은 잘 이해돼 있지 않다. 이질 멀티모델 실행 트레이스에서 진화한 스킬이 단일 모델 트레이스보다 cross-model 정확도 높음(73.1%). 일부 스킬은 광범위 일반화, 일부는 역할 특화되어 전이 시 효과 상실 — 스킬은 보편 전이 자산이 아니다 arXiv

2606.23127(HF 07-01 17⬆): 6개 직무·22 절차 스킬·382 엔터프라이즈 태스크의 AFTER 벤치로 스킬이 task·role·model backbone을 넘어 어떻게 전이되는지 controlled 평가. 절차적 메모리는 산업 워크플로우에서 일관 이득(단발 refinement +3.7~6.7) 제공하고, 이질 멀티모델 실행 트레이스에서 진화한 스킬이 73.1% cross-model 정확도로 모든 단일 모델 트레이스 소스 능가. 그러나 일부 스킬은 광범위 일반화, 일부는 역할 특화되어 전이 시 효과 상실.

• 미적용 이유: SkillHone(이번 적용)의 memory 짝 — agent-skill-compounding(복리 축적)·experience-learning-execute-distill-verify(이질적 병렬 execute)·co-failure-ceiling-multi-model(disjoint 실패가 자원)의 실증(이질 멀티모델 트레이스 > 단일 모델). "일부 스킬은 전이 시 효과 상실"은 mas-prompt-optimization-config-dependent(이득은 config 민감)·eval-predictive-validity(전이 가정 금지)와 정합 — 스킬 복리를 "무조건 재사용"으로 가정하지 말라는 경고. 신규 강신호이나 SkillHone + 기존 memory/skill 클러스터로 충분히 커버되어 노트(향후 agent-skill-compounding에 이질 트레이스·전이 한계 차원 통합 후보)
• 5축: 해당 없음 (노트 — memory/skill 클러스터, SkillHone의 procedural memory 짝)

QVal — long-horizon 에이전트의 dense supervision 신호를 downstream 훈련 성능으로 평가하면 비싸고 신호 품질과 훈련 엔지니어링 confounder를 혼동한다. training-free testbed로 신호 품질을 훈련 전에 분리 측정하니, 단순 prompting baseline이 최신 dense supervision 방법을 일관 능가 arXiv

2606.32034(HF 07-01 8⬆): long-horizon 에이전트는 outcome-only 보상이 너무 sparse해 중간 행동의 goodness를 알려주지 못한다. dense supervision 방법(intrinsic confidence·self-distillation·embedding 유사도)을 downstream 훈련 파이프라인 성능으로 평가하는 관행은 비싸고, 신호 품질을 훈련 엔지니어링 confounder와 혼동하며, 다른 방법론 계열을 비교 불가능하게 만든다. QVal은 training-free testbed로 state-action 점수가 강한 reference-policy의 Q-value 순서와 얼마나 정렬되는지(Q-aligned) 훈련 전에 측정 → 21 방법·4 환경·7 계열·1.2K 실험: 단순 prompting baseline이 최신 dense supervision 방법을 일관 능가, 성능은 계열별로 강하게 클러스터링.

• 미적용 이유: intrinsic-eval-disentangles-conflated-failure(139차 downstream 점수는 표현 품질과 처리 능력을 혼동)·harness-benefit-not-update(변경≠이득)·eval-predictive-validity(집계 점수 과신 금지)·reward-score-oversensitivity-discretization의 직접 보강 — "downstream 성능이 신호 품질과 훈련 confounder를 혼동"은 우리 핵심 명제(downstream 점수가 실패 출처를 혼동)의 dense-supervision 버전. training-free 분리 측정 + "단순 baseline이 정교한 방법 능가"는 judge-as-optimizer-hardening과도 정합. 신규이나 기존 eval 클러스터로 충분히 커버되어 노트
• 5축: 해당 없음 (노트 — eval 클러스터, intrinsic-eval-disentangles-conflated-failure의 dense-supervision 짝)

Dockerless — 코딩 에이전트 verifier는 보통 per-repo Docker 환경에서 unit test를 실행해 패치를 검증하나 환경 셋업 비용이 크다. 환경 없이(non-execution) 에이전트적 저장소 탐색으로 모은 증거로 패치 정확성을 판정 → 최강 오픈소스 verifier +14.3 AUC, 환경 기반 post-training과 매칭 arXiv

2606.28436(HF 07-01 80⬆): program verifier는 코딩 에이전트 훈련(SFT trajectory 선택·RL 보상)의 중심이나, 표준 실행 기반 검증은 per-repo Docker 이미지에서 unit test를 돌려 환경 셋업 비용이 크다. Dockerless는 실행 없이(environment-free) 패치 정확성을 판정 — 단순 참조 매칭이 아니라 에이전트적 저장소 탐색으로 모은 증거로 판단. verifier 벤치에서 최강 오픈소스 verifier +14.3 AUC, SFT 필터와 RL 보상 모두에 쓰면 완전 환경 없는 post-training 파이프라인 → SWE-bench Verified 62.0%로 환경 기반과 매칭.

• 미적용 이유: verification-horizon-proxy-coevolution(검증이 병목·verifier=proxy·trilemma scalability×faithfulness×robustness)의 실증 — Dockerless는 scalability(환경 없음)를 얻는 대신 faithfulness/robustness를 실행 증거 대신 탐색 증거로 대체하는 trilemma 트레이드오프. 우리 proof-by-exploitation-qa·evidence-only-reporting("no exploit, no report"=실행 기반)과 긴장/보완 — 실행 없는 증거 기반 검증은 훈련용 verifier엔 유효하나, 우리 배포 게이트(비가역·고위험)엔 실행 증거 floor 유지 필요(risk-weighted-verification-budget). 신규 강신호이나 verification-horizon trilemma로 개념 커버되어 노트
• 5축: 해당 없음 (노트 — verification 클러스터, verification-horizon-proxy-coevolution의 scalability↔faithfulness trilemma 실증)

Delayed Verification Destabilizes Multi-Agent LLM Belief — verifier/critic가 hallucination을 억제하지만 검증이 *지연*되며, 그 지연 동안 거짓 주장이 에이전트 네트워크로 전파된다. 너무 강하거나 너무 지연된 교정은 합의를 진동(oscillation)으로 바꾼다 — 통신·검증 지연이 일치할 때 가장 불안정(지연 2에서 임계는 역황금비). grounded 사실 답변은 진실을 흡수 경계로 만들어 효과를 제거 arXiv

2606.27409(HF 06-30): 멀티에이전트 LLM 시스템은 verifier·critic으로 hallucination을 억제하나 검증이 지연된다. 이를 grounded corrector 노드를 가진 그래프 위 지연 합의로 모델링 → grounded Laplacian의 스펙트럼 분해가 검증 dose의 closed-form 안정성 임계를 산출(너무 강/늦은 교정 → 진동). 가장 불안정한 영역은 통신·검증 지연이 일치할 때(지연 2 임계=역황금비). supermodular placement 목적 + greedy (1−1/e) 규칙으로 제한된 corrector 예산을 영향력 큰 노드에 배치. 5개 모델 실증. 단 grounded 사실 답변은 진실을 흡수 경계로 만들어 불안정을 제거.

• 미적용 이유: verification-horizon-proxy-coevolution(검증이 병목)·evaluator-committee-bias-contagion(편향 전파)·fine-grained-mas-credit-assignment(MAS 귀속)의 *검증 타이밍/배치* 짝 — "언제·어디에 corrector를 두나"가 안정성을 좌우하고, grounded 검증(verification-horizon의 evidence-grounded)이 진동을 제거한다는 우리 명제를 스펙트럼 이론으로 뒷받침. 단 corrector placement는 우리 단일 user-proxy/Codex 이중 리뷰 구조엔 직접 hands-on이 약함(다수 corrector 네트워크 가정) — verification/MAS 클러스터 보강 노트(향후 다중 reviewer 배치 시 grounded-우선·지연 최소화 근거)
• 5축: 해당 없음 (노트 — verification/MAS 클러스터, verification-horizon의 검증 타이밍 짝)

MAS-Lab — 현재 툴링으로 만든 멀티에이전트 시스템은 ad-hoc·imperative하게 개발돼(에이전트 로직·오케스트레이션·관측·제어가 뒤엉킴, 시스템 수준 검증 거의 없음) "실험에서 관측된 행동이 프로덕션 행동의 신뢰할 만한 증거가 되지 못한다". 의미 의도와 운영 관심사를 분리한 선언적 spec → MAS-OS → 검증 레이어로 스크립트 모음을 엔지니어링된 분산 시스템으로 전환 arXiv

2606.30546(arXiv 06-30): LLM 에이전트 프레임워크가 MAS 조립 비용을 낮췄으나, 현재 툴링으로 만든 시스템은 신뢰·진화·프로덕션 배포에 부적합 — 흔히 ad-hoc·imperative하게 개발돼 로직·오케스트레이션·관측·제어가 뒤엉키고 시스템 수준 검증이 거의 없으며 데모 최적화된 워크플로우다. 결과적으로 실험에서 관측된 행동이 프로덕션 행동의 신뢰할 만한 증거가 되지 못한다. MAS-Lab은 의미 의도와 운영 관심사를 분리(선언적 framework-agnostic spec → 실행/제어 primitive를 plug-in한 stateful MAS-OS → 검증 레이어)해 스크립트 모음을 엔지니어링된 분산 시스템으로 전환.

• 미적용 이유: govern-ecosystem-not-individual-agent(각 에이전트 PASS≠시스템 건강)·process-harness-deterministic-engine-overlay(결정론 엔진을 정책 계층으로 감싸기)·declarative-dataflow-orchestration(선언적 명세)·mas-prompt-optimization-config-dependent(실험 이득≠배포 이득)의 직접 보강 — "실험 행동≠프로덕션 행동"은 우리 핵심 명제(QA PASS≠배포 건강·in-sample≠OOD)와 정합. 단 MAS-Lab은 특정 프레임워크/스택(Spec·MAS-OS)이라 우리 hook/skill 기반 운영에 즉시 이식은 약함 — harness/거버넌스 클러스터 개념 보강 노트
• 5축: 해당 없음 (노트 — harness/거버넌스 클러스터, govern-ecosystem-not-individual-agent의 선언적 검증 짝)

Entity Binding Failures in Tool-Augmented Agents — 올바른 도구를 골라도 *틀린 외부 엔티티*에 행동할 수 있다("Alex에게 메일" → 잘못된 Alex·잘못된 문서·잘못된 스레드·잘못된 고객 계정). tool correctness ≠ entity correctness — 0% wrong-tool인데 24~26% wrong-entity arXiv

도구 증강 에이전트는 보통 "올바른 도구 선택·유효한 API 인자·태스크 완료"로 평가되지만, 올바른 도구를 골라도 틀린 엔티티에 행동할 수 있다(entity binding failure). 60 태스크·5 백엔드·6 도구 사용법 controlled 진단: 모든 방법이 wrong-tool 0.0%인데, action-지향 baseline은 wrong-entity를 24~26% 산출. entity-aware 메커니즘(entity-resolution precondition·confidence-gated binding·모호 시 clarification·provenance tracking)이 wrong-entity를 제거했으나 모호 시 deferring으로 직접 완료율은 하락 — 안전한 도구 사용은 완료율 일부를 내주고도 entity 검증을 요구.

• 미적용 이유: purpose-bound-tool-data-flow(141차, task-private 데이터의 인가-경로 정보 흐름)의 entity-resolution 짝 — 후자가 "어느 sink로 데이터가 흐르나"면 본 논문은 "어느 엔티티에 행동하나". agent-least-privilege-tool-selection(어느 도구)·structured-output-tool-suppression·tool-use-format-collapse(도구 사용 실패면)과 같은 tool-use reliability 클러스터. confidence-gated binding+모호 시 clarification은 acceptance-criteria-completion(스펙 명확화)·agentic-abstention(달성 불가 시 멈춤)과 직접 연결 — 신규 강신호이나 기존 클러스터로 충분히 커버되어 tool-use reliability 보강 노트(향후 purpose-bound-tool-data-flow에 entity 차원 통합 후보)
• 5축: 해당 없음 (노트 — tool-use reliability 클러스터, purpose-bound-tool-data-flow의 entity 짝)

Scaling the Horizon, Not the Parameters — 35B MoE 에이전트(Agents-A1)가 *agent horizon* 스케일링(long-horizon trajectory + 이종 에이전트 능력)으로 1T 모델(Kimi-K2.6·DeepSeek-V4-pro)급 long-horizon 성능 도달. 파라미터가 아니라 에이전트 지평을 키워라 arXiv

2606.30616(HF 06-30 61⬆): 35B MoE 에이전트가 agent-horizon scaling(long-horizon trajectory 스케일 + 이종 에이전트 능력 스케일)으로 trillion급 long-horizon 성능 도달. 외부 지식·액션·관측·verifier를 연결한 평균 45K 토큰 trajectory 인프라 + 3단계(full-domain SFT → 도메인 teacher → multi-teacher domain-routed on-policy distillation)로 6개 이종 도메인을 단일 student로 통합. SEAL-0 56.4·IFBench 80.6 등 long-horizon 벤치에서 1T 모델 매칭/상회.

• 미적용 이유: harness-engineering-paradigm·adaptive-harness-open-ended-streams("system scaling > model scaling")의 실증 — 모델 파라미터가 아니라 에이전트 실행 지평(harness)을 키우는 것이 long-horizon 성능을 좌우한다는 우리 핵심 명제를 35B=1T 결과로 뒷받침. 단 본 논문은 *모델 훈련*(distillation 레시피·trajectory 데이터) 사이드라 하네스 운영 hands-on actionability는 약함 — 개념적 뒷받침 자산, harness/system-scaling 클러스터 보강 노트
• 5축: 해당 없음 (노트 — harness/system-scaling 클러스터)

PAT(Paper Assistant Tool) + LLawCo — AI 과학 리뷰를 4단계 인간-AI 협업 taxonomy로 자동화(inference scaling으로 단일 호출보다 깊은 결함 탐지) / embodied MAS가 과거 실패 반성→행동 법칙("Talk when necessary")을 SFT로 CoT에 주입해 파트너·환경과 정렬 arXiv

2606.28277 PAT: 인간 peer review가 AI-보조 과학의 유입을 못 따라감 → 검증·리뷰 자체를 AI로 가속, 4단계 협업 taxonomy + agentic 프레임워크가 전체 manuscript를 ingest해 이론·실험 검증·결함 식별(inference scaling으로 단일 호출보다 깊은 이슈 탐지). 2606.28182 LLawCo: 분산·부분관측 embodied MAS에서 파트너/환경과 misaligned 행동 → 과거 실패 반성으로 행동 법칙 추출("Wait for partner")해 SFT로 CoT에 명시 주입.

• 미적용 이유: PAT(AI 리뷰 자동화·inference scaling으로 깊은 결함)는 verification-horizon-proxy-coevolution·judge-as-optimizer-hardening·evaluator-committee-bias-contagion·llm-council-pattern·code-review-patterns와 의미중복(단일 호출보다 깊은 검증=다중 판관·inference scaling). LLawCo(실패 반성→행동 법칙→SFT 주입)는 experience-learning-execute-distill-verify·execution-path-crystallization·fine-grained-mas-credit-assignment·distill-examples-to-instructions와 중복+embodied SFT 도메인 특화 — eval/cooperation-distillation 클러스터 보강 노트
• 5축: 해당 없음 (노트 — eval/cooperation-distillation 클러스터)

From Tokens to States + Mechanism-Driven Monitors — LLM은 world model의 degenerate special case(NTP→JEPA 연속 스펙트럼), 이분법이 아니다 / training instability를 모듈 기능 역할 기반 내부 모니터로 loss 발산 수천 step 전에 선제 탐지 arXiv

2606.28127: "LLM은 토큰 예측·world model은 현실 시뮬"의 이분법은 불필요 — LLM은 world model의 degenerate special case(상태공간=토큰 시퀀스, 액션=토큰 1개 append), NTP→multi-token→future-summary→next-latent→JEPA 연속 스펙트럼. 2606.28116: frontier 훈련 불안정은 fault 후에도 loss/gradient가 정상으로 보이며 수천 step 지속 → 모듈 기능 역할 기반 내부 모니터(flash-attn QK spectral entropy·MoE router)로 loss 발산 전 선제 탐지.

• 미적용 이유: From Tokens to States는 이론적 framing(world model 스펙트럼)이라 하네스 hands-on actionability 없음 — 개념 자산. Mechanism-Driven Monitors(내부 모니터로 발산 전 선제 탐지)는 white-box-evidence-guided-optimization(내부 상태 질의)·active-investigation-fault-attribution·doom-loop-detection-pattern과 원리 동형이나 RL 훈련 인프라 특정(QK entropy·MoE router) — 우리 운영 직접 적용 약함, theory/training-infra 클러스터 보강 노트
• 5축: 해당 없음 (노트 — theory/training-infra 클러스터)

GitHub 신호(인증 스캔) — topic 4분류 megastar 재등장(hermes-agent·ECC·learn-claude-code·cc-switch·ui-ux-pro-max·claude-mem·caveman) + 신규 도메인 앱(career-ops·Agent-Reach·cherry-studio·daily_stock_analysis). 구루 anthropics(anthropic-cli)·yoheinakajima(activegraph) 기수확/도메인 특화 anthropics

GH topic 4분류(ai-agent·llm-tools·claude-code·autonomous-agent, 인증 검색): 대부분 기적용 megastar 재등장 — hermes-agent·affaan-m/ECC·learn-claude-code·cc-switch·ui-ux-pro-max·claude-mem·caveman. 신규 앱(career-ops·Panniantong/Agent-Reach·cherry-studio·daily_stock_analysis·CowAgent)은 도메인/제품 특화. 구루GH(인증): anthropics(anthropic-cli·claude-plugins-community/official·knowledge-work-plugins 전부 기수확), yoheinakajima(activegraph 122차 기수확).

• 미적용 이유: megastar 재등장군 전부 기적용. career-ops는 cross-cli-skill-portability·practitioner-curated-skills, Agent-Reach는 browser-automation-crystallization·structured-knowledge-mcp, cherry-studio/CowAgent는 agent-desktop-convergence·minimal-bash-agent-harness, daily_stock_analysis는 도메인 특화로 의미중복. anthropic-cli는 단순 API CLI, claude-plugins는 skill-audit-pipeline·official-plugin-manifest-standard 기수확 — GitHub 보강 노트(소스 커버리지 강제 충족, arxiv-only 드리프트 회피)
• 5축: 해당 없음 (노트 — GitHub/구루 보강)

Democratic ICAI + Cluster·Route·Escalate — preference 선택만으론 그 선택을 형성한 rationale을 못 잡음(persona debate로 추출) / 쿼리 cluster→cheapest 라우팅→QE cascade로 escalate(97-99% 정확도 유지·TPOT↓) arXiv

2606.28294 Democratic ICAI: pairwise label은 *최종 선택*만 드러내고 그 선택을 형성한 고려사항(reasoning)을 못 잡음 — 구조화된 persona debate로 경쟁 rationale 수집 → 더 명확한 steering principle 도출(creative preference 벤치 faithfulness↑). 2606.27457 Cluster·Route·Escalate(HF 06-29): 2-stage cascade — 쿼리 cluster→가장 비용효율 모델 라우팅, low-quality면 강한 모델로 escalate(97-99% 정확도 유지).

• 미적용 이유: Democratic ICAI(preference→debate→principle)는 implicit-feedback-preference-signal(명시 피드백 부재≠신호 없음)·llm-council-pattern(다중 모델 debate)·evaluator-committee-bias-contagion(위원회)·distill-examples-to-instructions(예시→지시 증류)·probe-and-refine-guidance-tuning과 의미중복(debate=토큰↑·HARD전환 약함). Cluster·Route·Escalate(cost-aware cascade)는 complexity-tier-model-routing·cost-aware-model-routing·hierarchical-local-first-recovery(로컬 우선→escalate)·agent-least-privilege-tool-selection(저권한 우선)·provider-fallback-circuit-breakers와 정면 중복 — preference/routing 클러스터 보강 노트
• 5축: 해당 없음 (노트 — preference/routing 클러스터)

Tandem RL + Epi2Diff — 강한 senior가 frozen weaker junior가 따라올 수 있게 co-generate(RLVR이 능력은 키워도 약한 소비자가 harness 못함) / reasoning trace를 functional episode 시퀀스로 구조화해 해석가능 신호 추출 arXiv

2606.28166 Tandem RL: RLVR이 reasoning을 idiosyncratic 패턴(가독성↓·언어 혼합)으로 drift → 강한 senior가 frozen weaker junior와 팀으로 보상받아 junior가 따라올 수 있게 reason(능력↑이 소비가능성과 분리). 2606.28186 Epi2Diff: LRM reasoning trace를 functional problem-solving state(episode) 시퀀스로 구조화 → reasoning scale·effort·state transition으로 난이도 모델링(텍스트보다 해석가능).

• 미적용 이유: Tandem RL은 RLVR training 영역(senior-junior co-generate)이라 우리 하네스 hands-on 적용 약함 — 원리(능력↑≠소비가능성)는 co-failure-ceiling-multi-model·verification-horizon-proxy-coevolution과 약하게 연결되나 RL 세팅에 강하게 묶임. Epi2Diff(trace→episode 구조화)는 active-investigation-fault-attribution(세그먼트 검색)·context-as-action-management(구조화 필드)·binary-question-decomposed-evaluation과 의미중복+교육 평가 도메인 특화 — RL/reasoning-trace 클러스터 보강 노트
• 5축: 해당 없음 (노트 — RL/reasoning-trace 클러스터)

GitHub 신호 — GH topic 4분류 대부분 기적용 megastar 재등장(hermes-agent·ECC·GenericAgent·evolver·autoresearch·cc-switch·claude-mem). 신규성 후보(career-ops·Agent-Reach·LLMOps) 기존 패턴 중복. 구루GH는 비인증 rate-limit로 0건 santifer

GH topic 4분류(ai-agent·llm-tools·claude-code·autonomous-agent): 대부분 기적용 megastar 재등장 — hermes-agent·everything-claude-code·GenericAgent·EvoMap/evolver·autoresearch·cc-switch·claude-mem. 신규성 후보(career-ops·Agent-Reach·latitude/Agenta)는 cross-cli-skill-portability·browser-automation-crystallization·llm-observability-infrastructure와 중복. 구루GH(yoheinakajima·hwchase17·anthropics)는 비인증 API rate-limit로 0건(best-effort 실패, 다른 소스 대체 안 함).

• 미적용 이유: topic 4분류 megastar 전부 기적용, 신규 앱(career-ops=14 skill modes·Agent-Reach=인터넷 read/search·latitude/Agenta=LLMOps)은 cross-cli-skill-portability·practitioner-curated-skills·structured-knowledge-mcp·llm-eval-as-ci-gate와 의미중복. 구루GH rate-limit는 best-effort 실패(소스 커버리지 강제 — arxiv-only 드리프트 회피했으나 GH는 비인증 한계) — GitHub 보강 노트
• 5축: 해당 없음 (노트 — GitHub/구루 보강)

Agent-Native Immune System(ANIS) + SingGuard — 런타임 hijacking(메모리 포이즌·툴체인 조작·다중에이전트 프로토콜 공격)은 외부 방어로 못 막는다. 6층 Immune Tower + Barrier Immunity(물리·논리 격리) + 정책-적응 멀티모달 가드레일 arXiv

2606.28270 ANIS: perimeter security·training-time alignment는 에이전트의 active reasoning loop 밖이라 런타임 hijacking에 취약 — 6층 Immune Tower(L0-L5) + Barrier Immunity(L1, 비인지 물리·논리 격리) + Agent Viruses/Vaccines 분류 + Harness Triad(Meta/Self/Auto). 2606.22873 SingGuard(HF 06-29 ★8): 동적 추론 기반 정책-적응 멀티모달 가드레일.

• 미적용 이유: ANIS의 "비인지 격리 계층"은 execution-time-authorization-layer(in-runtime 제어=escapable→주소공간 밖 강제)와 정면 중복(오히려 후자가 더 엄밀), 나머지(Viruses/Vaccines 분류·Harness Triad)는 agent-skill-security-scanning·compaction-governance-decay·defensive-misdirection-over-block·memory-governance-multi-principal과 의미중복. SingGuard도 probabilistic-policy-verification과 중복 — security/defense 클러스터 보강 노트로 보존
• 5축: 해당 없음 (노트 — security/defense 클러스터)

HORIZON — Markdown harness를 project pack(도메인 지식+실행 가능 evaluator+acceptance predicate+git/runtime 정책)으로 컴파일, hands-free 루프가 격리 git worktree를 진화(repo ops로 상태·트레이싱·replay). repository-level self-evolution arXiv

2606.28279: 하드웨어 설계를 repository-level code evolution으로 취급 — Markdown harness → project pack(domain knowledge + executable evaluator + acceptance predicate + git/runtime policy), hands-free agent loop이 격리 git worktree를 진화하며 repository 연산으로 state/tracing/replay. ChipBench·RTLLM 등에서 100% 완주. 우리 patterns의 독립 수렴 확인.

• 미적용 이유: "Markdown harness → project pack(지식+evaluator+acceptance predicate+정책)"은 meta-skill-team-factory·acceptance-criteria-completion과, worktree 진화+repo state/replay는 worktree-parallel-agents·persistent-file-based-planning·durable-agent-workflow·event-sourced-reactive-graph-runtime·declarative-workflow-crystallization과 정면 중복 — 우리 하네스 설계의 외부 독립 수렴 확인(harness self-evolution 클러스터) 보강 노트
• 5축: 해당 없음 (노트 — harness self-evolution 클러스터)

GitHub 신호 — megastar 재등장(hermes-agent ★205K·ECC ★223K·GenericAgent·evolver·autoresearch·cc-switch·ui-ux-pro-max·claude-mem) + 신규 앱(santifer/career-ops ★56K·Panniantong/Agent-Reach·latitude-llm·Agenta). 구루GH는 rate-limit santifer

GH topic 4분류(ai-agent·llm-tools·claude-code·autonomous-agent): 대부분 기적용 megastar 재등장 — hermes-agent·ECC·GenericAgent·EvoMap/evolver·autoresearch·cc-switch·ui-ux-pro-max·claude-mem. 신규성 후보: santifer/career-ops(Claude Code 14 skill modes), Panniantong/Agent-Reach(에이전트에 인터넷 read/search), latitude-llm·Agenta(LLMOps). 구루GH(yoheinakajima·hwchase17·anthropics)는 비인증 API rate-limit로 0건.

• 미적용 이유: career-ops는 cross-cli-skill-portability·practitioner-curated-skills·scenario-based-skill-management와, Agent-Reach는 browser-automation-crystallization·structured-knowledge-mcp와, latitude/Agenta는 llm-observability-infrastructure·llm-eval-as-ci-gate와 의미중복. megastar 재등장군 전부 기적용. 구루GH rate-limit는 best-effort 실패(다른 소스로 대체 안 함) — GitHub 보강 노트
• 5축: 해당 없음 (노트 — GitHub/구루 보강)

Process reward 무료 점심 — RL post-training의 progress advantage(log-prob ratio = 최적 advantage)로 annotation-free step-level scoring · OPID 온-폴리시 스킬 증류(episode/step 계층 hindsight) arXiv

2606.26080: 에이전트용 process reward model은 (long-horizon·비가역·확률적 피드백) 구축이 어렵지만, RL post-training이 이미 step-level scoring 재료를 제공 — progress advantage(정책/참조 log-prob ratio = 최적 advantage)로 annotation-free·domain-agnostic, test-time scaling·불확실성·failure attribution에 검증. 2606.26790 OPID: 완료된 on-policy trajectory에서 episode-level(워크플로우·실패회피)+step-level(임계 결정) 계층 스킬 추출, critical-first routing.

• 미적용 이유: 둘 다 RL 훈련 파이프라인 특정(progress advantage·on-policy 증류) — 우리 하네스 운영 직접 actionability 낮음. 핵심 전이(완료 궤적 hindsight를 episode/step 스킬로·failure attribution)가 execution-path-crystallization·agent-skill-compounding·experience-learning-execute-distill-verify·active-investigation-fault-attribution·scored-agent-benchmarks와 의미중복 — training/skill-distillation 클러스터 보강 노트로 보존
• 5축: 해당 없음 (노트 — process reward / skill-distillation 클러스터)

Prompt Injection in Résumé Screening — LLM 랭커는 조작이 드물고 후보 품질차가 작을 때 가장 취약, 조작이 만연하면 효과 붕괴 arXiv

LLM이 지원자를 선별·랭킹하는 자동 채용에서 self-promotional prompt injection은 품질이 균질하고 소수만 주입할 때 랭킹을 안정적으로 올리지만, 주입이 만연하면 효과 붕괴. 후보 품질이 이질적이면 평균 효과는 작으나 저품질이 고품질을 앞서는 공정성 우려. LLM 랭킹은 조작이 드물고 품질차가 작을 때 가장 취약.

• 미적용 이유: 도메인(résumé 랭킹) 특정 + 핵심 전이("LLM-as-ranker는 드문 주입·작은 품질차에 가장 취약")가 defensive-misdirection-over-block(예측 가능 거부=신호 누출)·evaluator-committee-bias-contagion(단일 judge 편향)·agent-skill-security-scanning(injection 스캔)·in-context-demos-not-neutral과 의미중복 — security/ranking-injection 클러스터 보강 노트로 보존
• 5축: 해당 없음 (노트 — security/ranking-injection 클러스터)

GitHub 신호 — HKUDS/nanobot(경량 오픈소스 agent harness, ★44.8K)·zhayujie/CowAgent(태스크 계획+도구 실행 agent harness, ★45.6K)·santifer/career-ops(Claude Code 14 skill modes, ★56K)·hwchase17/stagehand(browser agents SDK) HKUDS

GH topic ai-agent: HKUDS/nanobot(lightweight agent for tools/chats/workflows)·zhayujie/CowAgent(plans tasks, runs tools, "Agent Harness")·santifer/career-ops(Claude Code 기반 14 skill mode job-search)·NousResearch/hermes-agent(★204K, 재등장). 구루 GH: hwchase17/stagehand(browser agents SDK)·harbor(agent eval+RL env, 137차 노트)·yoheinakajima/activegraph(★331, 122차 적용).

• 미적용 이유: nanobot/CowAgent는 minimal-bash-agent-harness·open-reference-harness-architecture·deep-agents-harness-primitives와, career-ops는 cross-cli-skill-portability·practitioner-curated-skills·scenario-based-skill-management와, stagehand는 browser-automation-crystallization·webapp-testing·computer-use-agent-infra와 의미중복 — megastar 재등장군(hermes-agent=48차 등 기적용) 보강 노트
• 5축: 해당 없음 (노트 — GitHub/구루 보강)

When are likely answers right? — 시퀀스 확률은 데이터셋 내 정답 예측엔 유효하나 디코딩 결정·동일 프롬프트 반복 응답엔 무효, verifier-free self-improvement·self-consistency 가이드 arXiv

시퀀스 확률(continuation의 조건부 확률)과 정답성의 관계를 4수준 정량화: 데이터셋 내 prompt-answer 쌍에선 높은 확률이 정답 예측에 유효하나, 디코딩 결정(하이퍼파라미터·방법 변경으로 확률↑)엔 정확도 개선 안 됨, 동일 프롬프트 반복 응답 순위에도 무효. 우리 reward-score-oversensitivity-discretization(연속 점수 신뢰 주의)·verification-horizon-proxy-coevolution(verifier=proxy)·llm-detector-calibration-not-comprehension(점수≠능력)의 verifier-free self-improvement 가이드 보강 노트.

• 미적용 이유: 핵심 전이("확률을 정답 신호로 최적화·랭킹 금지")가 reward-score-oversensitivity(연속 점수 미세차 신뢰 금지)·verification-horizon(verifier는 proxy)·llm-detector-calibration(점수≠추론)과 의미중복 — 신규 rule 대신 calibration/verifier-free 클러스터 보강 노트로 보존
• 5축: 해당 없음 (노트 — calibration/verifier-free self-improvement 클러스터)

GitHub 신호 — hwchase17/harbor(agent eval·RL 환경 프레임워크, 신규)·google-labs-code/design.md(coding agent용 visual identity 포맷 스펙, ★2.7K)·DeusData/codebase-memory-mcp(코드 지식그래프 MCP, ★8K) hwchase17

구루 GH: hwchase17/harbor(framework for agent evaluations + RL environments, 06-01 신규) — agent eval 프레임워크. GH trending: google-labs-code/design.md(coding agent에게 visual identity를 기술하는 포맷 스펙) · DeusData/codebase-memory-mcp(코드베이스를 영속 knowledge graph로 인덱싱하는 MCP) · stablyai/orca(병렬 에이전트 ADE) · BuilderIO/agent-native(agent-native 앱 프레임워크).

• 미적용 이유: harbor는 benchmark-gated-self-improvement·scored-agent-benchmarks·llm-eval-as-ci-gate와, design.md는 web-ui-design·document-native-agent-ui·anti-slop-design-taste와, codebase-memory-mcp는 bi-temporal-structural-memory·graph-rag-codebase-indexing·content-graph-precise-context와 의미중복 — 기존 규칙 보강 노트(megastar 재등장군: ECC·hermes-agent·cc-switch·claude-mem·caveman·graphify·addyosmani 전부 기적용)
• 5축: 해당 없음 (노트 — GitHub/구루 보강)

Running the Gauntlet / GauntletBench — 현재 에이전트 벤치마크는 단순 task에 saturate되어 한계를 못 짚는다, underexplored 차원(temporal·graphical·3D)에선 SOTA 19.1% vs human 80%+ arXiv

기존 벤치마크는 인기 앱의 단순 task에 치우쳐 modern agent에서 saturate되며 한계를 못 짚는다 → temporal perception·graphical understanding·3D reasoning 등 underexplored 차원 100 task로 평가 시 SOTA 19.1% vs 비전문가 human 80%+. 우리 eval-predictive-validity(집계 점수≠배포·in-sample≠OOD)·adaptive-harness-open-ended-streams(고정 harness 드리프트 실패)·eval-language-diversity-transfer(단일 벤치마크 collapse)의 경험적 backbone — eval-saturation 클러스터 보강 노트.

• 미적용 이유: 핵심 전이("saturated 벤치마크가 한계를 숨긴다 → OOD/underexplored 차원으로 평가")가 eval-predictive-validity(in-sample≠OOD)·adaptive-harness-open-ended-streams(고정 harness 실패)·eval-language-diversity-transfer(단일 벤치마크 collapse)와 의미중복 — 신규 rule 대신 eval-saturation 클러스터 경험적 보강 노트로 보존
• 5축: 해당 없음 (노트 — eval-saturation 클러스터 backbone)

Why Multi-Step Tool-Use RL Collapses — control 토큰의 확률 spike가 structured execution을 교란하나 도구 능력 자체는 온전(133차 Tool Suppression의 훈련 도메인 동형) arXiv

agentic RL이 일부 모델에서 catastrophic collapse(tool-invocation 구조 붕괴) → 분석상 특정 control 토큰의 예기치 않은 확률 spike가 structured execution을 교란하나 도구 사용 능력 자체는 온전(특정 format에 가려짐), SFT를 RL과 interleave하면 안정화. 133차 structured-output-tool-suppression(Tool Suppression/CPI — 제약 토큰이 도구호출을 unreachable로)의 훈련(RL) 도메인 동형이라 신규 rule 대신 Tool Suppression 클러스터 보강 노트. 동반 노트 GUI vs CLI(2606.24551, up5)는 CLI 병목이 모델 능력이 아니라 skill coverage(verifier-guided augmentation으로 48.2%→69.3%)임을 보여 tool-ecosystem-planning-visibility(128차)·agent-least-privilege-tool-selection(131차)와 정합이나 computer-use 도메인.

• 미적용 이유: 핵심 전이(control 토큰 spike가 도구 구조를 교란하나 능력은 온전·format에 가려짐)가 133차 structured-output-tool-suppression(스키마 grammar mask가 도구호출 토큰을 unreachable로·CPI)와 동형 — 추론(decoding) 시점 vs 훈련(RL) 시점의 같은 현상이라 신규 rule 대신 Tool Suppression 클러스터 보강 노트. GUI vs CLI도 tool/skill coverage 클러스터와 부분 중복이라 노트
• 5축: 해당 없음 (노트 — Tool Suppression 클러스터 훈련 도메인 보강)

Confidence-Aware Tool Orchestration — 비디오 추론은 모든 입력 프레임을 동등하게 신뢰한다는 가정(Blind Trust Problem) 하에 현실 교란에서 15~30%p 급락, reliability score로 입력 신뢰도 차등 arXiv

모션블러·글레어·오클루전 등 현실 교란에서 프런티어 비디오 추론 모델 15~30%p 정확도 급락 → evidence interface + reliability-relevance score + confidence-cost GRPO로 프레임별 신뢰도 차등. 우리 risk-weighted-verification-budget(위험도 비례 검증)·multi-view-lossy-tool-analysis(lossy 도구 단일 view 신뢰 금지)·probabilistic-policy-verification(실패확률 술어 sound 상한)의 입력 신뢰도 차등 일반화 — 비디오 도메인 특화+부분 중복이라 노트.

• 미적용 이유: 핵심 전이(모든 입력을 동등 신뢰 금지, 신뢰도로 차등 가중)가 risk-weighted-verification-budget(위험 비례 노력)·multi-view-lossy-tool-analysis(단일 view 신뢰 금지)·probabilistic-policy-verification과 부분 중복 — 신규 rule 대신 입력-신뢰도 클러스터 강화 노트. 동반 노트 OPID(2606.26790, dense token-level supervision으로 sparse reward의 중간 결정 안내 부재 해결)는 active-investigation-fault-attribution·experience-learning-execute-distill-verify와 정합이나 훈련 도메인
• 5축: 해당 없음 (노트 — 입력 신뢰도 차등 클러스터 경험적 보강)

Plans Don't Persist: Why Context Management Is Load Bearing for LLM Agents — 표준 에이전트는 plan을 persistent state로 carry forward하지 않고 plan이 컨텍스트에 남아있는 것에 의존(한 스텝에 4.1~12.4x 급감) arXiv

replay-pairing 진단(plan 유무 동일 trajectory 실행 후 hidden-state cosine 측정): Llama-3.1-70B plan signal 0.453 spike 후 한 action-observation 스텝에 4.1x 급감(HotpotQA 12.4x) → 에이전트는 plan을 내재화하지 않고 컨텍스트 잔존에 의존. persistent-file-based-planning(디스크·재주입)·context-as-action-management(126차)·compaction-governance-decay(122차)의 경험적 backbone + evict 전 load-bearing A/B 검증 아이디어 — 컨텍스트 관리 클러스터와 부분 중복이라 노트.

• 미적용 이유: 핵심 전이(plan은 내재화되지 않으니 visible 유지/재주입, evict 전 replay-pairing으로 load-bearing 검증)가 persistent-file-based-planning(Read-Before-Decide 재주입)·compaction-governance-decay(압축 후 제약 생존 검증)·context-as-action-management(핵심 사실 보존 fold)와 부분 중복 — 신규 rule 대신 클러스터 강화 노트로 보존
• 5축: 해당 없음 (노트 — 기존 컨텍스트 관리 규칙의 경험적 근거 보강)

소스 포화 라운드 — 신규 rule 부재, fabricate 거부(harness-benefit-not-update · anti-Goodhart)

전 5소스(GitHub trending/topic·구루 GitHub·HF 일별 논문·arXiv firehose) 재조회 결과 rule 부재·loopy-era 전이 높은 신규 후보 0건. arXiv 2606.26xxx(06-24) 배치는 130·131차가 이미 mining(2건 적용), HF 06-26 미발행, 나머지는 전부 도메인/훈련/의미중복. 변경≠이득 원칙으로 약한 후보 강제 적용 없이 0건 종료.

• 분석: 잔여 arXiv 15편 abstract 정독 평가 — DT²(2606.25923)는 eval-predictive-validity, Detect-Unlearn-Restore(2606.26036)는 experience-learning-execute-distill-verify·agent-skill-security-scanning, RevengeBench(2606.26094)는 white-box-evidence-guided-optimization, Weave of Formal Thought(2606.25987)는 typed-llm-function-parsing로 의미중복, 나머지(OCR/VLA/tabular MIA/control/RL)는 도메인. GitHub·구루도 전부 기존 rule 수렴. seen.json 14편 기검토·1편만 신규
• 미적용 이유: harness-benefit-not-update(변경≠이득)·acceptance-criteria-completion(anti-Goodhart: 자기 기준 통과용 fabricate 금지)·cross-batch-evidence-accumulation(단발 약신호로 승격 금지) — streak 유지 목적의 강제 rule 생성은 정확히 시스템이 경고하는 Goodhart 실패
• 다음: HF 06-26 발행 + arXiv 06-25 announce 배치 출현 시 재평가. 구루 GitHub·trending은 수렴 상태 지속 모니터
• 5축: 해당 없음 (0 적용 — 정직한 포화 기록)