Self-Improving Knowledge Loop

한눈에 보기

Self-Improving Knowledge Loop는 실패와 관찰이 장기 지식, 규칙, hook, 공개 문서로 바뀌는 경로를 설명합니다. KeystoneHub는 모든 로그를 저장하는 대신, 다시 쓸 가치가 있는 판단만 선별해 실행 장치와 문서로 승격합니다.

• 핵심 질문: 실패 신호를 어떻게 다음 작업의 자동 품질 개선으로 연결할 것인가?
• 읽는 대상: Memory Bank, PKB, self-improve, public docs의 연결 구조를 이해하려는 사람
• 연결 문서: Memory & Knowledge Pipeline, Retrospective Loop, Policy to Harness Lifecycle

이 문서에서 확인할 것

• 작업 세션에서 공개 정제본까지 이어지는 지식 루프
• self-improve 신호가 rule, hook, skill, docs 후보로 나뉘는 방식
• 내부 원천을 공개 설명으로 바꿀 때의 변환 규칙

실패를 지식으로 바꾸는 루프

Keystone의 지식 파이프라인은 모든 로그를 저장하려는 시스템이 아닙니다. 다시 쓸 가치가 있는 판단만 골라 규칙, hook, skill, 공개 가이드로 승격하는 구조입니다.

flowchart TD
  A["작업 세션"] --> B["대화와 도구 결과"]
  B --> C["Memory Bank<br/>검색과 fact 추출"]
  C --> D["PKB / decisions<br/>선별 지식"]
  D --> E["ai-rules<br/>policy / skill 후보"]
  E --> F["keystone-hub<br/>hook / doctor / eval"]
  F --> G["검증 가능한 실행"]
  G --> H["keystone-portfolio<br/>공개 정제본"]
  G --> A

각 계층의 역할

계층	역할	남기는 것
Memory Bank	자동 회상과 검색	대화 검색, facts, semantic index
PKB / decisions	사람이 다시 믿고 따라야 할 판단	결정, 실패 원인, 운영 노하우
ai-rules	정책과 절차의 원천	rule, command, skill, guide
keystone-hub	실행 장치	hook, doctor, eval, settings
portfolio	공개 설명	민감정보 없는 구조, 사례, 다이어그램

Self-Improve 신호

flowchart LR
  S1["fix 커밋"] --> A["분석"]
  S2["사용자 불만"] --> A
  S3["반복 fact"] --> A
  S4["재시도 증가"] --> A
  S5["doctor drift"] --> A
  A --> F["필터링<br/>반복 마찰 / 자동화 / 토큰 효율 / 컨벤션"]
  F --> P["개선안"]
  P --> R["rule"]
  P --> H["hook"]
  P --> SK["skill"]
  P --> D["docs"]

공개용 인포그래픽

신호	내부 처리	공개 문서로 바뀌는 형태
반복되는 실수	self-improve candidate	”왜 hook으로 승격했는가” 설명
의사결정 변경	decision note	architecture decision 요약
검증 실패	QA/eval event	evidence dashboard 요약
도구 drift	doctor finding	sync guide 체크리스트
좋은 패턴 발견	skill/rule update	playbook 또는 blog-style guide

Evidence Label Contract

공개 문서는 사실과 추론을 섞지 않아야 합니다. 내부 handoff와 공개 문서 모두 아래 라벨을 기준으로 정리하면 신뢰도가 올라갑니다.

라벨	의미
검증	도구 출력, 파일, git 상태로 확인한 사실
추론됨	확인된 사실에서 나온 판단
모름	아직 확인하지 않았거나 사람 판단이 필요한 것
결정	사용자 또는 운영자가 선택한 방향
다음	바로 이어서 실행할 행동
재발방지	rule, hook, doctor, test, docs 중 어떤 장치로 막을지

공개 변환 규칙

내부 원천	공개 변환
raw transcript	핵심 판단과 결과만 요약
local path	저장소명 또는 추상 경로로 변경
secret / token	완전히 제거
회사별 workflow	도메인명을 일반화
hook 구현 세부	차단하는 위험과 검증 방법만 설명
failed attempt	실패 원인과 재발방지로 재작성

블로그형 문서 템플릿

## 문제
어떤 실수가 반복되었는가?

## 관찰
검증된 증거와 추론을 분리한다.

## 결정
rule, hook, skill, docs 중 어디로 승격할지 정한다.

## 다이어그램
실행 전후 흐름을 Mermaid로 보여준다.

## 재발방지
다음 세션에서 무엇이 자동으로 막는지 적는다.

운영 기준

• 모든 대화를 공개 문서로 만들지 않는다.
• “다시 사용할 수 있는 판단”만 승격한다.
• 한 번의 사건은 note로 남기고, 반복 사건은 rule이나 hook으로 보낸다.
• 공개 문서에는 원본 로그보다 의사결정 구조와 검증 방법을 남긴다.
• 같은 실수가 재발하면 문서를 고치는 것보다 실행 장치를 강화한다.

Source Notes

이 문서는 keystone-hub의 self-improve guide, memory-bank architecture, runtime drift 문서와 ai-rules의 memory/documentation policy를 공개용으로 재구성했습니다.