会話ログを夜中に自動スキル化する ― Claude が自分の記憶から学ぶ仕組み

前回、Claude Codeに自分でスキルを書かせて育てる話で「セッション中生成」と「夜間バッチ生成」の2層構造を紹介しました。今回はその夜間バッチ、skill-harvest.sh の中身だけを掘ります。

最後の1件は今回コードを読んでいて見つけたもので、まだ直っていません。これも含めて実際のログと実コードで見ていきます。

困りごと：セッション中に書きそびれた手順は消える

セッション中生成（層1）はCLAUDE.mdの指示でその場でスキル化しますが、これは「今のセッションで気づいたこと」しか拾えません。過去のセッションで踏んだ回避策や、地味に繰り返している定型作業は、書きそびれたまま会話ログに埋もれていきます。

その会話ログの置き場が ~/Documents/my-knowledge-base/raw/conversations/。今このディレクトリには18,926ファイルあります。これを毎晩3:30にlaunchdが起動して拾い直すのが skill-harvest.sh です。

<key>StartCalendarInterval</key>
<dict>
    <key>Hour</key><integer>3</integer>
    <key>Minute</key><integer>30</integer>
</dict>

全体構造：watermarkで差分だけを処理する

18,926ファイル全部を毎回読むわけにはいかないので、「前回どこまで処理したか」を1ファイルに刻んで差分だけ拾います。

WM="$AUTO/.harvest-watermark"
...
if [[ -f "$WM" ]]; then
  newlogs=("${(@f)$(find "$LOGS" -name '*.md' -newer "$WM" 2>/dev/null)}")
else
  newlogs=("${(@f)$(ls -t "$LOGS"/*.md 2>/dev/null)}")
fi
newlogs=(${newlogs:#})
if (( ${#newlogs} > 0 )); then
  newlogs=("${(@f)$(ls -t "${newlogs[@]}" 2>/dev/null | head -$MAX_LOGS)}")
fi

.harvest-watermark は中身を持たない0バイトのファイルで、touchするためだけに存在します。「前回処理以降に更新されたファイル」を find -newer で拾い、mtime降順で先頭 MAX_LOGS=3 本だけに絞る設計です。

ここに現在進行形の不具合があります。手元で同じロジックを再現したところ、find -newerが15,471件を返し、それを丸ごとls -t "${newlogs[@]}"に渡した瞬間に壊れます。

zsh:7: argument list too long: ls

lsが引数超過で失敗し（2>/dev/nullで握りつぶされる）、空文字列が1件だけ配列に残ります。結果、その日処理される「ログ」はファイル名が空の幽霊エントリになり、ダイジェストは===== LOG: =====という中身ゼロの19バイトに。実際の.harvest.logを見ると、2026-08-01から今日（2026-08-10）まで10日連続でこの状態です。

[2026-08-09 03:30:05] harvest start: 1 log(s), digest=      19B
The log excerpt is empty (`=== LOG:  ===` contains no content), so there's no material to extract procedural knowledge from.
該当なし
[2026-08-09 03:30:30] harvest done (exit 0, created=0)

exit 0で「正常終了」しているので、ログを流し読みしただけでは気づけません。皮肉なことに、このraw/conversations/のmtime汚染問題そのものは、8月3日生成の別スキルconv-log-content-date-filterに「一括syncで13,809件のmtimeが全滅した」という事例としてすでに記録されています。harvestが刈り取った知見を、harvest自身にはまだ反映できていません。

なぜ15,471件も-newerにヒットするのか。raw/conversations/配下の多くのファイルが自動化レーン（note-autolike, affiliate-ameba等）から継続的に追記されており、mtimeが毎日更新され続けるためです。watermarkが「昨日の3:30」を指していても、その後にほぼ全ファイルが触られていればfind -newerの母数はすぐ万単位に膨らみます。

$1.20のバジェットキャップ：暴走コストの実物

claude -pをcronで無人実行する以上、コストの上限は数値で持たないと危険です。現在のスクリプトはこうなっています。

BUDGET_USD=1.20         # 安全上限（Maxは定額。これは暴走防止のキャップ。sonnetはベース負荷が重い）
TIMEOUT_SEC=600
...
( cd "$STAGING" && perl -e 'alarm shift @ARGV; exec @ARGV' "$TIMEOUT_SEC" \
  "$CLAUDE" --strict-mcp-config --mcp-config '{"mcpServers":{}}' -p "$PROMPT" \
  --model sonnet \
  --permission-mode acceptEdits \
  --allowedTools "Write Edit Read" \
  --max-budget-usd "$BUDGET_USD" >> "$LOG" 2>&1 < /dev/null )

この1.20は最初からこの値だったわけではありません。導入直後のログにはこう残っています。

[2026-05-26 04:29:39] harvest start: 5 log(s)
Error: Exceeded USD budget (0.5)[2026-05-26 04:30:00] harvest done (exit 1)
[2026-05-26 04:31:13] harvest start: 3 log(s), digest=   22798B
Error: Exceeded USD budget (0.6)[2026-05-26 04:31:35] harvest done (exit 1)

0.5→0.6と上げてもまだ足りず、exit 1で丸ごと失敗していました。今の1.20はその後の調整の着地点です。--max-budget-usdはCLI側のハード上限で、超えたらツール呼び出しの途中でも打ち切って終了コードを返します。

もう一段、perl alarmによる壁時計タイムアウト（600秒）も掛かっています。トークン予算だけでは「時間」は縛れないからです。実際、直近78回の実行のうち17回（22%）がこのタイムアウトでexit 142終了しています。

grep "harvest done" .harvest.log | grep -oE 'exit [0-9]+' | sort | uniq -c
#   50 exit 0
#   17 exit 142   ← timeout
#   11 exit 1     ← 認証切れ/週次クォータ超過

タイムアウトも認証切れもcreated=0で終わるだけで、リトライはしません。次の3:30まで待って、その日の差分としてまた拾い直されます。

system-reminderノイズを事前にフィルタする

会話ログ1件は数百KB〜700KBあります（note-autolike_*.mdは実測580〜702KB）。これをそのままプロンプトに渡すと、システムリマインダー（スキル一覧やツール一覧の再掲）だけでコンテキストが埋まり、肝心の「何をしてどう解決したか」が埋没します。ダイジェスト生成はここを削っています。

DIGEST=$(mktemp -t skill-harvest)
for f in "${newlogs[@]}"; do
  {
    echo "===== LOG: ${f:t} ====="
    # 巨大な <system-reminder> ブロックを大まかに除去してからバイト上限で切る
    grep -v -e 'system-reminder' -e '^- [a-z0-9].*:' "$f" 2>/dev/null | head -c $PER_LOG_BYTES
    echo
  } >> "$DIGEST"
done

PER_LOG_BYTES=15000、MAX_LOGS=3なので理論上限は45,000B。実際のログのdigest=表示を追うと、18,255B〜45,103Bの範囲に収まっており、設計値どおり頭打ちになっていることが実測で確認できます。

digest=   45103B  (2026-06-12)
digest=   35159B  (2026-07-08〜11)
digest=   29070B  (2026-07-13〜21)
digest=   18255B  (2026-06-26, 07-01, 07-04)

grep -vの2パターンは荒く、system-reminderのXMLタグを厳密にパースしているわけではありません。^- [a-z0-9].*:はスキル一覧の箇条書き（- ad-creative: ...のような行）を潰すための簡易ヒューリスティックです。厳密さより「トークンを食う定型ノイズを機械的に間引く」ことを優先した設計です。

権限の迂回：~/.claudeに直接書かせない

もう1つ地味に重要なのが書き込み経路です。~/.claude配下はClaude Code自身が保護対象にしているため、ヘッドレスジョブに直接書かせようとすると権限で詰まります。そこで一旦ステージングに逃がします。

STAGING=$(mktemp -d -t skill-harvest-stg)
( cd "$STAGING" && ... "$CLAUDE" -p "$PROMPT" \
  --permission-mode acceptEdits \
  --allowedTools "Write Edit Read" ... )

# ステージングで作られた SKILL.md を持つディレクトリだけを AUTO へ取り込む
for sd in "$STAGING"/*(/N); do
  [[ -f "$sd/SKILL.md" ]] || continue
  ...
  cp -R "$sd" "$AUTO/$name" && { echo "CREATED: $name" >> "$LOG"; ((created++)); }
done

プロンプト側にも「カレントディレクトリ直下に相対パスで作れ、絶対パス禁止」と明記しています。Claudeには一時ディレクトリの中だけを触らせ、~/.claude/skills/auto/への実コピーはゲートされていない素のcp（シェル側）が担当する、という役割分担です。コピー時にauthor: autoが欠けていればPythonで挿入し、Curatorが対象を判定できる状態を保証してから取り込みます。

実測：78回のバッチ実行と118個のスキル

$ find ~/.claude/skills/auto -maxdepth 1 -type d ! -name '.*' | wc -l
118

前回記事の時点で64個だったので、この2ヶ月半で倍近くに増えています。ただし新規作成イベント（CREATED:）自体は78回中20回だけで、残り60回近くはcreated=0（重複判定・空振り・失敗）です。「乱造しない」設計のとおり、実行回数と生成数はきれいに一致しません。

直近の生成例を見ると、harvestが拾っている手順はかなり実務的です。

• conv-log-content-date-filter（2026-08-03）― 一括syncでmtimeが13,809件全滅した実例と、本文の日時:フィールドでフィルタする回避策
• automation-bool-selector-pitfalls（2026-08-09）― 自動化レーンが止まる真因の大半が「boolean戻り値抜け」と「documentスコープの広すぎるセレクタ」だったという横断診断
• conv-log-overlap-routing（2026-07-29）― 同一プロジェクトの会話ログをwikiへ追記するか新規作成するかの判断ルール

いずれも「一度ハマった問題の解き方」がそのまま手順化されていて、次に同じ現象が起きたときClaudeが自分で参照できる形になっています。

踏んだ落とし穴

• find -newer+ls -tは引数が万単位になると無言で死ぬ → zsh:7: argument list too long。2>/dev/nullで握りつぶされ、空のログエントリとして処理が継続してしまう。現在進行形（2026-08-01〜08-10、10日連続で空振り）
• コスト上限は最初から適正値ではなかった → 0.5→0.6で導入初日に2回失敗し、現在の1.20に落ち着いた。数値は経験的に上げていくもの
• --max-budget-usdだけでは時間は縛れない → perl alarmによる壁時計600秒timeoutを別掛け。それでも直近78回中17回（22%）はタイムアウトで終わっている
• ~/.claudeは自分自身の保護対象 → ヘッドレスジョブは一時ディレクトリに書かせ、コピーだけシェル側の素のcpにやらせる
• 会話ログのnoise除去は正規表現の当てずっぽう → system-reminderと箇条書きスキル一覧を粗く除外するだけで、45,000B上限に収まる程度には効いている
• OAuthセッションが切れると2日連続で全滅する → Failed to authenticate: OAuth session expiredがexit 1で記録されるだけで、自動リトライも通知もない

まとめ

• 夜間バッチはwatermark(mtime差分)+バイト上限ダイジェストで18,926件の会話ログから差分だけを安く処理する設計
• コストは**--max-budget-usdの数値上限＋壁時計timeout**の二重で止める。上限値は運用しながら上げていくもの（0.5→0.6→1.20）
• system-reminderノイズは正規表現で粗く事前除去し、プロンプトサイズを実測18KB〜45KBに抑えている
• ~/.claudeへの書き込みは自己保護と衝突するため、ステージング→シェル側コピーで迂回する
• watermark判定はfind -newerに依存しており、mtimeが汚染されると無言で壊れる。これは harvest が過去に自分で見つけて記録した教訓（conv-log-content-date-filter）が、harvest自身にはまだ反映されていないという構造的な穴

次回はこの118個をCuratorがどう間引くか、実際の.curator-proposals.mdを見ながら書きます。

---

Lily（@bokuwalily）― 個人開発者。Claude Code で自動化基盤を組みながら、iOSアプリやWebサービスを量産しています

• AIで「寝てても回る仕組み」を作って月120万にした話は noteの有料記事 に💰
• OSS: github.com/bokuwalily 🐙
• 最新情報・お問い合わせは X @bokuwalily へ🌍

皆さんの ❤️ やシェアが励みになります！