AIの運用は、モデルを切り替えたその日に、静かに止まることがほとんどです。私は運用の知識をチャット画面から取り出し、どのモデルでも拾って続けられる文書に移すことで、止めずに済むようにしました。
課題
AIを業務で使い込むと、いずれ同じ壁に当たります。丁寧に調整した手順が、1つのチャットセッション・1つのモデルの中にしか存在せず、会話を重ねて積み上げた前提によってかろうじて成り立っている状態です。新しいモデルに切り替える、セッションを開き直す、自律型のコーディングエージェントに作業を渡す。何か1つ変わった瞬間に積み上げた前提は消え、品質が崩れます。事業のこと、制約、品質の基準を、また一から説明し直すことになります。私はこれを「コンテキスト税」と呼んでいます。モデルの入れ替わりが起きるたびに税は重くなり、最近はそれが数週間おきに起きています。
複数の案件を一人で回す立場にとって、この税は小さな不便では済みません。事業の存続に関わる問題です。特定のモデルが読み込まれ、特定のチャットが生きている間しか回らない運用は、運用とは呼べません。毎回記憶を頼りに組み直す、壊れやすい一発勝負です。しかも知識が私の頭と使い捨てのセッションの中にしかないため、人に任せることも、後から点検することもできません。今日の成果物が先週と同じ基準で作られたと信じる根拠もありませんでした。
診断
原因はモデルではありませんでした。運用の知識が置かれている場所が間違っていたのです。知識は消えてしまうセッションの中にあり、残って持ち運べる文書になっていませんでした。作業の進め方についてモデルが「知っていること」はすべて暗黙知で、セッションのたびに一から組み立て直され、セッションが終われば失われていました。
こう診断したことで、漠然とした不満が、具体的な要件の一覧に変わりました。運用の知識は、次の4つを満たす必要がありました。
- 正本として1か所に書かれていること
- どのモデル・エージェントでも、作業に触れる前に読めること
- 決して起きてはならないことと、人が必ず握るべきことが明記されていること
- モデル自身の自己評価以外の仕組みで守らせること
4つ目が必要なのは、何度確かめても、自分の成果物を自分で採点させると点数が決まって甘くなったからです。4つのうち1つでも欠ければ、コンテキスト税は一部残ります。
打ち手
運用手順の全体を、持ち運べるスキルファイル(SKILL.md)1枚に書き出しました。Claude Fable でも Opus でも自律型のコーディングエージェントでも、作業を始める前に必ずこのファイルを読みます。中身は優先順に並べています。
- Hard Rules — 譲れない制約です。命名規則、秘密情報の扱い、そして過去に本番環境を壊した具体的な事象を書いています。一例として、CDN(コンテンツ配信サービス)のメールアドレス難読化機能が、バージョン表記に含まれる「@」を黙って書き換え、ページタイトルを壊したことがありました。この教訓はいまでは明文化されたルールです。次のセッションが同じ失敗から学び直す必要はありません。
- 作業ごとの完了定義(Definition of Done) — フェーズごとの合格ゲートと、不合格時の分岐(ON FAIL)を明記しています。「終わった」の意味が、どのモデル・どのセッションでも同じになります。
- 人だけが担う範囲 — 認証、支払い、コードのマージ、最終の送信・提出は、エージェントがどれほど有能に見えても任せず、必ず人が握ります。
- 採点ルーブリック(プロセス30点+品質40点+データ30点、70点未満は自動で差し戻し) — 作成者とは別のAIセッションが、あら探し役のレビュアーとして採点します。作る側と見る側を分けることが、この仕組みの要です。点数が甘くならないのは、この分離があるからです。
大事なのは、どれも特定のモデルに依存していないことです。このファイルに書いてあるのは「どのモデルがやるか」ではなく、「作業をどう進め、どう確かめるか」です。だから、モデルが更新されても生き残ります。
結果
- 新しいセッションや別のモデルが、説明し直しなしで作業を再開できるようになりました。新しいモデルへの引き継ぎは、1時間かけて前提を説明し直す代わりに、ファイルを1枚読ませるだけで済みます。
- 「完了しました」という自己申告を、そのまま受け取らなくなりました。独立したレビューの工程が、「指標は通った」と「目的が実際に達成された」のずれを繰り返し捕まえています。自律型のエージェントが誤って勝利宣言をしがちなのは、まさにこの部分です。
- 同じ4段階のループ(計画→自律実行→あら探しレビュー→修正)を、自社運営のニュースサイト、動画制作パイプライン、iOSアプリの3つで回しました。案件ごとに作った壊れやすい手順を3つ持つのではなく、共通の方法を1つ使う形です。
- モデルの更新は、混乱の原因から、単純な性能向上に変わりました。同じ運用ファイルが、より強いエンジンの上でそのまま動きます。
貴社業務への示唆
価値があるのは、気の利いたプロンプトではありません。エージェントの周りに書き出された仕組みです。ルール、品質の合格ライン、そして何かがうまくいかなかったときに誰が責任を持つかの線引き。その仕組みは、御社のチームが持つ1つの文書になります。私が引き受け、最後まで仕上げるのは、まさにこの仕事です。