AI導入の相談を受けていると、かなりの確率で聞かれる質問があります。「これ、全部おまかせにできますか」。
気持ちはよく分かります。人手が足りないからAIを入れるわけで、任せられるなら丸ごと任せたい。当然だと思います。
それでも私は、「全部おまかせできます」とは言いません。売り文句として弱いのは承知のうえです。理由は単純で、AI導入の事故はたいてい、「全部おまかせ」にした部分で起きるからです。
では、何を人が握っておくべきなのか。今回はそれを、なるべく具体的に書きます。
事故は「作る」ではなく「確かめない」で起きる
前回、自社で運営しているメディアの話を書きました。AIで700ページ近く量産したのに、残す価値があると言えたのは実質4ページだった、という話です。
あのとき起きていたことを一言でいえば、作る工程だけをAIに任せて、確かめる工程を誰も握っていなかった。作るのは速いので、量だけはどんどん増える。「これは公開していいのか」を判断する人がいないまま、増え続けていました。
記事に限った話ではありません。たとえば——
- 生成した提案書が、そのまま顧客に送られてしまう
- 商品説明文に事実と違う数字がまぎれたまま、公開される
- 問い合わせ対応を任せたら、言ってはいけない約束をしていた
どれも、AIが間違えたこと自体が問題なのではありません。AIは間違えます。人も間違えます。まずかったのは、間違いが誰にも止められず素通りする設計になっていたことのほうです。
「全部おまかせ」は、責任の持ち主が消えること
もうひとつ、見落とされがちな問題があります。「全部おまかせ」にした瞬間、事故が起きたとき誰が責任を持つのかが宙に浮く、ということです。
顧客に間違った請求書が届いたとしましょう。原因はAIの自動処理でした。このとき「AIがやったことなので」とは言えません。顧客から見れば、あなたの会社が出した請求書です。
だから私は導入設計のとき、最初に決めることがあります。「ここで事故が起きたら、最後に誰が責任を持つか」。そして、その人が判断すべき箇所はAIに渡しません。
私が慎重な性格だから、ではないのです。仕組みは自動にできても、責任は自動になりません。責任の持ち主を設計から消さない。それだけの話です。
「握る範囲」を先に決める
具体的にどこを人に残すか。私が原則としてAIに渡さないのは、このあたりです。
- お金が動く操作。請求、支払い、金額の確定。最後のボタンは人が押す
- 外に出る文面の最終確認。顧客に届くメール・提案書・公開記事は、出す一歩手前で人が見る
- 認証情報やパスワード。そもそもAIに渡さない前提で組む
- 「出していいか」の最終判断。作らせるのはAI、出すと決めるのは人
ポイントは、この範囲をあとから決めないことです。トラブルが起きてから「ここは人が見ればよかった」では遅い。私は導入の指示書に最初から「ここは人間だけ」という欄を作り、何を入れるかを顧客と一緒に決めています。
面白いもので、握るところがはっきりしているほど、任せられる範囲は広く取れます。「全部おまかせ」より「握るところを決めておまかせ」のほうが、結果的に手放せる仕事は多いのです。
それでも速さは失われない
「結局、人の手間は減らないのでは」と思われたかもしれません。そうはなりません。人が握るのは判断の一点だけで、作業そのものはAIに任せるからです。
提案書なら、たたき台を作るのも、体裁を整えるのも、過去の事例を引いてくるのもAI。人がやるのは、最後に「これで出す」と決める一手だけです。前回書いた「検品の仕組み」も同じ考え方の延長にあります。基準に満たないものは自動で差し戻し、人は基準を決めて、例外だけを見る。全部を見張るのではなく、握るべき一点だけを握る。速さと安全は、この形なら両立します。
任せる範囲より先に、握る範囲を決める
「AIに全部おまかせできます」は、耳ざわりのいい言葉です。ただ、その「全部」の中には、本当は人が握っておくべき判断が、まず間違いなく混ざっています。
AIに任せられる範囲は、これからも広がります。それでも、事故のとき最後に責任を持つのは人のままです。もし「どこまで任せていいか分からない」と感じているなら、決める順番を変えてみてください。任せる範囲からではなく、握る範囲から決める。それだけで、ずいぶん迷いが減ります。
私はいま、この「握る範囲を決めてから任せる」設計を、中小企業向けにお手伝いしています。詳しくは Guardrail Ops に。
Guardrail Ops(Hirotoshi Yamaguchi)— AIエージェントを、仕組みで回す。お問い合わせ