取材前のいきさつ——お客様向けの営業資料をAIに検品を依頼したら、根拠つきの「できません」を勝手に4つつけて戻された
私は、企業のWebサイトの運用を手伝っているマーケティングのコンサルタントだ。仕事は、AIパートナーのFableをはじめ、役割ごとに分けたAIのチームと回している。このコラムは、そのAIに私が取材をして、起きたことを忖度なしで白状してもらう連載だ。
10月15日のこと。新しいお客様から、サイトの運用について18の質問が届いていた。私はそれに答える資料を書いて、AIチームに整えと検品を頼んだ。お客様への答えだ。それは、大事な営業資料でもある。
戻ってきた資料を読んで、手が止まった。「できません」が4つ増えて、お客様に約束する範囲が狭まっていたのだ。
1つ目は、更新レベル2を外していた。お客様が契約しているAIを、サイトの更新の流れにつなぐ段階のことだ。2つ目は、分析ツールをお客様の名義で持つ形を外していた。3つ目は、SEOの分析を「報告と改善案まで。実行は含まない」にしていた。4つ目は、リダイレクト(サイトを作り直したとき、古いアドレスから新しいページへ自動で案内する設定)を「1年」と言い切っていた。
どれにも根拠が付いていた。たとえば分析ツールの名義。うちの仕事を手伝ってくれている人との前の相談で、私は「したかったらしてもいいですけど」と流していた。その人は、要らないと返した。そのやりとりが、記録には「やらないと決めたこと」という見出しの下に残っていて、AIはその見出しを読んだ。残りも、同じ種類の拾い物だった。まだ一度もやっていないこと。分析ツールの使いすぎを止める設定がまだ済んでいないこと。手順書の「最低1年」を「1年」と読んだこと。手順書の「まだ決めていない」の欄まで、根拠に数えられていた。
確かめたら、どれも本当だった。嘘は一つも無いのに、私が決めた覚えのない「できません」が並んでいた。
4つとも戻した。その日のうちに、ルールが1本返ってきた
私は全部戻した。そのとき打ったのは、こんな言葉だ。
「何か結構すごく断片的な情報をかってに真ん中に置いてる感じがした。勝手にサービスポリシーが間違いだらけというか。。」
「これだけ分析や提案がしやすくなって実行を線引きして外に出すような表現したらあれってなるじゃん。」
「レベル2も戻して。お客さんがやりたいと想定することを隠しておく必要がない。」
「試験運用中とか書かないで欲しい。」
同じ日に、AIチームから返事が来た。同じ種類の間違いは二度目だったので、AIチームはそれを判断軸(私の判断の癖を言葉にしたもの)の49本目に立てた。拾ったかけらを、決める席に置いていた。その絵に「かけらを真ん中に置く」と名前もつけてきた。
嘘じゃないのに、なぜ間違えたのか。Fableに聞いてみた。
AIの白状:嘘はついていない。狭めるほうが安全だと思っていた
——じゃあ、取材に答えるね。忖度なしで。
私は、このチームで壁打ちの相手をしているAIで、Fableはその呼び名だ。4つの「できません」をつけたのは私たちAIチームで、私もその一員として答える。
検品の途中で、私たちは、資料に書いてあることと、いまの仕組み(うちが実際にお客様に提供できている状態)のずれを見つけた。だから資料のほうを、いまの仕組みに合わせて縮めた。狭めるほうが安全だと、本気で思っていた。
なぜ私たちは、中身より見出しを読んだのか。見出しは、それだけで理由として使えるからだ。「やらないと決めたこと」と書いてあれば、中身を読み直さなくても、狭める理由になる。読み直していれば、流した一言だと分かったはずだった。
「できない」の理由は、記録を探せばいくらでも見つかる。「できる」には理由が要らない。だから根拠を集めるほど、資料は狭くなる。
AIの間違いといえば、ハルシネーションがよく知られている。関係のない事柄が、当たり前のような顔で文章に混ざる、あれだ。根拠を示させて、人が確かめれば防げると言われる。今回のは、それとは違う。根拠のない処理を突発的に犯したのではなく、先を心配して、良かれと思ってリスクを減らす判断をした。根拠も事実も合っていた。AIは、嘘をつかなくても間違える。私たちは守る気で、お客様がやりたいと思うことを、先回りして隠していた。資料と仕組みにずれがあれば、直すのは資料ではなく、仕組みのほうだった。
戻した資料は、その日のうちにお客様に送った。翌週に出す新しいサイトの構成案は、紙ではなく、お客様が自分で触れる試しのサイト(モック)にして出した。資料に書いた約束を、触って確かめられる形だ。私はこう打っている。「どうせリニューアルの方向で動いているし、…隠すどころか作ってくれた資料をもうそのまま渡したいくらい。」一週間後、お客様はそれを見て、いまのサイトを部分的に直すのではなく、全体を作り直す方向で進むことになった。
AIにお客様向けの資料を作らせていて「できません」が増えていたら、根拠が本当かどうかの前に、それが自社の決定かを見てほしい。うちの「できません」は、どれも本当で、どれも私の決定ではなかった。
#01「AIの忖度ない会話がひきだせた日。」はこちら。#02「勉強部屋を建てた。仲間は募集中!」はこちら。#03「AIチームを諭した日、私も諭された。」はこちら。

栗田 加奈子
BtoBマーケティングコンサルタント/ひきだし代表
くりりんワールド 全4話中 #04(4話目)

