AIの嘘は、根性で見張るな。“仕組み”で封じろ
――いつもの喫煙所。カズが、赤ペンを耳に挟んだまま入ってきた。
その赤ペン、なんの構えだ
AIの答えの検品だよ。今日もう3件目。市場調査を頼んだら実在しない調査会社が出てくる、要約させたら資料に無い結論が足されてる。教わったとおり裏は取ってるよ? 取ってるけどさ……俺、いつからAIの検品係になったんだ?
立派になったもんだ。1年前は嘘に気づきもしなかったのに
褒めるな。疲れてんだよ。毎回毎回、固有名詞を検索して、数字の出典を確かめて。この作業、終わりあるのか?
終わりはない。が、量は減らせる。カズ、検品で嘘を捕まえるのは、もう出来てる。次の段階はな——嘘が出てから捕まえるんじゃなくて、出にくくする仕組みを、頼み方に最初から組み込むことだ
仕組み?
前に教えた対策、覚えてるか。①根拠を聞く、②固有名詞と数字は裏取り、③『分からないなら分からないと書け』
覚えてるよ。使ってるし
毎回か?
……思い出した時だけ
そこが穴だ。思い出した時だけの安全装置は、安全装置じゃない。シートベルトを『危なそうな道だけ』締めるやつがいるか。だから今日は、あの対策を毎回自動で効く標準装備に変える。頼み方の文面に、最初から焼き込むんだ。装備は3つある
ひとつ、逃げ道を書く。『分からない場合は、推測せず「分からない」と書くこと』——この一文を頼みの最後に入れとく。ふたつ、根拠を義務にする。『それぞれの答えに、何に基づくかを添えること』。資料を渡す仕事なら『まず該当箇所をそのまま引用してから、答えを書くこと』まで縛る。引用させると、資料に無いことは書きにくくなるし、カズの検品も引用と原文を照合するだけになって速い。みっつ、出場範囲を区切る。『この資料に書いてあることだけで答えること。書いてなければ「資料に記載なし」と書くこと』——前に持ち込み試験の話をしたろ。あれを持ち込み資料”限定”試験にするんだ
逃げ道、根拠、範囲か。……あれだな、工場でいえば、出荷した後に客先で不良を見つけるんじゃなくて、ラインの中に検査工程を組み込むわけだ
うまいこと言うな。そのとおりだ。不良は出てから拾うほど高くつく。ラインで止めろ
いや、でも待てよ。逃げ道なんか与えたら、あいつら楽して『分かりません』を連発しないか? ただでさえ自信満々なのに、今度は自信なさすぎになったら仕事にならんだろ
いい質問だ。それ、ちゃんと数字で確かめたやつらがいる
💡 アキの補足：「逃げ道」は甘やかしじゃない——嘘が3分の1になる 「前に、AIは『空欄は0点・当てずっぽうは加点』のマークシート採点で育った優等生だ、って話をしたな。あの話の元になったOpenAIの論文には、続きの数字がある。クイズ試験（SimpleQA）で、2つのAIを比べたんだ」 「強気の旧型は、棄権率1%。ほぼ全問に答えて、誤答率75%。4問に3問、自信満々の嘘だ。いっぽう**『分からない』と言える新型は、棄権率52%。そのかわり誤答率は26%**。嘘が3分の1になった。で、肝心の正答率は——24%と22%、ほぼ同じなんだよ」 「分かるか。逃げ道を与えても、正解は減らない。当てずっぽうの嘘が、正直な『分からない』に付け替わるだけだ。だからAnthropicの公式ガイドも、幻覚対策の筆頭にこれを挙げてる——『Claudeに”分からない”と言う許可を与えよ』。逃げ道の一文は甘やかしじゃない。採点方式の上書きなんだ」
嘘が75%から26%て……。で、正解はほぼ減らないのか。じゃあ書かない理由がないな
ないんだ。なのにみんな書かない。『分からない』って言われるのが、なんとなく損した気がするからな
耳が痛いわ。答えっぽいものが返ってくると、仕事した気になるんだよ
よし、3つとも入れる。……これで俺の検品、いらなくなるんだよな?
ならない
ならないのかよ!
仕組みは嘘を減らすが、ゼロにはしない。さっきの数字でも26%は残ってたろ。最後の関門は変わらず人間だ——合言葉、言ってみろ
はいはい。たたき台はAI、最終判断は人間。……でもあれか、さっきの工場でいえば、全数検査が抜き取り検査になるってことか。引用の照合だけなら一瞬だし
そういうことだ。検品係は廃業できないが、残業はなくなる。あと、3つの装備を毎回手で打つのが面倒なら、定型文にして保存しとけ。頼み方ってのは、良いやつほど使い回しが効く——その話はいずれ、たっぷりやる
まとめるぞ。嘘対策は根性の検品から、頼み方の標準装備へ。逃げ道を書く、根拠と引用を義務にする、出場範囲を区切る。以上だ
よし、じゃあ早速この喫煙所にも標準装備を導入するぞ。——アキ、今後の豆知識は**『根拠を添えること。無ければ「出典なし」と申告すること』**。これ、標準な
断る
即答すんな
その装備を入れたらな、俺の豆知識はほぼ全部に『出典なし』のラベルが付く
一番大事な情報が自己申告で出てきたな
それに前に言ったろ、俺の嘘豆知識は教材だ。ラインで全部止めたら、お前の検品の腕が鈍る
不良品を『教材です』で通そうとするライン、うちの会社なら止まってるぞ
📝 今日のまとめ
- 嘘の対策（根拠・裏取り・分からないと言わせる）を**「思い出した時だけ」やるのは安全装置になっていない**。頼み方の文面に最初から焼き込む＝標準装備にする（検品で拾うのでなく、ラインに検査工程を組み込む）。
- 標準装備は3つ：①逃げ道（「分からない場合は、推測せず『分からない』と書くこと」）／②根拠と引用の義務化（「何に基づくかを添えること」「まず該当箇所を引用してから答えること」）／③出場範囲の限定（「この資料に書いてあることだけで。無ければ『資料に記載なし』と書くこと」）。
- 逃げ道は甘やかしではない：OpenAIの実験で、棄権1%のAIは誤答75%、「分からない」と言えるAIは棄権52%で誤答26%——正答率はほぼ同じ（24%対22%）のまま、嘘だけが3分の1になった。
- それでも嘘はゼロにならない。最終判断は人間——ただし引用の照合だけなら、全数検査が抜き取り検査になる。3つの装備は定型文にして保存し、使い回す。