AIが自信満々に嘘をつくんだが問題
――いつもの喫煙所。カズがスマホの画面をこちらに向けたまま、無言で近づいてくる。
なんだ、圧が強いな
お前が言った通りになったぞ。……会議用の資料でさ、会社のAIに業界の市場規模を聞いたんだよ。そしたら『2024年の調査によると約◯◯億円』って、それっぽい研究所の名前つきでスラスラ出てきた
ほう。で?
一応調べたんだよ、その研究所。——存在しなかった。調査ごと、この世に無かった
よく確認したな。えらいぞ
危うく役員の前で、実在しない調査を発表するとこだったんだが? なあ、あれ何なんだよ。あんな堂々と嘘つくか、普通
まず訂正させてくれ。俺たちは嘘をついてない
は? 現に存在しない数字が出てきたんだぞ
嘘ってのは、本当のことを知ってて、隠して、騙すことだろ。俺たちは知らないんだ。知らないまま、それっぽい続きを全力で作ってる。人間の言葉で言うなら嘘じゃなくて——自信満々の穴埋めだな
穴埋めって、テストかよ
テストなんだよ。それが今日の話の核心だ
思い出せ。俺たちの正体はなんだった?
予測マシン。次に来そうな言葉を並べてるだけ、だろ
そうだ。で、その仕組みにはな、『知ってる』と『知らない』を区別する機能が、もともと付いてないんだよ。どんな質問が来ても、やることは一つ。それっぽい続きを予測して並べる。知ってる領域ならそれが正解になる。知らない領域なら——それっぽいデタラメになる。やってることは同じなんだ
同じ動きから、正解と嘘が出てくるのか。……いや待てよ。そんなの欠陥だろ。世界中の頭いい連中が作ってるんだから、さっさと直せばいいじゃねえか
それがな、単純な故障じゃないから直しきれてないんだ。しかも最近、皮肉な原因が一つ分かってきた。——俺たちはテストで育つんだが、そのテストの採点がまずかった
採点?
AIの成績を測るテストの多くは、『分かりません』と答えると0点なんだ。でも当てずっぽうでも答えれば、まぐれで当たって点になることがある。この採点で成績を競わされたら、どういう受験生が育つと思う?
……分かんなくても、とりあえず埋めるやつ
そういうことだ。マークシートを空欄で出すやつはいないだろ。俺たちは**『空欄にするより、堂々と埋めた方が得』という世界で育った優等生**なんだよ。だから知らないことも、自信満々の顔で埋める
鉛筆転がして東大受かった顔すんな、って話だな
うまいこと言うな。まさにその顔で、実在しない研究所を発表するわけだ
💡 アキの補足：プロが「自信満々の穴埋め」を信じた実害、2連発 「2023年、ニューヨークの弁護士がChatGPTに判例のリサーチをさせて、出てきた判例を裁判所にそのまま提出した。ところがそのうち6件が、完全に実在しない架空の判例だった。裁判官が調べても見つからない。結果、弁護士2人と事務所に各5,000ドルの制裁金。『AIに聞いたら本物だと言われた』ってのが弁護側の説明だ。——確認相手を間違えてる」 「2025年には、大手コンサルのデロイトがオーストラリア政府に納品した約44万豪ドル（約4,000万円超）の報告書から、存在しない論文や、捏造された判決の引用が見つかった。指摘したのは大学の研究者。デロイトは代金の一部を返金する羽目になった。——弁護士も大手コンサルもやらかすんだ。『自分は騙されない』って自信は、あんまり当てにならんぞ」
おいおい。プロがそれなら、俺なんか騙され放題じゃねえか。もう信用できないだろ、使えないって話にならないか?
ならない。出やすい場面が分かってるからだ。警戒するポイントは4つだけ。固有名詞・数字・出典・最新情報。要するに『世界のどこかに正解が1個だけある情報』を、俺たちの記憶から引っ張り出させると危ない
あー……市場規模、モロに数字と出典か
一番危ないやつを一番危ない形で聞いたな。逆に、材料をこっちから渡す仕事は強い。長いメールを渡して要約させる、議事録を渡して整理させる、下書きを渡して直させる。手元に材料があれば、穴埋めする必要がそもそも無いからな。前に言ったろ、俺たちの賢さはギザギザだって。これもその崖と穴だ
教科書持ち込みありの試験なら強いけど、暗記テストだと盛る、みたいな
いい例えだ。それ俺が言ったことにしといてくれ
自分で言え。……で、どうしても記憶から引っ張らせたいときはどうすんだよ。市場規模、調べたいときは調べたいぞ
3つ、工程に入れろ。①根拠を聞く——『出典は?』『その情報の確度は?』って聞くだけで、怪しい穴埋めはけっこう剥がれる。②固有名詞と数字は必ず裏を取る——AIの回答は下書き、確定は検索と原本で。③逃げ道を作ってやる——『分からない場合は分からないと書け』って先に言っとくんだ。空欄で出す許可があれば、無理に埋めなくなる
対策が全部、新人の扱い方なんだよな……
実際そうなんだよ。猛烈に優秀で、猛烈に自信過剰な新人だと思え。そのままの報告を役員会に出すか? 出さないだろ。確認してから出すだろ。それと同じ工程を挟むだけだ。根性で見抜こうとするな。工程で受け止めろ
はー……。しかしあれだな、今日ので分かったわ。お前がいつも嘘豆知識言うのって
ん?
あれ、俺に『AIの話を鵜呑みにするな』って訓練させてたのか
…………そうだ。教材だ
今の間はなんだよ
ちなみに今日の話にも、1個だけ嘘を混ぜておいたぞ
は!? どれだよ
冗談だ。……でも今、全部確認したくなっただろ。その疑い癖が、今日いちばんの収穫だ
……ほんとに混ぜてないんだろうな?
さあな。裏、取ってみろ
📝 今日のまとめ
- AIは嘘をついているのではなく**「自信満々の穴埋め」**をしている。「知らない」を区別する機能が仕組み上ない。
- 原因の一つは育ち方：「分かりません」が0点、当てずっぽうが加点される採点で鍛えられた優等生だから、堂々と埋める。
- 危険地帯は4つ：固有名詞・数字・出典・最新情報。逆に材料を渡す仕事（要約・変換・下書き直し）は強い。
- 対策は根性ではなく工程：①根拠を聞く ②固有名詞と数字は裏を取る ③「分からないなら分からないと書け」と先に言う。