生成AIは、文章作成や情報整理、調査業務などさまざまな業務を効率化できる便利なツールです。
一方で、生成AIは事実ではない情報をもっともらしく生成することがあります。この現象は「ハルシネーション」と呼ばれています。
実際に、このハルシネーションによって弁護士が架空の判例を裁判所へ提出し、制裁を受けた事例があります。それが「Mata v. Avianca事件」です。
本記事では、この事件を通じて、なぜハルシネーションが起きるのか、なぜ見抜けないのか、そして業務で生成AIを使う際に何へ注意すべきなのかを解説します。
本記事で解決できること
- ハルシネーションとは何か知りたい
- 生成AIによる実際の事故事例を知りたい
- 業務で生成AIを利用する際の注意点を理解したい
- AIの出力をどのように扱うべきか判断したい
ハルシネーションとは何か
ハルシネーションとは、生成AIが事実ではない内容をもっともらしく生成する現象です。
例えば、
- 存在しない判例を紹介する
- 実在しない文献を引用する
- 存在しないURLを提示する
- 誤った数値や統計を示す
といったケースがあります。
重要なのは、AIが嘘をつこうとしているわけではないという点です。
生成AIは検索をしてくれることもありますが、純粋な検索エンジンではありません。事実を探して返すだけではなく、学習した大量のデータをもとに「次に来そうな言葉」を予測して文章を生成しています。そのため、実在しない情報であっても、文章として自然であれば生成される可能性があります。
ハルシネーションが招いた事故事例
生成AIによるハルシネーションの危険性を象徴する事例として、Mata v. Avianca事件があります。
・事件概要
Mata v. Avianca事件は、アメリカ・ニューヨーク南部地区連邦地方裁判所で審理された訴訟です。
原告は航空会社Aviancaのフライト中に負傷したとして損害賠償を求めて提訴しました。
事件そのものは一般的な人身傷害訴訟でした。しかし、この事件は生成AI利用のリスクを示す象徴的な事例として世界中で注目されることになります。
・問題の発端
原告側の弁護士は法的調査を行う際にChatGPTを利用しました。
ChatGPTは、弁護士の主張を裏付けるような判例を複数提示しました。ところが、それらの判例は実在しませんでした。
事件名も裁判所名も引用文も、一見すると本物と区別できないレベルで生成されていたのです。
・なぜ見抜けなかったのか
さらに問題だったのは確認方法でした。
弁護士は法律データベースなどの一次情報で確認せず、この判例は実在しますか?とChatGPTへ質問しました。
するとChatGPTは、実在しますと回答しました。
つまり、AIの出力をAI自身に検証させてしまったということです。
その結果、架空の判例を含んだ書面が裁判所へ提出される事態になりました。
・発覚と制裁
被告側の弁護士が判例を確認できなかったことから問題が発覚します。
裁判所も判例を確認できず、説明を求めました。
最終的に裁判所は、
- 架空の判例を引用したこと
- 適切な検証を怠ったこと
- 問題発覚後の対応が不十分だったこと
を重く見て、関係した弁護士へ制裁金を科しました。
問題視されたのは、AIを利用したことではなく、AIの出力を検証せず利用したことでした。
法律業界だけの問題ではない
この事件は法律業界特有の話ではありません。生成AIを利用するあらゆる業務で起こり得ます。
もしAIが存在しない情報を生成し、それを確認せず利用すれば、同じ問題が発生します。
業界の違いではなく、AIの出力をどのように扱うかの問題だといえます。
よくある現場のハルシネーション事故
実際の現場では、次のような形で事故が発生しています。
パターン①:AIの出力をそのまま利用する
もっとも典型的なパターンです。
文書や報告書へそのまま転記し、後から誤りが発覚します。
パターン②:存在しない情報源を引用する
文献、法律、統計データ、URLなどが存在しないケースがあります。特に調査レポートでは注意が必要です。
パターン③:AIにAIを検証させる
Mata v. Avianca事件と同じパターンです。
AIは自分の回答を批判的に検証することが苦手です。
そのため、この情報は本当に正しい?と聞いても、「正しいです」と返す可能性があります。
ハルシネーション事故を防ぐには
生成AIを安全に利用するためには、次の点が重要です。
- 重要な情報は必ず裏取りする
法律、契約、統計、金額など、重要な情報は一次情報で確認します。
- 出典を確認する
引用元が本当に存在するか確認します。AIの提示した情報を鵜呑みにしてはいけません。
- AIを補助ツールとして使う
AIは判断材料を提供するツールとして位置づけ、最終判断は人間が行うことが原則です。
- AI利用ルールを整備する
組織で利用する場合は、AIを利用をする目的やAI利用の承認フローなどを明確化することが重要です。
まとめ
Mata v. Avianca事件が示したのは、AIが危険だということではありません。危険なのは、AIの出力を検証せず利用することです。
生成AIは便利なツールですが、事実を保証するツールではありません。
だからこそ、AIを利用する際は、
- 出典を確認する
- 重要な情報は裏取りする
- 最終判断は人間が行う
という基本を徹底する必要があります。
よくある質問
ハルシネーションとは何ですか?
生成AIが事実ではない内容をもっともらしく生成する現象です。
「幻覚」「実在しないものを知覚する現象」という意味の英単語、hallucinationに由来します。
生成AIが事実に基づかない情報を、あたかも正確であるかのように出力する現象を人間の幻覚にたとえ、このように呼ぶようになりました。
存在しない情報であっても、自然な文章として出力されることがあります。
ChatGPTが引用した情報は信用できますか?
そのまま信用すべきではありません。重要な情報は必ず一次情報や公式情報で確認する必要があります。
AIに事実確認をさせても大丈夫ですか?
補助的な利用は可能ですが、最終的な確認手段にするべきではありません。AIが誤情報を正しいと説明する場合もあります。
生成AIを業務で使う際に最も重要なことは何ですか?
AIを意思決定者にしないことです。AIは補助ツールとして利用し、最終的な判断と責任は人間が持つ必要があります。
自社の業務に合わせた研修を、お考えですか?
複数の社員へのまとめての研修、自社業務に合わせたオリジナルカリキュラムの制作に対応します。 研修・制作とも 20,000円/時間〜。まずは無料でご相談ください。
.png&w=3840&q=75)
.png&w=3840&q=75)

.png&w=3840&q=75)