論文の概要: Hallucination is Inevitable for LLMs with the Open World Assumption
- arxiv url: http://arxiv.org/abs/2510.05116v1
- Date: Mon, 29 Sep 2025 13:38:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-08 17:57:07.815019
- Title: Hallucination is Inevitable for LLMs with the Open World Assumption
- Title(参考訳): オープンワールドを前提としたLLMにとって幻覚は必然である
- Authors: Bowen Xu,
- Abstract要約: 大言語モデル(LLM)は印象的な言語能力を示すが、不正確または製造されたアウトプットも生成する(しばしば幻覚と呼ばれる)。」
本稿では,一般化問題の顕在化として「幻覚」を再構成する。
- 参考スコア(独自算出の注目度): 10.473344768196908
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) exhibit impressive linguistic competence but also produce inaccurate or fabricated outputs, often called ``hallucinations''. Engineering approaches usually regard hallucination as a defect to be minimized, while formal analyses have argued for its theoretical inevitability. Yet both perspectives remain incomplete when considering the conditions required for artificial general intelligence (AGI). This paper reframes ``hallucination'' as a manifestation of the generalization problem. Under the Closed World assumption, where training and test distributions are consistent, hallucinations may be mitigated. Under the Open World assumption, however, where the environment is unbounded, hallucinations become inevitable. This paper further develops a classification of hallucination, distinguishing cases that may be corrected from those that appear unavoidable under open-world conditions. On this basis, it suggests that ``hallucination'' should be approached not merely as an engineering defect but as a structural feature to be tolerated and made compatible with human intelligence.
- Abstract(参考訳): LLM(Large Language Models)は印象的な言語能力を示すが、不正確または製造された出力も生成する('hallucinations')。
工学的なアプローチでは、幻覚を最小化すべき欠陥と見なすのが一般的であるが、形式的な分析はその理論的な不可避性について論じている。
しかし、人工知能(AGI)に必要な条件を考えると、どちらの視点も不完全である。
本稿では,一般化問題の顕在化として ``hallucination' を再考する。
訓練とテストの分布が一貫したクローズドワールドの仮定の下では、幻覚は緩和される可能性がある。
しかし、オープンワールドの仮定では、環境が束縛されていない場合、幻覚は避けられないものとなる。
さらに,オープンワールド環境下では避けられないように見えるものから修正可能なケースを区別し,幻覚の分類を開発する。
この根拠から、'hallucination' は単なる工学的欠陥ではなく、人間の知性と許容され互換性のある構造的特徴としてアプローチすべきであると示唆されている。
関連論文リスト
- Review of Hallucination Understanding in Large Language and Vision Models [65.29139004945712]
本稿では,多様なアプリケーションにまたがる画像とテキストの幻覚を特徴付けるフレームワークを提案する。
我々の調査によると、幻覚はデータ分布や遺伝バイアスの予測可能なパターンから生じることが多い。
この調査は、現実世界の生成AIシステムにおける幻覚に対するより堅牢で効果的なソリューションを開発する基盤を提供する。
論文 参考訳(メタデータ) (2025-09-26T09:23:08Z) - How Large Language Models are Designed to Hallucinate [0.42970700836450487]
幻覚はトランスフォーマーアーキテクチャの構造的な結果であると主張する。
本研究の貢献は,(1) 既存の説明が不十分な理由を示す比較説明,(2) 提案されたベンチマークによる実存的構造に関連付けられた幻覚の予測分類,(3) 開示の欠如を抑えることの可能な「真理に制約された」アーキテクチャへの設計方針,の3つである。
論文 参考訳(メタデータ) (2025-09-19T16:46:27Z) - Trust Me, I'm Wrong: LLMs Hallucinate with Certainty Despite Knowing the Answer [51.7407540261676]
本研究では,モデルが常に正しい解答を行うことのできる幻覚の別のタイプについて検討するが,一見自明な摂動は,高い確実性で幻覚応答を生じさせる。
この現象は特に医学や法学などの高度な領域において、モデルの確実性はしばしば信頼性の代用として使用される。
CHOKEの例は、プロンプト間で一貫性があり、異なるモデルやデータセットで発生し、他の幻覚と根本的に異なることを示す。
論文 参考訳(メタデータ) (2025-02-18T15:46:31Z) - Valuable Hallucinations: Realizable Non-realistic Propositions [2.451326684641447]
本稿では,大規模言語モデル(LLM)における価値幻覚の形式的定義について紹介する。
特定の種類の幻覚が特定の文脈で提供できる潜在的な価値に焦点を当てる。
本稿では,Qwen2.5モデルとHaluQAデータセットを用いて,幻覚の制御と最適化を促進させるReActを用いて実験を行った。
論文 参考訳(メタデータ) (2025-02-16T12:59:11Z) - LLMs Will Always Hallucinate, and We Need to Live With This [1.3810901729134184]
この研究は、言語モデルにおける幻覚は時折エラーであるだけでなく、これらのシステムの必然的な特徴であると主張している。
したがって、アーキテクチャの改善、データセットの強化、ファクトチェックメカニズムを通じてそれらを取り除くことは不可能である。
論文 参考訳(メタデータ) (2024-09-09T16:01:58Z) - Knowledge Overshadowing Causes Amalgamated Hallucination in Large Language Models [65.32990889402927]
「我々はこの現象を知識の誇張として造る。」
その結果, 幻覚率の増大は, 不均衡比と支配的条件記述の長さに左右されることがわかった。
本稿では,その発生前に幻覚をキャッチするための信号として,オーバーシェーディング条件を用いることを提案する。
論文 参考訳(メタデータ) (2024-07-10T20:37:42Z) - Hallucination is Inevitable: An Innate Limitation of Large Language Models [3.4444349898613957]
大規模言語モデルでは幻覚を除去することは不可能である。
フォーマルな世界は現実の世界の一部であり、より複雑であるため、幻覚は現実世界のLLMにも必然的である。
論文 参考訳(メタデータ) (2024-01-22T10:26:14Z) - Do Androids Know They're Only Dreaming of Electric Sheep? [45.513432353811474]
我々は,その幻覚行動を予測するために,トランスフォーマー言語モデルの内部表現を訓練したプローブを設計する。
我々の探査機は訓練が狭く、訓練領域に敏感であることが分かりました。
モデル状態が利用可能である場合,探索は言語モデル幻覚評価に代わる実現可能かつ効率的な代替手段であることが判明した。
論文 参考訳(メタデータ) (2023-12-28T18:59:50Z) - Probing Causes of Hallucinations in Neural Machine Translations [51.418245676894465]
本稿では,モデルアーキテクチャの観点から幻覚の原因を探索する手法を提案する。
幻覚には、しばしば欠陥のあるエンコーダ、特に埋め込み、脆弱なクロスアテンションが伴う。
論文 参考訳(メタデータ) (2022-06-25T01:57:22Z) - On Hallucination and Predictive Uncertainty in Conditional Language
Generation [76.18783678114325]
高い予測の不確実性は幻覚の確率が高い。
認識的不確実性は、アレエータ的あるいは全体的不確実性よりも幻覚の指標である。
提案したビームサーチ変種との幻覚を抑えるため、標準メートル法で取引性能のより良い結果を得るのに役立ちます。
論文 参考訳(メタデータ) (2021-03-28T00:32:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。