論文の概要: Hallucinations are inevitable but statistically negligible

• arxiv url: http://arxiv.org/abs/2502.12187v1
• Date: Sat, 15 Feb 2025 07:28:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:09:03.056867
• Title: Hallucinations are inevitable but statistically negligible
• Title（参考訳）: 幻覚は避けられないが統計的に無視できる
• Authors: Atsushi Suzuki, Yulan He, Feng Tian, Zhongyuan Wang,
• Abstract要約: 言語モデル(LM)が非現実的コンテンツを生成する現象である幻覚は、LMの実践的な展開に重大な課題をもたらす。 最近の研究は計算可能性理論的な結果を確立し、任意のLMが必然的に無限の入力に対して幻覚を発生させることを示した。 学習データの品質と量で十分であれば,幻覚を統計的に無視できることを示す。
• 参考スコア（独自算出の注目度）: 23.12905996928255
• License:
• Abstract: Hallucinations, a phenomenon where a language model (LM) generates nonfactual content, pose a significant challenge to the practical deployment of LMs. While many empirical methods have been proposed to mitigate hallucinations, a recent study established a computability-theoretic result showing that any LM will inevitably generate hallucinations on an infinite set of inputs, regardless of the quality and quantity of training datasets and the choice of the language model architecture and training and inference algorithms. Although the computability-theoretic result may seem pessimistic, its significance in practical viewpoints has remained unclear. In contrast, we present a positive theoretical result from a probabilistic perspective. Specifically, we prove that hallucinations can be made statistically negligible, provided that the quality and quantity of the training data are sufficient. Interestingly, our positive result coexists with the computability-theoretic result, implying that while hallucinations on an infinite set of inputs cannot be entirely eliminated, their probability can always be reduced by improving algorithms and training data. By evaluating the two seemingly contradictory results through the lens of information theory, we argue that our probability-theoretic positive result better reflects practical considerations than the computability-theoretic negative result.
• Abstract（参考訳）: 言語モデル(LM)が非現実的コンテンツを生成する現象である幻覚は、LMの実践的な展開に重大な課題をもたらす。 幻覚を緩和するために多くの経験的手法が提案されているが、最近の研究では、訓練データセットの品質と量、言語モデルアーキテクチャとトレーニングと推論アルゴリズムの選択に関係なく、いかなるLMも必然的に無限の入力に対して幻覚を発生させることを示す計算可能性理論が確立されている。 計算可能性理論の結果は悲観的に見えるかもしれないが、実際的な観点からのその重要性はいまだ不明である。 対照的に、確率論的観点からの正の理論的結果を示す。 具体的には、トレーニングデータの質と量で十分であれば、幻覚を統計的に無視できることを示す。 興味深いことに、私たちのポジティブな結果は計算可能性理論の結果と共存しており、無限の入力に対する幻覚を完全に排除することはできないが、アルゴリズムとトレーニングデータを改善することで、その確率を常に減少させることができる。 情報理論のレンズによる2つの一見矛盾した結果を評価することにより、確率理論の正の結果は計算可能性理論の負の結果よりも実際的な考察を反映していると論じる。

関連論文リスト

• Can Your Uncertainty Scores Detect Hallucinated Entity? [14.432545893757677]
  本稿では,エンティティレベルで幻覚を注釈する新たなデータセットであるHaluEntityを提案する。 このデータセットに基づいて、17の近代LCMにおける不確実性に基づく幻覚検出手法を評価する。 実験の結果,個々のトークン確率に着目した不確実性推定手法は幻覚を過度に予測する傾向があることがわかった。
  論文  参考訳（メタデータ） (2025-02-17T16:01:41Z)
• Enhancing Uncertainty Modeling with Semantic Graph for Hallucination Detection [46.930149191121416]
  大規模言語モデル(LLM)は、非事実的あるいは不誠実な文で幻覚を起こす傾向がある。 本稿では,幻覚検出のための意味グラフを用いた不確実性モデリング手法を提案する。
  論文  参考訳（メタデータ） (2025-01-02T16:45:05Z)
• Training Language Models on the Knowledge Graph: Insights on Hallucinations and Their Detectability [83.0884072598828]
  幻覚は多くの形式があり、普遍的に受け入れられる定義はない。 トレーニングセットにおいて、正しい回答が冗長に現れるような幻覚のみを研究することに集中する。 固定されたデータセットの場合、より大きく長く訓練されたLMは幻覚を少なくする。 固定されたLMの出力の検出器サイズが向上するのに対して、LMのスケールと幻覚の検出可能性との間には逆の関係がある。
  論文  参考訳（メタデータ） (2024-08-14T23:34:28Z)
• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)
• Calibrated Language Models Must Hallucinate [11.891340760198798]
  最近の言語モデルでは、驚くほどの頻度で、偽のもっとも可聴なテキストを生成する。 この研究は、事前訓練された言語モデルがある種の事実を幻覚させる速度に固有の統計的下限が存在することを示している。 訓練データから真偽を判断できない「任意」事実に対して, 幻覚は言語モデルに対して一定の速度で発生しなければならないことを示す。
  論文  参考訳（メタデータ） (2023-11-24T18:29:50Z)
• HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
  機械生成データに固有の幻覚は未発見のままである。 本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
  論文  参考訳（メタデータ） (2023-11-22T04:52:58Z)
• Mutual Information Alleviates Hallucinations in Abstractive Summarization [73.48162198041884]
  モデルが生成中の幻覚コンテンツにより多くの確率を割り当てる可能性が著しく高いという単純な基準を見いだす。 この発見は幻覚の潜在的な説明を提供する:モデルは、継続について不確実な場合には、高い限界確率のテキストを好むことをデフォルトとする。 そこで本研究では,ターゲットトークンの正当性ではなく,ソースとターゲットトークンのポイントワイドな相互情報の最適化に切り替える復号手法を提案する。
  論文  参考訳（メタデータ） (2022-10-24T13:30:54Z)
• Inspecting the Factuality of Hallucinated Entities in Abstractive Summarization [36.052622624166894]
  State-of-the-art abstractive summarization system(最先端の抽象的な要約システム)は、しばしば、源文から直接推測できない内容(Emphhallucination)を生成する。 本研究では,実体の非現実的幻覚から事実を分離する新たな検出手法を提案する。
  論文  参考訳（メタデータ） (2021-08-30T15:40:52Z)
• On Hallucination and Predictive Uncertainty in Conditional Language Generation [76.18783678114325]
  高い予測の不確実性は幻覚の確率が高い。 認識的不確実性は、アレエータ的あるいは全体的不確実性よりも幻覚の指標である。 提案したビームサーチ変種との幻覚を抑えるため、標準メートル法で取引性能のより良い結果を得るのに役立ちます。
  論文  参考訳（メタデータ） (2021-03-28T00:32:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。