論文の概要: Why and How LLMs Hallucinate: Connecting the Dots with Subsequence Associations

• arxiv url: http://arxiv.org/abs/2504.12691v1
• Date: Thu, 17 Apr 2025 06:34:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-25 22:31:07.391381
• Title: Why and How LLMs Hallucinate: Connecting the Dots with Subsequence Associations
• Title（参考訳）: LLMが幻覚する理由と方法 - ドットとサブシーケンスアソシエーションを結びつけるために-
• Authors: Yiyou Sun, Yu Gai, Lijie Chen, Abhilasha Ravichander, Yejin Choi, Dawn Song,
• Abstract要約: 本稿では,幻覚を体系的に追跡・理解するサブシーケンス・アソシエーション・フレームワークを提案する。 主要な洞察は、支配的な幻覚協会が忠実なものを上回るときに生じる幻覚である。 ランダムな入力コンテキストにおける幻覚の確率を解析することにより因果列を同定するトレースアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 82.42811602081692
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) frequently generate hallucinations-content that deviates from factual accuracy or provided context-posing challenges for diagnosis due to the complex interplay of underlying causes. This paper introduces a subsequence association framework to systematically trace and understand hallucinations. Our key insight is that hallucinations arise when dominant hallucinatory associations outweigh faithful ones. Through theoretical and empirical analyses, we demonstrate that decoder-only transformers effectively function as subsequence embedding models, with linear layers encoding input-output associations. We propose a tracing algorithm that identifies causal subsequences by analyzing hallucination probabilities across randomized input contexts. Experiments show our method outperforms standard attribution techniques in identifying hallucination causes and aligns with evidence from the model's training corpus. This work provides a unified perspective on hallucinations and a robust framework for their tracing and analysis.
• Abstract（参考訳）: 大型言語モデル(LLM)は、事実の正確性から逸脱する幻覚コンテンツを頻繁に生成する。 本稿では,幻覚を体系的に追跡・理解するためのサブシーケンス・アソシエーション・フレームワークを提案する。 主要な洞察は、支配的な幻覚関連団体が忠実な団体を上回ると幻覚が起こることである。 理論的および実証的な解析により、デコーダのみのトランスフォーマーが、入力-出力関連を符号化した線形層を持つサブシーケンス埋め込みモデルとして効果的に機能することを実証する。 ランダムな入力コンテキストにおける幻覚の確率を解析することにより因果列を同定するトレースアルゴリズムを提案する。 実験により,本手法は幻覚の原因を同定し,モデルのトレーニングコーパスからの証拠と整合する上で,標準的な帰属技術より優れていることが示された。 この研究は幻覚に関する統一的な視点と、そのトレースと分析のための堅牢なフレームワークを提供する。

関連論文リスト

• Towards Long Context Hallucination Detection [49.195854802543714]
  大規模言語モデル(LLM)は、様々なタスクで顕著なパフォーマンスを示している。 それらは文脈の幻覚に傾向があり、与えられた文脈に不一致または矛盾した情報を生成する。 本稿では,BERTのような事前学習したエンコーダモデルを用いて,長期のコンテキストを処理し,文脈の幻覚を効果的に検出するアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-04-28T03:47:05Z)
• HalluLens: LLM Hallucination Benchmark [49.170128733508335]
  大規模言語モデル(LLM)は、しばしばユーザ入力やトレーニングデータから逸脱する応答を生成する。 本稿では,新たな内因性評価タスクと既存内因性評価タスクを併用した総合幻覚ベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-04-24T13:40:27Z)
• HalCECE: A Framework for Explainable Hallucination Detection through Conceptual Counterfactuals in Image Captioning [5.130890556960832]
  この研究は、広く使われている画像キャプターが示す幻覚現象の複雑さを掘り下げて、興味深いパターンを明らかにした。 採用された概念的反事実のバックボーンの決定論的かつ効率的な性質は、意味的に最小限の編集を提案することができる。 提案する幻覚検出フレームワークは,スタンドアローン数とは別に意味論的に意味のある編集を提供することにより,高い解釈が可能となる。
  論文  参考訳（メタデータ） (2025-03-01T10:28:19Z)
• Who Brings the Frisbee: Probing Hidden Hallucination Factors in Large Vision-Language Model via Causality Analysis [14.033320167387194]
  現実の応用における大きな課題は幻覚であり、LVLMは存在しない視覚要素を生成し、ユーザの信頼を損なう。 我々は、オブジェクト、コンテキスト、セマンティックフォアグラウンド・バックグラウンド構造といった隠れた要因が幻覚を引き起こすという仮説を立てた。 画像・テキスト・プロンプト・ネットワーク・サリエンシの因果関係を解析することにより,これらの要因をブロックするための介入を系統的に検討する。
  論文  参考訳（メタデータ） (2024-12-04T01:23:57Z)
• Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [40.930238150365795]
  我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。 プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。 そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-04-22T14:46:10Z)
• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)
• HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
  機械生成データに固有の幻覚は未発見のままである。 本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
  論文  参考訳（メタデータ） (2023-11-22T04:52:58Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。