論文の概要: Mechanisms of non-factual hallucinations in language models

• arxiv url: http://arxiv.org/abs/2403.18167v1
• Date: Wed, 27 Mar 2024 00:23:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 18:45:45.669240
• Title: Mechanisms of non-factual hallucinations in language models
• Title（参考訳）: 言語モデルにおける非事実幻覚のメカニズム
• Authors: Lei Yu, Meng Cao, Jackie Chi Kit Cheung, Yue Dong,
• Abstract要約: State-of-the-art Language Model (LM) は、世界の知識と混同する非現実的な幻覚を生じることがある。 本研究では,幻覚の機械的原因,特にLMが対象属性を不正確に予測する非現実的原因について検討した。
• 参考スコア（独自算出の注目度）: 42.46721214112836
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-of-the-art language models (LMs) sometimes generate non-factual hallucinations that misalign with world knowledge. Despite extensive efforts to detect and mitigate hallucinations, understanding their internal mechanisms remains elusive. Our study investigates the mechanistic causes of hallucination, specifically non-factual ones where the LM incorrectly predicts object attributes in response to subject-relation queries. With causal mediation analysis and embedding space projection, we identify two general mechanistic causes of hallucinations shared across LMs of various scales and designs: 1) insufficient subject attribute knowledge in lower layer MLPs, and 2) failing to select the correct object attribute in upper layer attention heads and MLPs. These two mechanisms exhibit varying degrees of subject-object association, predictive uncertainty and perturbation robustness. Additionally, we scrutinize LM pre-training checkpoints, revealing distinct learning dynamics for the two mechanistic causes of hallucinations. We also highlight how attribution features from our causal analysis can effectively construct hallucination detectors. Our work proposes a mechanistic understanding of LM factual errors.
• Abstract（参考訳）: State-of-the-art Language Model (LM) は、世界の知識と混同する非現実的な幻覚を生じることがある。 幻覚を検出・緩和するための広範囲な努力にもかかわらず、その内部メカニズムの理解はいまだ解明されていない。 本研究では,幻覚の機械的原因,特にLMが対象属性を不正確に予測する非現実的原因について検討した。 因果媒介分析と埋め込み空間投影を用いて、様々なスケールと設計のLM間で共有される幻覚の2つの一般的な機械的原因を同定する。 1)下層MLPにおける主観的属性知識の不足,及び 2) 上層アテンションヘッドとMPPの正対象属性の選択に失敗した。 これら2つのメカニズムは、主観的対象関係、予測的不確実性、摂動ロバストネスの程度が異なる。 さらに, LM事前学習チェックポイントを精査し, 幻覚の2つのメカニズム的原因について, 異なる学習力学を明らかにした。 また、因果解析による帰属的特徴が幻覚検知器を効果的に構築する方法についても強調する。 本研究は,LM実ミスの機械的理解を提案する。

関連論文リスト

• Investigating and Mitigating Object Hallucinations in Pretrained Vision-Language (CLIP) Models [22.42712853647949]
  本稿では,CLIPモデル内での物体幻覚問題について詳細に検討する。 孤立しても、CLIPモデルは対象の幻覚に傾向があり、幻覚問題は単に視覚と言語モダリティの相互作用によるものではないことを示唆する。 拡張モデルは視覚エンコーダとして利用でき、LVLMにおける物体幻覚の問題を効果的に緩和できることを示す。
  論文  参考訳（メタデータ） (2024-10-04T06:24:49Z)
• Interpreting and Mitigating Hallucination in MLLMs through Multi-agent Debate [34.17353224636788]
  MLLMにおける幻覚は、部分的には、これらのモデルにおいてゆっくり考え、異なる考えが欠如しているためである、と我々は主張する。 我々のアプローチは幻覚だけでなく、それらがなぜ起こるのかを解釈し、幻覚の特異点を詳述する。
  論文  参考訳（メタデータ） (2024-07-30T02:41:32Z)
• VideoHallucer: Evaluating Intrinsic and Extrinsic Hallucinations in Large Video-Language Models [59.05674402770661]
  本稿では,大規模ビデオ言語モデル(LVLM)における幻覚検出のための最初の総合的ベンチマークであるVideoHallucerを紹介する。 VideoHallucerは幻覚を2つの主なタイプに分類する。
  論文  参考訳（メタデータ） (2024-06-24T06:21:59Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• Fine-grained Hallucination Detection and Editing for Language Models [109.56911670376932]
  大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。 我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。 本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
  論文  参考訳（メタデータ） (2024-01-12T19:02:48Z)
• The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models [134.6697160940223]
  幻覚は、大きな言語モデルの信頼できるデプロイには大きな課題となります。 幻覚(検出)の検出方法、LLMが幻覚(ソース)をなぜ検出するのか、そしてそれを緩和するために何ができるか、という3つの重要な疑問がよく研究されるべきである。 本研究は, 幻覚検出, 発生源, 緩和の3つの側面に着目した, LLM幻覚の系統的研究である。
  論文  参考訳（メタデータ） (2024-01-06T12:40:45Z)
• HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
  機械生成データに固有の幻覚は未発見のままである。 本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
  論文  参考訳（メタデータ） (2023-11-22T04:52:58Z)
• A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions [40.79317187623401]
  大規模言語モデル(LLM)の出現は、自然言語処理(NLP)において大きなブレークスルーとなった。 LLMは幻覚を起こす傾向があり、可視だが非現実的な内容を生成する。 この現象は、実世界の情報検索システムにおけるLCMの信頼性に対する重大な懸念を引き起こす。
  論文  参考訳（メタデータ） (2023-11-09T09:25:37Z)
• Understanding and Detecting Hallucinations in Neural Machine Translation via Model Introspection [28.445196622710164]
  まず, 幻覚の発生に対する相対的なトークン寄与を, ソース摂動によって生成された非幻覚出力と対照的な幻覚出力で分析することにより, 幻覚の内的モデル症状を同定する。 次に、これらの症状は、より軽量な幻覚検知器の設計において、自然幻覚の信頼性のある指標であることが示される。
  論文  参考訳（メタデータ） (2023-01-18T20:43:13Z)
• The Curious Case of Hallucinations in Neural Machine Translation [5.3180458405676205]
  ニューラルマシン翻訳の幻覚は、NMT病理のスペクトルの極端な終わりにあります。 我々は,コーパスレベルの雑音下での幻覚について考察し,二つの顕著な自然幻覚が,特定のコーパスレベルの雑音パターンによって生成され,説明できることを示す。 バックトランスレーションやシーケンスレベルの知識蒸留といった一般的なデータ生成プロセスにおける幻覚増幅現象を解明する。
  論文  参考訳（メタデータ） (2021-04-14T08:09:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。