論文の概要: Mechanistic Understanding and Mitigation of Language Model Non-Factual Hallucinations

• arxiv url: http://arxiv.org/abs/2403.18167v2
• Date: Mon, 17 Jun 2024 21:35:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-20 03:55:50.959503
• Title: Mechanistic Understanding and Mitigation of Language Model Non-Factual Hallucinations
• Title（参考訳）: 言語モデル非現実的幻覚の機械的理解と緩和
• Authors: Lei Yu, Meng Cao, Jackie Chi Kit Cheung, Yue Dong,
• Abstract要約: State-of-the-art Language Model (LM) は、世界の知識と混同する非現実的な幻覚を生じることがある。 我々は、主観的関係クエリを用いた診断データセットを作成し、内部モデル表現による幻覚の追跡に解釈可能性手法を適用した。
• 参考スコア（独自算出の注目度）: 42.46721214112836
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-of-the-art language models (LMs) sometimes generate non-factual hallucinations that misalign with world knowledge. To explore the mechanistic causes of these hallucinations, we create diagnostic datasets with subject-relation queries and adapt interpretability methods to trace hallucinations through internal model representations. We discover two general and distinct mechanistic causes of hallucinations shared across LMs (Llama-2, Pythia, GPT-J): 1) knowledge enrichment hallucinations: insufficient subject attribute knowledge in lower layer MLPs, and 2) answer extraction hallucinations: failure to select the correct object attribute in upper layer attention heads. We also found these two internal mechanistic causes of hallucinations are reflected in external manifestations. Based on insights from our mechanistic analysis, we propose a novel hallucination mitigation method through targeted restoration of the LM's internal fact recall pipeline, demonstrating superior performance compared to baselines.
• Abstract（参考訳）: State-of-the-art Language Model (LM) は、世界の知識と混同する非現実的な幻覚を生じることがある。 これらの幻覚の機械的原因を探るため,主観的関係クエリを用いた診断データセットを作成し,内部モデル表現による幻覚の追跡に解釈可能性手法を適用した。 我々は、LM間で共有される幻覚(Llama-2, Pythia, GPT-J)の2つの一般的および別個の機械的原因を発見する。 1)知識豊か化幻覚:下層MLPにおける主観的属性知識の不足、及び 2)回答抽出幻覚:上層アテンションヘッドにおける正しい対象属性の選択に失敗する。 また,この2つの幻覚の内的機械的原因が外的症状に反映されていることも判明した。 本研究は,機械解析から得られた知見に基づいて,LMの内部事実リコールパイプラインの修復を目標とし,ベースラインよりも優れた性能を示す新しい幻覚緩和手法を提案する。

関連論文リスト

• VideoHallucer: Evaluating Intrinsic and Extrinsic Hallucinations in Large Video-Language Models [59.05674402770661]
  本稿では,大規模ビデオ言語モデル(LVLM)における幻覚検出のための最初の総合的ベンチマークであるVideoHallucerを紹介する。 VideoHallucerは幻覚を2つの主なタイプに分類する。
  論文  参考訳（メタデータ） (2024-06-24T06:21:59Z)
• AUTOHALLUSION: Automatic Generation of Hallucination Benchmarks for Vision-Language Models [91.78328878860003]
  大型視覚言語モデル (LVLM) は幻覚を与える: 画像内の特定のコンテキストキューは、言語モジュールの過信と不正確な推論を異常または仮説的対象に対して引き起こす可能性がある。 我々は、様々な例を作成するためにいくつかの主要な戦略を利用する最初の自動ベンチマーク生成手法であるAUTOHALLUSIONを開発した。 言語モジュールの先行性に矛盾する基礎的真実性を持つイメージベースの質問を生成する。 モデルは、正しい答えに到達するためには、文脈的偏見や気晴らしを克服しなければなりませんが、誤った、あるいは矛盾した回答は幻覚を示します。
  論文  参考訳（メタデータ） (2024-06-16T11:44:43Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• Fine-grained Hallucination Detection and Editing for Language Models [114.28828114834657]
  大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。 我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。 本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
  論文  参考訳（メタデータ） (2024-01-12T19:02:48Z)
• On Early Detection of Hallucinations in Factual Question Answering [5.353798542990414]
  幻覚は依然として ユーザーの信頼を得るための大きな障害です モデル生成に関連するアーティファクトが、世代が幻覚を含むことを示すヒントを提供することができるかどうかを探索する。 モデル生成を幻覚と非幻覚に分類するために、これらのアーティファクトを入力機能として使用するバイナリ分類器を訓練する。
  論文  参考訳（メタデータ） (2023-12-19T14:35:04Z)
• HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
  機械生成データに固有の幻覚は未発見のままである。 本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
  論文  参考訳（メタデータ） (2023-11-22T04:52:58Z)
• Understanding and Detecting Hallucinations in Neural Machine Translation via Model Introspection [28.445196622710164]
  まず, 幻覚の発生に対する相対的なトークン寄与を, ソース摂動によって生成された非幻覚出力と対照的な幻覚出力で分析することにより, 幻覚の内的モデル症状を同定する。 次に、これらの症状は、より軽量な幻覚検知器の設計において、自然幻覚の信頼性のある指標であることが示される。
  論文  参考訳（メタデータ） (2023-01-18T20:43:13Z)
• The Curious Case of Hallucinations in Neural Machine Translation [5.3180458405676205]
  ニューラルマシン翻訳の幻覚は、NMT病理のスペクトルの極端な終わりにあります。 我々は,コーパスレベルの雑音下での幻覚について考察し,二つの顕著な自然幻覚が,特定のコーパスレベルの雑音パターンによって生成され,説明できることを示す。 バックトランスレーションやシーケンスレベルの知識蒸留といった一般的なデータ生成プロセスにおける幻覚増幅現象を解明する。
  論文  参考訳（メタデータ） (2021-04-14T08:09:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。