論文の概要: Unmasking Hallucinations: A Causal Graph-Attention Perspective on Factual Reliability in Large Language Models
- arxiv url: http://arxiv.org/abs/2604.04020v1
- Date: Sun, 05 Apr 2026 08:37:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-07 15:49:18.879269
- Title: Unmasking Hallucinations: A Causal Graph-Attention Perspective on Factual Reliability in Large Language Models
- Title(参考訳): 幻覚を解き放つ:大規模言語モデルにおける現実的信頼性に関する因果グラフ的視点
- Authors: Sailesh kiran kurra, Shiek Ruksana, Vishal Borusu,
- Abstract要約: 幻覚は、医学的診断や法的推論のようなシナリオで深刻な問題を引き起こす。
本稿では,トランスアーキテクチャ内における内部の注意フローの解釈を通じて幻覚を減少させる因果グラフ注意ネットワーク(GCAN)フレームワークを提案する。
TruthfulQAやHotpotQAといった標準ベンチマークの実験では、幻覚率が27.8%低下し、実際の精度が16.4%向上した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper primarily focuses on the hallucinations caused due to AI language models(LLMs).LLMs have shown extraordinary Language understanding and generation capabilities .Still it has major a disadvantage hallucinations which give outputs which are factually incorrect ,misleading or unsupported by input data . These hallucinations cause serious problems in scenarios like medical diagnosis or legal reasoning.Through this work,we propose causal graph attention network (GCAN) framework that reduces hallucinations through interpretation of internal attention flow within a transformer architecture with the help of constructing token level graphs that combine self attention weights and gradient based influence scores.our method quantifies each tokens factual dependency using a new metric called the Causal Contribution Score (CCS). We further introduce a fact-anchored graph reweighting layer that dynamically reduces the influence of hallucination prone nodes during generation. Experiments on standard benchmarks such as TruthfulQA and HotpotQA show a 27.8 percent reduction in hallucination rate and 16.4 percent improvement in factual accuracy over baseline retrieval-augmented generation (RAG) models. This work contributes to the interpretability,robustness, and factual reliability of future LLM architectures.
- Abstract(参考訳): 本稿では主に,AI言語モデル(LLM)による幻覚に焦点を当てる。
LLMは並外れた言語理解と生成能力を示している。
いまだに、入力データによって非推奨または非推奨の、事実的に誤った出力を与える不利な幻覚がある。
これらの幻覚は、医学的診断や法的推論などのシナリオにおいて深刻な問題を引き起こすが、本研究では、自己の注意重みと勾配に基づく影響スコアを組み合わせたトークンレベルグラフの構築の支援により、トランスフォーマーアーキテクチャ内の内部の注意フローの解釈を通じて幻覚を低減する因果グラフ注意ネットワーク(GCAN)フレームワークを提案する。
さらに、生成中の幻覚傾向ノードの影響を動的に低減するファクトアンコレッドグラフ再重み付け層を導入する。
TruthfulQAやHotpotQAといった標準ベンチマークの実験では、幻覚率が27.8%低下し、16.4%の精度でRAGモデルよりも精度が向上した。
この研究は、将来のLLMアーキテクチャの解釈可能性、ロバスト性、および現実的な信頼性に寄与する。
関連論文リスト
- Detecting Hallucinations in Retrieval-Augmented Generation via Semantic-level Internal Reasoning Graph [12.233570103035312]
そこで本研究では,忠実な幻覚を検出するための意味レベルの内部推論グラフに基づく手法を提案する。
RAGTruth と Dolly-15k の最先端ベースラインと比較して総合的な性能が向上する。
論文 参考訳(メタデータ) (2026-01-06T14:35:20Z) - SHALE: A Scalable Benchmark for Fine-grained Hallucination Evaluation in LVLMs [52.03164192840023]
LVLM(Large Vision-Language Models)は、いまだ幻覚に悩まされている。
本稿では,スケーラブルで制御可能で多様な評価データを生成する自動データ構築パイプラインを提案する。
我々は,忠実度と事実性幻覚の両方を評価するためのベンチマークであるSHALEを構築した。
論文 参考訳(メタデータ) (2025-08-13T07:58:01Z) - HalluLens: LLM Hallucination Benchmark [49.170128733508335]
大規模言語モデル(LLM)は、しばしばユーザ入力やトレーニングデータから逸脱する応答を生成する。
本稿では,新たな内因性評価タスクと既存内因性評価タスクを併用した総合幻覚ベンチマークを提案する。
論文 参考訳(メタデータ) (2025-04-24T13:40:27Z) - Lost in Transcription, Found in Distribution Shift: Demystifying Hallucination in Speech Foundation Models [36.327525062842724]
幻覚は特に医療、法務、航空などの高額な領域に関係している。
本研究では,分布変化やモデルサイズ,モデルアーキテクチャなどの要因が幻覚発生誤差率(HER)にどのように影響するかを検討する。
我々の研究は、ASRモデルの性能を評価するために、WERのような従来の指標とHERを併用することの重要性を強調した。
論文 参考訳(メタデータ) (2025-02-18T01:25:39Z) - Alleviating Hallucinations of Large Language Models through Induced
Hallucinations [67.35512483340837]
大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。
幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
論文 参考訳(メタデータ) (2023-12-25T12:32:49Z) - HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
機械生成データに固有の幻覚は未発見のままである。
本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。
LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
論文 参考訳(メタデータ) (2023-11-22T04:52:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。