論文の概要: Detecting Hallucinations in Retrieval-Augmented Generation via Semantic-level Internal Reasoning Graph
- arxiv url: http://arxiv.org/abs/2601.03052v1
- Date: Tue, 06 Jan 2026 14:35:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-07 17:02:12.976305
- Title: Detecting Hallucinations in Retrieval-Augmented Generation via Semantic-level Internal Reasoning Graph
- Title(参考訳): 意味レベル内部推論グラフによる検索拡張生成における幻覚の検出
- Authors: Jianpeng Hu, Yanzeng Li, Jialun Zhong, Wenfa Qi, Lei Zou,
- Abstract要約: そこで本研究では,忠実な幻覚を検出するための意味レベルの内部推論グラフに基づく手法を提案する。
RAGTruth と Dolly-15k の最先端ベースラインと比較して総合的な性能が向上する。
- 参考スコア(独自算出の注目度): 12.233570103035312
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Retrieval-augmented generation (RAG) system based on Large language model (LLM) has made significant progress. It can effectively reduce factuality hallucinations, but faithfulness hallucinations still exist. Previous methods for detecting faithfulness hallucinations either neglect to capture the models' internal reasoning processes or handle those features coarsely, making it difficult for discriminators to learn. This paper proposes a semantic-level internal reasoning graph-based method for detecting faithfulness hallucination. Specifically, we first extend the layer-wise relevance propagation algorithm from the token level to the semantic level, constructing an internal reasoning graph based on attribution vectors. This provides a more faithful semantic-level representation of dependency. Furthermore, we design a general framework based on a small pre-trained language model to utilize the dependencies in LLM's reasoning for training and hallucination detection, which can dynamically adjust the pass rate of correct samples through a threshold. Experimental results demonstrate that our method achieves better overall performance compared to state-of-the-art baselines on RAGTruth and Dolly-15k.
- Abstract(参考訳): また,Large Language Model (LLM) に基づくRAG(Retrieval-augmented Generation)システムも大きな進歩を遂げている。
事実の幻覚を効果的に減らすことができるが、忠実な幻覚は現存している。
従来、忠実な幻覚を検出する方法は、モデルの内的推論過程を捉えることや、それらの特徴を粗末に扱うことを無視していたため、識別者が学習することが困難であった。
本稿では,忠実度幻覚を検出するための意味レベルの内部推論グラフに基づく手法を提案する。
具体的には,まずトークンレベルからセマンティックレベルまで,属性ベクトルに基づく内部推論グラフを構築する。
これにより、依存関係のより忠実なセマンティックレベルの表現が提供されます。
さらに,LLMの学習と幻覚検出に対する推論の依存性を利用するために,学習済みの小さな言語モデルに基づく一般的なフレームワークを設計し,閾値による正しいサンプルの通過率を動的に調整する。
実験により, RAGTruth と Dolly-15k の最先端ベースラインと比較して, 本手法の全体的な性能が向上することが示された。
関連論文リスト
- A novel hallucination classification framework [0.0]
本研究では,大規模言語モデル(LLM)における幻覚の自動検出手法を提案する。
提案手法は,素早い工学的手法による系統分類と多様な幻覚の再現制御に基づく。
論文 参考訳(メタデータ) (2025-10-06T09:54:20Z) - Beyond ROUGE: N-Gram Subspace Features for LLM Hallucination Detection [5.0106565473767075]
大規模言語モデル(LLM)は、自然言語を含む様々なタスクにおいて有効性を示す。
幻覚の根本的な問題は依然としてこれらのモデルに悩まされており、一貫性のある真正な情報を生成する際の信頼性を制限している。
LLM生成テキストからN-Gram周波数テンソルを構成するROUGEにインスパイアされた新しい手法を提案する。
このテンソルは共起パターンを符号化することでよりリッチな意味構造を捉え、事実と幻覚的コンテンツをよりよく区別することができる。
論文 参考訳(メタデータ) (2025-09-03T18:52:24Z) - SHALE: A Scalable Benchmark for Fine-grained Hallucination Evaluation in LVLMs [52.03164192840023]
LVLM(Large Vision-Language Models)は、いまだ幻覚に悩まされている。
本稿では,スケーラブルで制御可能で多様な評価データを生成する自動データ構築パイプラインを提案する。
我々は,忠実度と事実性幻覚の両方を評価するためのベンチマークであるSHALEを構築した。
論文 参考訳(メタデータ) (2025-08-13T07:58:01Z) - Mitigating Object Hallucinations via Sentence-Level Early Intervention [10.642552315531404]
マルチモーダルな大言語モデル(MLLM)は、多モーダルな理解に革命をもたらしたが、幻覚と闘い続けている。
人間のアノテーションに依存しないフレームワークであるSENTINELを提案する。
文レベルの早期iNtervention through IN- domain preference Learningは、オリジナルのモデルと比較して幻覚を90%以上減らすことができる。
論文 参考訳(メタデータ) (2025-07-16T17:55:43Z) - MIRAGE: Assessing Hallucination in Multimodal Reasoning Chains of MLLM [58.2298313720146]
マルチモーダル幻覚は多源性であり、様々な原因から生じる。
既存のベンチマークでは、知覚誘発幻覚と推論誘発幻覚を適切に区別することができない。
論文 参考訳(メタデータ) (2025-05-30T05:54:36Z) - HalluLens: LLM Hallucination Benchmark [49.170128733508335]
大規模言語モデル(LLM)は、しばしばユーザ入力やトレーニングデータから逸脱する応答を生成する。
本稿では,新たな内因性評価タスクと既存内因性評価タスクを併用した総合幻覚ベンチマークを提案する。
論文 参考訳(メタデータ) (2025-04-24T13:40:27Z) - A New Benchmark and Reverse Validation Method for Passage-level
Hallucination Detection [63.56136319976554]
大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。
本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。
提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
論文 参考訳(メタデータ) (2023-10-10T10:14:59Z) - Zero-Resource Hallucination Prevention for Large Language Models [45.4155729393135]
ハロシン化(Hallucination)とは、大規模言語モデル(LLM)が事実的に不正確な情報を生成する事例を指す。
本稿では,SELF-FAMILIARITYと呼ばれる,入力命令に含まれる概念に対するモデルの親しみ度を評価する新しい自己評価手法を提案する。
4つの異なる大言語モデルでSELF-FAMILIARITYを検証し、既存の手法と比較して一貫して優れた性能を示す。
論文 参考訳(メタデータ) (2023-09-06T01:57:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。