論文の概要: RAGognizer: Hallucination-Aware Fine-Tuning via Detection Head Integration

• arxiv url: http://arxiv.org/abs/2604.15945v1
• Date: Fri, 17 Apr 2026 11:07:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.883537
• Title: RAGognizer: Hallucination-Aware Fine-Tuning via Detection Head Integration
• Title（参考訳）: RAGognizer:検出ヘッド統合による幻覚認識ファインチューニング
• Authors: Fabian Ridder, Laurin Lessel, Malte Schilling,
• Abstract要約: 本稿では,検出ヘッドを大規模言語モデルに統合する幻覚認識型微調整手法であるRAGognizerを紹介する。 RAGognizerは、生成時の幻覚率を大幅に低減しつつ、最先端のトークンレベルの幻覚検出を実現する。
• 参考スコア（独自算出の注目度）: 0.2696472814555309
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Retrieval-Augmented Generation (RAG) is widely used to augment the input to Large Language Models (LLMs) with external information, such as recent or domain-specific knowledge. Nonetheless, current models still produce closed-domain hallucinations and generate content that is unsupported by the retrieved context. Current detection approaches typically treat hallucination as a post-hoc problem, relying on black-box consistency checks or probes over frozen internal representations. In this work, we demonstrate that hallucination detection based on internal state representation can also serve as a direct training signal. We introduce RAGognize, a dataset of naturally occurring closed-domain hallucinations with token-level annotations, and RAGognizer, a hallucination-aware fine-tuning approach that integrates a lightweight detection head into an LLM, allowing for the joint optimization of language modeling and hallucination detection. This joint objective forces the model to improve the separability of its internal states regarding hallucinations while simultaneously learning to generate well-formed and meaningful responses. Across multiple benchmarks, RAGognizer achieves state-of-the-art token-level hallucination detection while substantially reducing hallucination rates during generation, without degrading language quality or relevance.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) はLarge Language Models (LLM) への入力を、最近の知識やドメイン固有の知識などの外部情報で拡張するために広く使われている。 それでも、現在のモデルは依然として閉領域の幻覚を生成し、検索されたコンテキストでサポートされていないコンテンツを生成する。 現在の検出手法は、凍結した内部表現に対するブラックボックスの整合性チェックやプローブに依存して、幻覚をポストホック問題として扱うのが一般的である。 本研究では,内部状態表現に基づく幻覚検出が直接訓練信号として機能することを示す。 本稿では,トークンレベルのアノテーションで自然に発生する閉領域幻覚のデータセットであるRAGognizeと,軽量検出ヘッドをLCMに統合し,言語モデリングと幻覚検出の協調最適化を可能にする幻覚を意識した微調整アプローチであるRAGognizerを紹介する。 この共同目的は、モデルに幻覚に関する内部状態の分離性の向上を強制し、同時に、良く形成され有意義な応答を生成することを学習させる。 複数のベンチマークで、RAGognizerは最先端のトークンレベルの幻覚検出を実現し、言語品質や関連性を低下させることなく、生成時の幻覚率を大幅に削減する。

関連論文リスト

• SHALE: A Scalable Benchmark for Fine-grained Hallucination Evaluation in LVLMs [52.03164192840023]
  LVLM(Large Vision-Language Models)は、いまだ幻覚に悩まされている。 本稿では,スケーラブルで制御可能で多様な評価データを生成する自動データ構築パイプラインを提案する。 我々は,忠実度と事実性幻覚の両方を評価するためのベンチマークであるSHALEを構築した。
  論文  参考訳（メタデータ） (2025-08-13T07:58:01Z)
• ReDeEP: Detecting Hallucination in Retrieval-Augmented Generation via Mechanistic Interpretability [27.325766792146936]
  パラメトリック(内部)知識の不足によって引き起こされる幻覚。 このような幻覚を検出するには、Large Language Models (LLM) が外部とパラメトリックの知識をどのように利用するかを理解する必要がある。 本稿では,LLMの外部文脈とパラメトリック知識を分離して幻覚を検出する手法であるReDeEPを提案する。
  論文  参考訳（メタデータ） (2024-10-15T09:02:09Z)
• Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [40.930238150365795]
  我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。 プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。 そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-04-22T14:46:10Z)
• Rowen: Adaptive Retrieval-Augmented Generation for Hallucination Mitigation in LLMs [88.75700174889538]
  幻覚は大きな言語モデル(LLM)にとって大きな課題となる。 実物生成におけるパラメトリック知識の利用は, LLMの限られた知識によって制限される。 本稿では,幻覚出力に対応する適応的検索拡張プロセスによりLLMを強化する新しいフレームワークであるRowenについて述べる。
  論文  参考訳（メタデータ） (2024-02-16T11:55:40Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。