論文の概要: RAGognizer: Hallucination-Aware Fine-Tuning via Detection Head Integration
- arxiv url: http://arxiv.org/abs/2604.15945v1
- Date: Fri, 17 Apr 2026 11:07:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-20 22:00:19.883537
- Title: RAGognizer: Hallucination-Aware Fine-Tuning via Detection Head Integration
- Title（参考訳）: RAGognizer:検出ヘッド統合による幻覚認識ファインチューニング
- Abstract要約: 本稿では,検出ヘッドを大規模言語モデルに統合する幻覚認識型微調整手法であるRAGognizerを紹介する。
RAGognizerは、生成時の幻覚率を大幅に低減しつつ、最先端のトークンレベルの幻覚検出を実現する。
- 参考スコア（独自算出の注目度）: 0.2696472814555309
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Retrieval-Augmented Generation (RAG) is widely used to augment the input to Large Language Models (LLMs) with external information, such as recent or domain-specific knowledge. Nonetheless, current models still produce closed-domain hallucinations and generate content that is unsupported by the retrieved context. Current detection approaches typically treat hallucination as a post-hoc problem, relying on black-box consistency checks or probes over frozen internal representations. In this work, we demonstrate that hallucination detection based on internal state representation can also serve as a direct training signal. We introduce RAGognize, a dataset of naturally occurring closed-domain hallucinations with token-level annotations, and RAGognizer, a hallucination-aware fine-tuning approach that integrates a lightweight detection head into an LLM, allowing for the joint optimization of language modeling and hallucination detection. This joint objective forces the model to improve the separability of its internal states regarding hallucinations while simultaneously learning to generate well-formed and meaningful responses. Across multiple benchmarks, RAGognizer achieves state-of-the-art token-level hallucination detection while substantially reducing hallucination rates during generation, without degrading language quality or relevance.
- Abstract（参考訳）: Retrieval-Augmented Generation (RAG) はLarge Language Models (LLM) への入力を、最近の知識やドメイン固有の知識などの外部情報で拡張するために広く使われている。
それでも、現在のモデルは依然として閉領域の幻覚を生成し、検索されたコンテキストでサポートされていないコンテンツを生成する。
現在の検出手法は、凍結した内部表現に対するブラックボックスの整合性チェックやプローブに依存して、幻覚をポストホック問題として扱うのが一般的である。
本研究では,内部状態表現に基づく幻覚検出が直接訓練信号として機能することを示す。
本稿では,トークンレベルのアノテーションで自然に発生する閉領域幻覚のデータセットであるRAGognizeと,軽量検出ヘッドをLCMに統合し,言語モデリングと幻覚検出の協調最適化を可能にする幻覚を意識した微調整アプローチであるRAGognizerを紹介する。
この共同目的は、モデルに幻覚に関する内部状態の分離性の向上を強制し、同時に、良く形成され有意義な応答を生成することを学習させる。
複数のベンチマークで、RAGognizerは最先端のトークンレベルの幻覚検出を実現し、言語品質や関連性を低下させることなく、生成時の幻覚率を大幅に削減する。
関連論文リスト
- A novel hallucination classification framework [0.0]
本研究では,大規模言語モデル(LLM)における幻覚の自動検出手法を提案する。
提案手法は,素早い工学的手法による系統分類と多様な幻覚の再現制御に基づく。
論文 参考訳（メタデータ） (2025-10-06T09:54:20Z) - LUMINA: Detecting Hallucinations in RAG System with Context-Knowledge Signals [7.61196995380844]
Retrieval-Augmented Generation (RAG) は、検索した文書に応答を接地することで、大規模言語モデル(LLM)における幻覚を軽減することを目的としている。
しかし、RAGベースのLLMは、正確で十分なコンテキストが提供されても、まだ幻覚的である。
本稿では,RAGシステムにおける幻覚を検出する新しいフレームワークLUMINAを提案する。
論文 参考訳（メタデータ） (2025-09-26T04:57:46Z) - SHALE: A Scalable Benchmark for Fine-grained Hallucination Evaluation in LVLMs [52.03164192840023]
LVLM(Large Vision-Language Models)は、いまだ幻覚に悩まされている。
本稿では,スケーラブルで制御可能で多様な評価データを生成する自動データ構築パイプラインを提案する。
我々は,忠実度と事実性幻覚の両方を評価するためのベンチマークであるSHALEを構築した。
論文 参考訳（メタデータ） (2025-08-13T07:58:01Z) - Learning Auxiliary Tasks Improves Reference-Free Hallucination Detection in Open-Domain Long-Form Generation [78.78421340836915]
オープンドメイン長文応答における参照なし幻覚検出を系統的に検討する。
その結果,内的状態は事実と幻覚的内容とを確実に区別するには不十分であることが判明した。
RATE-FTと呼ばれる新しいパラダイムを導入し、モデルが幻覚検出のメインタスクと共同で学習するための補助的なタスクで微調整を強化する。
論文 参考訳（メタデータ） (2025-05-18T07:10:03Z) - HalluLens: LLM Hallucination Benchmark [49.170128733508335]
大規模言語モデル(LLM)は、しばしばユーザ入力やトレーニングデータから逸脱する応答を生成する。
本稿では,新たな内因性評価タスクと既存内因性評価タスクを併用した総合幻覚ベンチマークを提案する。
論文 参考訳（メタデータ） (2025-04-24T13:40:27Z) - Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [78.78822033285938]
VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。
本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
論文 参考訳（メタデータ） (2025-04-17T17:59:22Z) - ReDeEP: Detecting Hallucination in Retrieval-Augmented Generation via Mechanistic Interpretability [27.325766792146936]
パラメトリック(内部)知識の不足によって引き起こされる幻覚。
このような幻覚を検出するには、Large Language Models (LLM) が外部とパラメトリックの知識をどのように利用するかを理解する必要がある。
本稿では,LLMの外部文脈とパラメトリック知識を分離して幻覚を検出する手法であるReDeEPを提案する。
論文 参考訳（メタデータ） (2024-10-15T09:02:09Z) - ANAH-v2: Scaling Analytical Hallucination Annotation of Large Language Models [65.12177400764506]
大規模言語モデル (LLM) は、様々な領域や広範囲のアプリケーションにまたがる、長い形式の質問応答タスクにおいて幻覚を示す。
現在の幻覚検出と緩和データセットはドメインやサイズによって制限されている。
本稿では,幻覚アノテーションデータセットを同時に,段階的にスケールアップする反復的自己学習フレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-05T17:56:38Z) - Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [40.930238150365795]
我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。
プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。
そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
論文 参考訳（メタデータ） (2024-04-22T14:46:10Z) - Rowen: Adaptive Retrieval-Augmented Generation for Hallucination Mitigation in LLMs [88.75700174889538]
幻覚は大きな言語モデル(LLM)にとって大きな課題となる。
実物生成におけるパラメトリック知識の利用は, LLMの限られた知識によって制限される。
本稿では,幻覚出力に対応する適応的検索拡張プロセスによりLLMを強化する新しいフレームワークであるRowenについて述べる。
論文 参考訳（メタデータ） (2024-02-16T11:55:40Z) - AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。
また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
論文 参考訳（メタデータ） (2023-09-30T05:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。