論文の概要: Reasoning Denoiser: Denoising Reasoning Traces for Hallucination Detection in Large Reasoning Models
- arxiv url: http://arxiv.org/abs/2607.22098v1
- Date: Fri, 24 Jul 2026 08:48:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 20:58:57.087042
- Title: Reasoning Denoiser: Denoising Reasoning Traces for Hallucination Detection in Large Reasoning Models
- Title(参考訳): Reasoning Denoiser:大規模なReasoning Modelにおける幻覚検出のためのReasoning Traces
- Abstract要約: 本稿では,幻覚検出のための推論トレースを識別する学習フレームワークREDEを提案する。
Redeはステップレベルの表現空間を形成するために、最終回答の注意を自動監視信号として使用する。
実験により、REDEは競争ベースラインよりも幻覚検出性能を一貫して改善することが示された。
- 参考スコア(独自算出の注目度): 14.440332703001218
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large reasoning models (LRMs) generate long reasoning traces before producing final answers. While these traces may contain useful signals for hallucination detection, harnessing them is non-trivial because long trajectories often include noisy steps that obscure the cues relevant to truthfulness assessment. In this paper, we identify two prevalent forms of reasoning noises, i.e., irrelevant steps and repetitive steps, and show that both substantially degrade hallucination detection performance. Existing confidence-based scores and naive embedding-based filtering fail to reliably separate noisy from informative steps. To address this challenge, we propose REDE, a novel learning framework for denoising reasoning traces for hallucination detection. Specifically, REDE leverages final-answer attention as an automatic supervision signal to shape the step-level representation space, yielding refined embeddings in which noisy steps can be reliably identified and filtered. REDE can be readily plugged into diverse hallucination detectors by operating on the filtered reasoning trajectory after removing noisy steps. Extensive experiments on multiple reasoning benchmarks show that REDE consistently improves detection performance over competitive baselines.
- Abstract(参考訳): 大規模な推論モデル(LRM)は、最終的な答えを生成する前に長い推論トレースを生成する。
これらの痕跡は幻覚検出に有用な信号を含んでいるが、長い軌道は真実性評価に関連する手がかりを隠蔽するノイズのあるステップを含むため、それらを利用するのは簡単ではない。
本稿では,2つの一般的な推論ノイズ,すなわち無関係なステップと反復的なステップを同定し,どちらも幻覚検出性能を著しく低下させることを示す。
既存の信頼に基づくスコアと単純埋め込みに基づくフィルタリングは、ノイズを情報的なステップから確実に分離することができない。
この課題に対処するために,幻覚検出のための推論トレースを識別する新しい学習フレームワークであるREDEを提案する。
特に、REDEは、最終回答の注意を自動監視信号として利用してステップレベルの表現空間を形作り、ノイズの多いステップを確実に識別しフィルタリングできる洗練された埋め込みを生成する。
REDEは、ノイズのあるステップを除去した後、フィルタされた推論軌道を動作させることで、多様な幻覚検出器に容易に接続することができる。
複数の推論ベンチマークでの大規模な実験により、REDEは競争基準よりも検出性能を一貫して改善することが示された。
関連論文リスト
- Scalable Token-Level Hallucination Detection in Large Language Models [63.3426544914783]
内部幻覚は推論集約的なタスクでは検出が難しい。
TokenHDはトークンレベルの幻覚検出器を訓練するための全体論的パイプラインである。
論文 参考訳(メタデータ) (2026-05-12T16:47:40Z) - Sanity Checks for Long-Form Hallucination Detection [6.501493411588847]
大規模言語モデルに対する幻覚検出法は、連鎖的推論トレースで機能するが、それらが推論自体を評価するか、あるいは最終回答の表面相関を単に活用するかは定かではない。
提案手法では,各応答の最終回答を基本的真理に置き換えるtextscForce と,軌道を無傷で残しながら回答発表ステップを除去する textscRemove という2つのオラクルテストを通じて,この区別を明らかにする制御不変性手法を導入する。
このことは、彼らの予測力が構造からではなく、答えレベルの成果物に由来するかどうかを明らかにする
論文 参考訳(メタデータ) (2026-05-08T18:00:58Z) - DynHD: Hallucination Detection for Diffusion Large Language Models via Denoising Dynamics Deviation Learning [48.77865928715759]
拡散大言語モデル (D-LLM) は自己回帰モデルに代わる有望な代替品として登場した。
幻覚は 信頼性を損なう重要な問題です
本研究では,これらのギャップを空間的(トケンシーケンス)と時間的(デノナイジングダイナミクス)の両方の観点から橋渡しするDynHDを提案する。
論文 参考訳(メタデータ) (2026-03-17T12:40:29Z) - Seeing Through the Chain: Mitigate Hallucination in Multimodal Reasoning Models via CoT Compression and Contrastive Preference Optimization [78.94590726578014]
マルチモーダル推論モデル (Multimodal reasoning model, MLRM) は幻覚の傾向が強く, 効果的な解はいまだ未発見のままである。
textbfCompression と textbfPreference textbfOptimization を組み合わせたトレーニングベースの緩和フレームワーク C3PO を提案する。
論文 参考訳(メタデータ) (2026-02-03T11:00:55Z) - Hallucination Begins Where Saliency Drops [18.189047289404325]
幻覚は、前の出力トークンが次のトークンの予測に対して低い正当性を示すときにしばしば起こる。
LVLMs-Saliencyは,各出力トークンの視覚的グラウンドリング強度を定量化する,勾配認識型診断フレームワークである。
本手法は, 流速とタスク性能を保ちながら幻覚率を大幅に低減し, 堅牢かつ解釈可能なソリューションを提供する。
論文 参考訳(メタデータ) (2026-01-28T05:50:52Z) - Harnessing Reasoning Trajectories for Hallucination Detection via Answer-agreement Representation Shaping [31.704726867711955]
本稿では,検出フレンドリーなトレース条件表現を学習するAnswer-agreement Representation Shaping(ARS)を提案する。
ARSは小さな潜伏介入によって反現実的な答えを生成する。
ARSは検出を継続的に改善し、強いベースラインよりも大幅に向上する。
論文 参考訳(メタデータ) (2026-01-24T13:47:51Z) - Lost in the Noise: How Reasoning Models Fail with Contextual Distractors [57.31788955167306]
推論モデルとエージェントAIシステムの最近の進歩は、多様な外部情報への依存度を高めている。
NoisyBenchは、RAGの11のデータセット、推論、アライメント、ツール使用タスクに対して、モデルロバスト性を体系的に評価する包括的なベンチマークである。
評価の結果,文脈的障害に直面した場合,最先端モデルでは最大80%の破滅的な性能低下がみられた。
論文 参考訳(メタデータ) (2026-01-12T05:43:51Z) - TraceDet: Hallucination Detection from the Decoding Trace of Diffusion Large Language Models [49.83690850047884]
D-LLMの幻覚問題は未解決のままであり、現実世界のアプリケーションでは信頼性が制限されている。
既存の幻覚検出法はAR-LLM向けに設計されており、単一ステップ生成からの信号に依存している。
本稿では,幻覚検出のためのD-LLMの中間段階を明示的に活用する新しいフレームワークであるTraceDetを提案する。
論文 参考訳(メタデータ) (2025-09-30T02:01:10Z) - ICR Probe: Tracking Hidden State Dynamics for Reliable Hallucination Detection in LLMs [50.18087419133284]
隠れた状態を活用する幻覚検出法は、主に静的および孤立した表現に焦点を当てている。
隠れ状態の更新に対するモジュールの寄与を定量化する新しいメトリック ICR Score を導入する。
本稿では,隠れ状態の層間進化を捉えた幻覚検出手法 ICR Probe を提案する。
論文 参考訳(メタデータ) (2025-07-22T11:44:26Z) - Joint Evaluation of Answer and Reasoning Consistency for Hallucination Detection in Large Reasoning Models [12.270274049887298]
トレースの推論は冗長あるいは論理的に矛盾する可能性があるため、新しい幻覚の源となる。
既存の幻覚検出法は主に回答レベルの不確実性に焦点を当てている。
LRMにおける幻覚検出に適した新しいフレームワークであるRASを提案する。
論文 参考訳(メタデータ) (2025-06-05T09:54:04Z) - GRAIT: Gradient-Driven Refusal-Aware Instruction Tuning for Effective Hallucination Mitigation [62.63014905981601]
Refusal-Aware Instruction Tuning (RAIT) は、Large Language Models (LLM) を強化することを目的としている。
効果的なRAITは、幻覚を最小化するために、未知の質問を効果的に拒否すること、正しく答えられる質問が拒否されないように過度に拒否すること、の2つの主要な課題に対処しなければならない。
GraITは幻覚を効果的に最小化するために勾配駆動型サンプル選択を採用し、(2)微調整中に適応的な重み付け機構を導入し、過剰な拒絶のリスクを低減する。
論文 参考訳(メタデータ) (2025-02-09T14:11:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。