論文の概要: TRACE: Trajectory Correction from Cross-layer Evidence for Hallucination Reduction
- arxiv url: http://arxiv.org/abs/2605.18163v1
- Date: Mon, 18 May 2026 10:08:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:49.305599
- Title: TRACE: Trajectory Correction from Cross-layer Evidence for Hallucination Reduction
- Title（参考訳）: TRACE:ハロシン化抑制のための多層エビデンスからの軌道補正
- Authors: Tej Sanibh Ranade,
- Abstract要約: 幻覚低減のための多層エビデンスからの軌道補正について紹介する。
各入力のクロス層候補軌道から補正層と適切な補正演算子の両方を導出することにより、推定時の幻覚を補正する。
15のモデル、8のモデルファミリー、3のファクトリティベンチマークで、単一の普遍的アルゴリズムとして評価された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hallucination correction is not a one-direction problem. We show that intermediate layers are neither uniformly more truthful than final layers nor uniformly less trustworthy. Yet hallucination reduction is usually instantiated through one fixed intervention form: contrast one layer against another, steer along a truthfulness direction, or defer to external evidence. This framing is structurally incomplete. Cross-layer factual evidence does not evolve uniformly: in some failures truthful support is present internally and later suppressed, whereas in others candidate competition remains genuinely multi-directional across depth, so no single signed scalar family is generally sufficient. We introduce Trajectory Correction from Cross-layer Evidence for Hallucination Reduction (TRACE), a deterministic, training-free algorithm which corrects hallucinations at inference time by deriving both the corrective layer and the appropriate correction operator from each input's cross-layer candidate trajectory inside the LLM's own forward pass. Under one frozen hyperparameter setting, TRACE selects among scalar reversal, earlier-state recovery, and candidate-space correction using only model-internal evidence. Evaluated as a single universal algorithm across 15 models, 8 model families, and 3 factuality benchmarks, TRACE improves every evaluation cell, yielding mean gains of +12.26 MC1 points and +8.65 MC2-style points with no regressions, with gains reaching +47.20 MC1 and +43.38 MC2-style points. The method uses no labels, retrieval, pretraining, finetuning, or per-model calibration.
- Abstract（参考訳）: 幻覚補正は一方向問題ではない。
中間層は最終層よりも均一に真偽を示さないし、信頼性も低いことも示している。
しかし、幻覚の減少は通常、ある固定された介入形態によってインスタンス化される:ある層と別の層を対比する、真理性の方向に沿って操る、または外部の証拠を無視する。
このフレーミングは構造的に不完全である。
異層間事実証拠は均一に進化しない: ある障害では真に支援が内部に存在し、後に抑制されるが、他の候補では、真に多方向の深さの競合が残るため、一般に1つの署名されたスカラー族は十分ではない。
LLMのフォワードパス内の各入力のクロスレイヤー候補軌跡から、補正層と適切な補正演算子の両方を導出し、推論時間で幻覚を補正する決定論的で訓練のないアルゴリズムである、幻覚低減のためのクロスレイヤエビデンス(TRACE)からの軌道補正を導入する。
1つの凍結したハイパーパラメータ設定の下で、TRACEはモデル内部の証拠のみを用いてスカラー逆転、早期状態回復、および候補空間補正を選択する。
TRACEは15モデル、8モデルファミリー、3つの実数性ベンチマークで単一の普遍的アルゴリズムとして評価され、平均利得は+12.26 MC1点と+8.65 MC2点であり、利得は+47.20 MC1点と+43.38 MC2点である。
ラベル、検索、事前訓練、微調整、モデルごとのキャリブレーションは使用しない。
関連論文リスト
- Where Does Reasoning Break? Step-Level Hallucination Detection via Hidden-State Transport Geometry [3.2848713528308817]
大規模言語モデルは多段階の推論で幻覚するが、既存の検出器のほとんどはトレースレベルで動作する。
我々はこのビューをラベル付き教師で運用し、トレース固有のコントラスト型PCAレンズを構築する。
コントラストPCAが第1次誤差と正しい状態の移動分離目標の最適投影であることを示す。
論文 参考訳（メタデータ） (2026-05-13T16:48:48Z) - Beyond Perplexity: A Geometric and Spectral Study of Low-Rank Pre-Training [11.118638230247951]
検証の難易度が近い場合でも,低ランクの手法はフルランクの訓練と同等ではなく,互いに同等ではないことを示す。
低ランクアクティベーションは、トレーニングが進むにつれて、後層のフルランクから分岐し、GaLoreはフルランクを追跡する。
論文 参考訳（メタデータ） (2026-05-13T15:11:37Z) - Compositional Multi-hop Factual Error Correction via Decomposition-and-Injection [60.34509125517578]
本稿では,合成誤り訂正のための論理的枠組みであるCECoR(Reasoning-aware Synthesis)を提案する。
CECoRはマルチホップクレームを解釈可能な推論ステップに分解し、制御された摂動を注入して高品質なトレーニングペアを合成する。
教師付き微調整と強化学習を組み合わせた2段階学習戦略は、事実の正確性と堅牢性を向上させる。
論文 参考訳（メタデータ） (2026-05-04T07:08:39Z) - HTDC: Hesitation-Triggered Differential Calibration for Mitigating Hallucination in Large Vision-Language Models [0.7252027234425333]
Hesitation-Triggered Differential Inference (HTDC)は、標準のフルブランチ推論を保存するトレーニング不要のデコードフレームワークである。
Hesitation-Triggered Differential Inference は、強いタスク精度を維持しながら、常に幻覚を減少させる。
論文 参考訳（メタデータ） (2026-04-13T22:47:27Z) - Hallucinations Live in Variance [0.0]
ベンチマークは、モデルが正しいかどうかを測定する。
幻覚は、意味論的に等価なプロンプトが一貫性のない内部経路を活性化し、発散した出力を生成するときに生じる。
我々はこれを,パラフレーズ一貫性 (PC@k) によって測定されたセマンティック安定性 (SS) で定式化し,kパラフレーズを生成し,それぞれをgreedyデコードし,計算モード合意する。
密度の高いQwen3-0.6Bは23.8%に留まり、32%の間隔で55.9%に上昇する。
論文 参考訳（メタデータ） (2026-01-11T20:41:51Z) - Unsupervised Hallucination Detection by Inspecting Reasoning Processes [53.15199932086543]
非教師付き幻覚検出は、ラベル付きデータに頼ることなく、大規模言語モデル(LLM)が生成する幻覚コンテンツを特定することを目的としている。
本稿では,非教師なし幻覚検出フレームワークIRISを提案する。
我々の手法は完全に教師なし、計算コストが低く、訓練データが少ない場合でもうまく機能し、リアルタイム検出に適しています。
論文 参考訳（メタデータ） (2025-09-12T06:58:17Z) - Analyzing and Mitigating Object Hallucination: A Training Bias Perspective [108.09666587800781]
我々は,LVLMのトレーニングデータから,特定の対象を隠蔽した反ファクト画像からなる新しいベンチマークPOPEv2を提案する。
現在のLVLMはトレーニングバイアスに悩まされており、トレーニングデータを完全に活用できず、トレーニング中に見られる画像に対してより頻繁に幻覚を与えることができません。
Obliviateは,学習バイアスアンラーニングによる物体幻覚の軽減を目的とした,効率的で軽量な未学習手法である。
論文 参考訳（メタデータ） (2025-08-06T15:51:02Z) - Hallucination, Monofacts, and Miscalibration: An Empirical Investigation [2.3278261859840104]
大規模言語モデルにおける有能な事実は、モノファクトレートによって決定される統計的下界に従う。
古典的なn-gramモデルと微調整エンコーダ・デコーダ変換器におけるこの3方向関係に関する最初の実証的研究を示す。
論文 参考訳（メタデータ） (2025-02-11T18:46:00Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - Intersection of Parallels as an Early Stopping Criterion [64.8387564654474]
そこで本研究では,検証セットを必要とせずに,トレーニングイテレーションの早期停止点を見つける手法を提案する。
幅広い学習率において,コサイン距離基準 (CDC) と呼ばれる手法は,比較したすべての手法よりも平均的な一般化に寄与する。
論文 参考訳（メタデータ） (2022-08-19T19:42:41Z) - DMT: Dynamic Mutual Training for Semi-Supervised Learning [69.17919491907296]
自己学習法は通常、低信頼の擬似ラベルをフィルタリングするために単一のモデル予測の信頼性に依存する。
動的相互学習と呼ばれる動的に再重み付けされた損失関数を用いて、2つの異なるモデル間の相互学習を提案する。
実験の結果,DMTは画像分類とセマンティックセグメンテーションの両方において最先端の性能を実現することがわかった。
論文 参考訳（メタデータ） (2020-04-18T03:12:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。