論文の概要: TRACESTEER: Trace Driven Activation Steering for Hallucination Mitigation in Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2610.18173v1
- Date: Tue, 13 Oct 2026 11:18:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 07:00:49.148274
- Title: TRACESTEER: Trace Driven Activation Steering for Hallucination Mitigation in Diffusion Language Models
- Title（参考訳）: TRACESTEER:拡散言語モデルにおける幻覚緩和のためのトレース駆動型アクティベーションステアリング
- Abstract要約: TRACESTEERは、dLLMのためのトレース駆動のアクティベーションステアリングフレームワークである。
DFステアリングは、先行予測と現在の隠れ状態からステップ固有のステアリングベクトルを構成する。
TS-Gateは予測の不確実性とデノナイジング時間を用いてその強度を調節する。
- 参考スコア（独自算出の注目度）: 28.40610868379198
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion large language models (dLLMs) have emerged as a promising alternative to autoregressive LLMs, yet remain susceptible to hallucination. Activation steering offers a promising mitigation approach by guiding parallel token predictions through internal representations. However, existing steering methods largely overlook two characteristics of dLLMs: dynamic denoising states and temporal hallucination risks, which challenge predefined steering vectors and uniform intervention strengths. We propose TRACESTEER, a trace-driven activation steering framework that uses preceding denoising predictions as feedback to jointly adapt steering direction and strength. Specifically, Denoising Feedback Steering (DF-Steering) constructs step-specific steering vectors from preceding predictions and current hidden states. Trajectory-Guided Steering Gate (TS-Gate) regulates their strength using prediction uncertainty and the denoising timestep. With the backbone frozen, factual supervision and magnitude regularization jointly guide the learning of adaptive steering interventions, promoting factual reliability and stability throughout denoising. Experiments on two dLLMs show improved factual reliability on TruthfulQA and generalization across five downstream benchmarks.
- Abstract（参考訳）: 拡散大言語モデル (dLLMs) は自己回帰型LLMの代替として登場したが、幻覚の可能性が残っている。
アクティベーションステアリング(Activation steering)は、内部表現を通じて並列トークン予測を導くことによって、有望な緩和アプローチを提供する。
しかし、既存のステアリング法は、動的認知状態と時間的幻覚リスクというdLLMの2つの特徴を概ね見落とし、事前に定義されたステアリングベクトルと一様介入強度に挑戦する。
本稿では, 先述の認知的予測をフィードバックとして利用し, 操舵方向と強度を協調的に調整する, トレース駆動型アクティベーションステアリングフレームワークであるTRACESTEERを提案する。
特に、Denoising Feedback Steering (DF-Steering)は、前の予測と現在の隠れ状態からステップ固有のステアリングベクトルを構築する。
Trajectory-Guided Steering Gate (TS-Gate) は、予測の不確実性とデノナイジングタイムステップを用いて、その強度を調節する。
背骨を凍結させ、事実上の監督と大きさの規則化は、適応的なステアリング介入の学習を共同で導く。
2つのdLLMの実験では、TruthfulQAの実際の信頼性が向上し、5つのダウンストリームベンチマークが一般化された。
関連論文リスト
- Benchmarking Generative Trajectory Models for Active-Inference Control [8.861374813557214]
軌道上のデモンストレーションから学ぶことは、複雑なシステムの能動的推論制御への経路を提供する。
本稿では,1つの生成軌道モデルが実演から学習し,行動介入を測定するジェネラティブアクティブ推論制御(GenAIF)を紹介する。
論文 参考訳（メタデータ） (2026-10-05T02:09:37Z) - Attention-Guided Reliability Scaling for Contrastive Decoding in Robust Audio-Visual Speech Recognition [50.15288513086986]
コントラストデコーディング (CD) は、元々は大型言語モデル (LLM) ベースの音声視覚音声認識 (AVSR) システムを安定化するために導入された。
AVSR用CDの信頼性を考慮したスケーリングを提案する。
論文 参考訳（メタデータ） (2026-08-26T08:25:15Z) - Activation Steering Induces Emergent Misalignment: A More Comprehensive Evaluation [74.17379276939599]
近年のQwen-3.5シリーズにおいても,アクティベーションステアリングが広範囲のアライメントを引き起こすことが示されている。
ステアリングサイズ, ステアリングサブスペースの低ランク構造, ステアリングベクター構築時のエポック数など, キーステアリング固有の因子を解析することにより, AS誘起EMの特性を特徴づける。
論文 参考訳（メタデータ） (2026-06-07T15:34:59Z) - Steer Where It Matters: Token-Level Visual-Sensitivity Steering for LVLMs Hallucination Mitigation [59.80828456543202]
幻覚緩和のためのTLVS(Token-Level Visual-Sensitivity Steering)を提案する。
このメカニズムはキャリブレーションのための最小限のトレーニングしか必要とせず、様々な視覚言語モデルに適用できる。
POPE, AMBER, CHAIR (COCO), MMHal, HallusionBenchなどのベンチマークでTLVSを評価し, 従来のステアリング法よりも一貫した改善が見られた。
論文 参考訳（メタデータ） (2026-06-02T08:23:28Z) - Mitigating Error Amplification in Fast Adversarial Training [58.74042726356826]
FAT(Fast Adversarial Training)は、ネットワークに摂動不変表現の学習を促すことによって、モデルロバスト性の向上に有効であることが証明されている。
FATは、しばしば破滅的なオーバーフィッティング(CO)に悩まされ、モデルがトレーニングアタックに過度に適合し、目に見えないものへの一般化に失敗する。
本稿では、摂動予算と監視信号の両方を動的に調整する分散対応動的ガイダンス(DDG)戦略を提案する。
論文 参考訳（メタデータ） (2026-04-27T11:23:18Z) - Mechanistic Indicators of Steering Effectiveness in Large Language Models [3.635648354808971]
アクティベーションベースのステアリングにより、大規模言語モデルでは、トレーニングをせずに中間的アクティベーションに介入することで、ターゲットとなる振る舞いを表現できる。
広く使われているにもかかわらず、操舵が成功または失敗する際の機械的要因はいまだに理解されていない。
ステアリングの信頼性を内部モデル信号を用いて診断できるかどうかを検討する。
論文 参考訳（メタデータ） (2026-02-02T06:56:22Z) - Activation Steering for Masked Diffusion Language Models [1.0980666029958932]
マスケ拡散言語モデルは反復的復調過程を通じてテキストを生成する。
本稿では,MDLMのためのアクティベーションステアリングフレームワークを提案する。
LLaDA-8B-Instructの実験では、高レベル属性の信頼性変調が示されている。
論文 参考訳（メタデータ） (2025-12-30T11:10:52Z) - Activation Steering with a Feedback Controller [4.609594868699996]
Proportional-Integral-Derivative (PID) Steeringは、大きな言語モデルにおけるアクティベーションステアリングに完全なPIDコントローラを利用する、原則化されたフレームワークである。
PIDステアリングは既存のアプローチを一貫して上回り、より堅牢で信頼性の高い行動制御を実現する。
論文 参考訳（メタデータ） (2025-10-05T18:05:28Z) - GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。
推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。
微調整と既存のステアリングベースラインの両方を一貫して上回る。
論文 参考訳（メタデータ） (2025-07-24T02:34:13Z) - KV Cache Steering for Controlling Frozen LLMs [80.50365534625438]
キャッシュステアリングは、言語モデルの暗黙的なステアリングのための軽量な方法である。
キャッシュステアリングを応用して、小さな言語モデルにおける連鎖推論を誘導する。
論文 参考訳（メタデータ） (2025-07-11T17:59:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。