論文の概要: Resonant Context Anchoring: Decoupling Attention Routing and Signal Gain at Inference Time

• arxiv url: http://arxiv.org/abs/2606.01923v1
• Date: Mon, 01 Jun 2026 08:57:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:31.633309
• Title: Resonant Context Anchoring: Decoupling Attention Routing and Signal Gain at Inference Time
• Title（参考訳）: 共振コンテキストアンカリング:推定時間におけるアテンションルーティングと信号ゲインの分離
• Authors: Mingkuan Zhao, Yide Gao, Wentao Hu, Suquan Chen, Tianchen Huang, Zhenhua An, Zetao Chang, Xiayu Sun, Yuheng Min,
• Abstract要約: 大規模言語モデル(LLM)は、内部パラメトリックメモリと矛盾する入力証拠に直面したとき、しばしば「文脈的無視」を示す。 本稿では,残差ストリーム信号のダイナミクスを考慮した軽量な推論時間干渉法であるResonant Context Anchoring (RCA)を提案する。
• 参考スコア（独自算出の注目度）: 3.988157662292324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) frequently exhibit "contextual disregard" when faced with input evidence that conflicts with their internal parametric memory, leading to persistent factual hallucinations. Existing mitigation strategies primarily rely on suppressing specific neuron activations or employing computationally expensive contrastive decoding mechanisms, which often result in increased perplexity or significantly elevated inference latency. To address these limitations, we propose Resonant Context Anchoring (RCA), a lightweight inference-time intervention method grounded in the perspective of residual stream signal dynamics. RCA aims to resolve the signal attenuation of external evidence during its propagation through deep networks. The core mechanism involves the orthogonal decoupling of routing logic and information magnitude within the self-attention module. By utilizing raw pre-softmax attention scores as an instantaneous metric of semantic alignment, we construct a dynamic gain field via non-linear rectification to selectively amplify the norms of value vectors corresponding to context tokens, without altering the attention probability distribution. This mechanism effectively elevates the signal-to-noise ratio (SNR) of input evidence within the residual stream mixture, thereby robustly anchoring the generation trajectory to the truthful context during inference. Extensive experiments on the Llama-3 model series demonstrate that RCA significantly improves contextual faithfulness across multiple factual consistency and strong knowledge-conflict tasks, effectively suppressing parametric hallucinations. Furthermore, results confirm that as a training-free and computationally negligible plug-and-play module, RCA achieves a Pareto improvement in faithfulness and fluency while maintaining the model's general language understanding capabilities.
• Abstract（参考訳）: 大言語モデル(LLM)は、内部のパラメトリックメモリと矛盾する入力証拠に直面した時にしばしば「文脈的無視」を示す。 既存の緩和戦略は、主に特定のニューロンの活性化を抑制するか、計算に高価なコントラスト的復号機構を採用することに依存しており、しばしばパープレキシティが増大したり、推論遅延が著しく上昇する。 これらの制約に対処するため、残ストリーム信号のダイナミクスの観点からした軽量な推論時間干渉法であるResonant Context Anchoring (RCA)を提案する。 RCAは、ディープネットワークを介した伝播中に外部証拠の信号減衰を解決することを目的としている。 コアメカニズムは、ルーティングロジックの直交分離と、自己アテンションモジュール内の情報サイズを含む。 実ソフトマックス前のアテンションスコアを意味的アライメントの瞬測度として利用することにより、非線形整形による動的ゲイン場を構築し、アテンション確率分布を変化させることなく、コンテキストトークンに対応する値ベクトルのノルムを選択的に増幅する。 この機構は、残ストリーム混合物中の入力エビデンスの信号-雑音比(SNR)を効果的に高め、推論中に生成軌跡を真に固定する。 Llama-3 モデルシリーズにおける広範囲な実験により、RCA は複数の事実整合性および強い知識の衝突性タスクを通してコンテキスト忠実性を大幅に改善し、パラメトリック幻覚を効果的に抑制することを示した。 さらに、RCAはトレーニング不要で計算的に無視可能なプラグアンドプレイモジュールとして、モデルの汎用言語理解能力を保ちながら、忠実さとフラレンシのPareto改善を実現していることを確認した。

関連論文リスト

• Spatiotemporal Hidden-State Dynamics as a Signature of Internal Reasoning in Large Language Models [0.0]
  内部表現は正確性に関連する信号を運ぶが、その粗い凝集はトークンや層構造を曖昧にする可能性がある。 本研究では,デコードステップとレイヤ間の隠れ状態遷移を調査し,大きな推論モデル(LRM)のパターンを同定する。 我々は,この特徴を遅延遷移の時空間振幅 (StALT) として定式化する。これは,層内サリエンスによって重み付けられた隣接トークン間の時間的変化を要約する統計軌道である。
  論文  参考訳（メタデータ） (2026-05-03T12:46:41Z)
• Adaptive Guidance for Retrieval-Augmented Masked Diffusion Models [60.25003813232697]
  本稿では,Masked Diffusion Models (MDMs) のトレーニング自由適応ガイダンスフレームワークとして,適応検索型Masked Diffusion (ARAM) を提案する。 ARAMは、検索した文脈によって誘導される分布シフトのSNR(Signal-to-Noise Ratio)に従って、雑音発生時の誘導スケールを校正する。 複数の知識集約型QAベンチマークの実験は、ARAMが競争力のあるRAGベースラインよりも全体的なQA性能を改善することを示している。
  論文  参考訳（メタデータ） (2026-03-18T12:54:50Z)
• Hit-RAG: Learning to Reason with Long Contexts via Preference Alignment [97.55382322103986]
  Hit-RAGは認知的ボトルネックを解決するために設計された多段階の優先順位調整フレームワークである。 本手法は,3つの異なる段階を通じて外部証拠の利用を体系的に改善する。
  論文  参考訳（メタデータ） (2026-03-07T04:05:27Z)
• Causal Autoregressive Diffusion Language Model [70.7353007255797]
  CARDは厳密な因果注意マスク内の拡散過程を再構成し、単一の前方通過で密集した1対1の監視を可能にする。 我々の結果は,CARDが並列生成のレイテンシの利点を解放しつつ,ARMレベルのデータ効率を実現することを示す。
  論文  参考訳（メタデータ） (2026-01-29T17:38:29Z)
• Lost in the Noise: How Reasoning Models Fail with Contextual Distractors [57.31788955167306]
  推論モデルとエージェントAIシステムの最近の進歩は、多様な外部情報への依存度を高めている。 NoisyBenchは、RAGの11のデータセット、推論、アライメント、ツール使用タスクに対して、モデルロバスト性を体系的に評価する包括的なベンチマークである。 評価の結果,文脈的障害に直面した場合,最先端モデルでは最大80%の破滅的な性能低下がみられた。
  論文  参考訳（メタデータ） (2026-01-12T05:43:51Z)
• DynaCausal: Dynamic Causality-Aware Root Cause Analysis for Distributed Microservices [17.058900957896864]
  DynaCausalは、分散マイクロサービスシステムにおける原因分析のための動的因果認識フレームワークである。 我々は、DynaCausalが最先端の手法を一貫して超え、平均AC@1が0.63で、絶対利得が0.25から0.46であることを示す。
  論文  参考訳（メタデータ） (2025-10-26T10:13:18Z)
• Latent Diffusion Model Based Denoising Receiver for 6G Semantic Communication: From Stochastic Differential Theory to Application [11.385703484113552]
  生成人工知能(GAI)を利用した新しい意味コミュニケーションフレームワークを提案する。 意味的特徴抽出のための変分オートエンコーダを組み合わせた潜在拡散モデル(LDM)に基づくセマンティックコミュニケーションフレームワークを提案する。 提案システムはゼロショットの一般化をサポートし,低SNRおよびアウト・オブ・ディストリビューション条件下での優れた性能を実現する訓練自由フレームワークである。
  論文  参考訳（メタデータ） (2025-06-06T03:20:32Z)
• Dynamic Attention-Guided Context Decoding for Mitigating Context Faithfulness Hallucinations in Large Language Models [26.51079570548107]
  大型言語モデル (LLM) は、しばしば文脈に忠実な幻覚を示す。 単一パスデコーディングにおける注意分布と不確実性信号を利用する軽量なフレームワークである動的注意誘導コンテキストデコーディング(DAGCD)を提案する。
  論文  参考訳（メタデータ） (2025-01-02T05:07:06Z)
• Disentangled Noisy Correspondence Learning [56.06801962154915]
  クロスモーダル検索は、モダリティ間の潜在対応を理解する上で重要である。 DisNCLはノイズ対応学習における特徴分散のための新しい情報理論フレームワークである。
  論文  参考訳（メタデータ） (2024-08-10T09:49:55Z)
• Improving auditory attention decoding performance of linear and non-linear methods using state-space model [21.40315235087551]
  脳波検査の最近の進歩は、単一の脳波記録からターゲット話者を特定することが可能であることを示している。 AAD法は、線形最小二乗関数または非線形ニューラルネットワークに基づいて、脳波記録から出席した音声エンベロープを再構成する。 相関窓の小さい相関係数を用いた状態空間モデルについて検討し,復号性能の向上を図る。
  論文  参考訳（メタデータ） (2020-04-02T09:56:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。