論文の概要: When Attention Closes: How LLMs Lose the Thread in Multi-Turn Interaction

• arxiv url: http://arxiv.org/abs/2605.12922v1
• Date: Wed, 13 May 2026 02:58:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:27.772191
• Title: When Attention Closes: How LLMs Lose the Thread in Multi-Turn Interaction
• Title（参考訳）: 注意が閉じたとき - LLMがマルチスレッドインタラクションでスレッドを失う方法
• Authors: Vardhan Dongre, Joseph Hsieh, Viet Dac Lai, Seunghyun Yoon, Trung Bui, Dilek Hakkani-Tür,
• Abstract要約: ゴール定義トークンは注意によってアクセスしにくくなり、ゴール関連情報は残留表現で持続する。 ゴールアクセシビリティ比(GAR)を導入し、生成トークンからタスク定義ゴールトークンへの注意を計測し、それをスライドウインドウアブレーションと残留ストリームプローブと組み合わせる。 アーキテクチャ全体において、遷移は定性的に異なる障害モードをもたらす: あるモデルは注意をそらしてゴール条件の動作を保ち、他のモデルは、デオード可能な残留目標情報にもかかわらず失敗し、この符号化が現れる層は2から27まで変化する。
• 参考スコア（独自算出の注目度）: 32.270076973760325
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models can follow complex instructions in a single turn, yet over long multi-turn interactions they often lose the thread of instructions, persona, and rules. This degradation has been measured behaviorally but not mechanistically explained. We propose a channel-transition account: goal-defining tokens become less accessible through attention, while goal-related information may persist in residual representations. We introduce the Goal Accessibility Ratio (GAR), measuring attention from generated tokens to task-defining goal tokens, and combine it with sliding-window ablations and residual-stream probes. When attention to instructions closes, what survives reveals architecture. Across architectures, the transition yields qualitatively distinct failure modes: some models preserve goal-conditioned behavior at vanishing attention, others fail despite decodable residual goal information, and the layer at which this encoding emerges varies from 2 to 27. A within-model causal ablation that force-closes the attention channel in Mistral collapses recall from near-perfect to 11% on a 20-fact retention task and raises persona-constraint violations above an adversarial-pressure baseline without user pressure, with both effects emerging at the predictable crossover turn. Linear probes recover per-episode recall outcomes from residual representations with AUC up to 0.99 across all four primary architectures, while input embeddings remain at chance. Across architectures and model scales, the gap between attention loss and residual decodability predicts whether goal-conditioned behavior survives channel closure. We contribute GAR as a diagnostic, the channel-transition framework as a controlled mechanistic account, and a parametric prediction of failure timing under windowed attention closure.
• Abstract（参考訳）: 大きな言語モデルは1ターンで複雑な命令に従うことができるが、長いマルチターンインタラクションでは命令、ペルソナ、ルールのスレッドを失うことが多い。 この劣化は行動学的に測定されているが、機械学的には説明されていない。 目的定義トークンは注意によってアクセスしにくくなり、目標関連情報は残留表現に持続する可能性がある。 ゴールアクセシビリティ比(GAR)を導入し、生成トークンからタスク定義ゴールトークンへの注意を計測し、それをスライドウインドウアブレーションと残留ストリームプローブと組み合わせる。 指示に注意が集まると、生き残るものはアーキテクチャを明らかにする。 アーキテクチャ全体において、遷移は定性的に異なる障害モードをもたらす: あるモデルは注意をそらしてゴール条件の動作を保ち、他のモデルは、デオード可能な残目標情報にもかかわらず失敗し、この符号化が現れる層は2から27まで変化する。 ミストラルにおけるアテンションチャネルを強制的に閉鎖するモデル内因果アブレーションは、20分の保持タスクにおいてほぼ完全から11%のリコールを崩壊させ、ユーザ圧力なしで対向圧ベースラインの上にペルソナ制約違反を生じさせ、どちらも予測可能なクロスオーバーターンで現れる。 線形プローブは、4つの主要なアーキテクチャ全体にわたってAUCによる残差表現からエピソードごとのリコール結果を最大0.99まで回復するが、入力埋め込みは偶然に残る。 アーキテクチャとモデルスケール全体において、注意損失と残留陰極性の間のギャップは、目標条件付き動作がチャネル閉鎖を継続するかどうかを予測する。 我々は,GARを診断として,チャネル遷移フレームワークを制御機構として,また,窓面の注意閉鎖時の故障タイミングのパラメトリック予測に貢献する。

関連論文リスト

• Self-Consistent Latent Reasoning: Long Latent Sequence Reasoning for Vision-Language Model [56.21523258053447]
  SCOLAR(Self-Consistent LAtent Reasoning)は、1枚のショットで補助的な視覚トークンを生成する軽量なデコンバータを導入している。 SCOLARは許容遅延CoT長を30ドル以上延長し、実世界の推論ベンチマークでオープンソースモデルの間で最先端を実現している。
  論文  参考訳（メタデータ） (2026-05-12T14:13:08Z)
• A Progressive Training Strategy for Vision-Language Models to Counteract Spatio-Temporal Hallucinations in Embodied Reasoning [49.61652671596548]
  「多像幻覚推論」では、前頭と時頭クエリ間の大規模なパフォーマンス低下は、真に理解するのではなく、表面的なショートカットへの依存を示す。 これを軽減するために、我々は、チェーンステップへの詳細な推論と決定的な判断に基づく、時間的連鎖構築という新しいデータセットを開発する。 実験により,本手法は精度を向上するだけでなく,70%以上から6.53%まで,前向きのパフォーマンスギャップも改善することが示された。
  論文  参考訳（メタデータ） (2026-04-12T07:48:44Z)
• TopoCurate:Modeling Interaction Topology for Tool-Use Agent Training [53.93696896939915]
  訓練用ツール使用エージェントは一般的に、パスレート選択されたタスクに対して、軌道変更の成功と強化学習(RL)に依存している。 TopoCurateは,同一タスクから多段階的なロールアウトを統一的な意味的商トポロジに投影する対話型フレームワークである。 TopoCurateは最先端のベースラインに対して4.2%(SFT)と6.9%(RL)という一貫したゲインを達成している。
  論文  参考訳（メタデータ） (2026-03-02T10:38:54Z)
• MeGU: Machine-Guided Unlearning with Target Feature Disentanglement [73.49657372882082]
  本稿では,概念意識の再調整を通じて学習をガイドする新しいフレームワークを提案する。 MeGUは制御的かつ選択的に忘れることを可能にし、アンダーアンラーニングとオーバーアンラーニングの両方を効果的に緩和する。
  論文  参考訳（メタデータ） (2026-02-19T05:20:31Z)
• daVinci-Agency: Unlocking Long-Horizon Agency Data-Efficiently [35.39097522391409]
  大規模言語モデル(LLM)は短期的なタスクで優れており、それらを長期のエージェント合成に拡張することは依然として困難である。 本稿では,PRチェーンから構造化監視を体系的にマイニングするdaVinci-Agencyを提案する。 DaVinci-AgencyのPR基底構造は、本質的には、永続的なゴールサイクルの振る舞いを教えるのに不可欠な因果依存性と反復的な洗練を保っている。
  論文  参考訳（メタデータ） (2026-02-02T13:23:39Z)
• On the Paradoxical Interference between Instruction-Following and Task Solving [50.75960598434753]
  次の命令は、大規模言語モデル(LLM)を、タスクの実行方法に関する明示的な制約を指定することで、人間の意図と整合させることを目的としている。 我々は,LLMのタスク解決能力にパラドックス的に干渉する命令に従うという,直感に反する現象を明らかにした。 本稿では,タスク解決に追従する命令の干渉を定量化する指標として,SUSTAINSCOREを提案する。
  論文  参考訳（メタデータ） (2026-01-29T17:48:56Z)
• Representation-Aware Unlearning via Activation Signatures: From Suppression to Knowledge-Signature Erasure [2.0017902634527194]
  本稿では,真の消去と難読化を区別する表現対応アーキテクチャであるKnowledge Immunization Framework(KIF)を紹介する。 提案手法は,主観的表現の動的抑制とパラメータ効率の適応を組み合わせ,完全モデル再学習を伴わない耐久性のある未学習を実現する。
  論文  参考訳（メタデータ） (2026-01-15T16:28:14Z)
• Disentangling Recall and Reasoning in Transformer Models through Layer-wise Attention and Activation Analysis [3.1526281887627587]
  モデル一般化の予測には推論からのリコールの排除が不可欠である。 我々は、制御された合成言語パズルのデータセットを使用して、層、頭、ニューロンレベルでトランスフォーマーモデルを探索する。 この結果から、リコールと推論は変換器モデルにおける分離可能だが相互作用する回路に依存しているという最初の因果的証拠が得られた。
  論文  参考訳（メタデータ） (2025-10-03T04:13:06Z)
• CTR-Sink: Attention Sink for Language Models in Click-Through Rate Prediction [42.92011330807996]
  $textitCTR-Sink$は、レコメンデーションシナリオに適した振る舞いレベルの注意シンクを導入した、新しいフレームワークである。 注意シンク理論にヒントを得て、注意集中シンクを構築し、外部情報を介して注意集約を動的に制御する。
  論文  参考訳（メタデータ） (2025-08-05T17:30:34Z)
• Uncovering the Missing Pattern: Unified Framework Towards Trajectory Imputation and Prediction [60.60223171143206]
  軌道予測は、観測されたシーケンスから実体運動や人間の行動を理解する上で重要な作業である。 現在の方法では、観測されたシーケンスが完了したと仮定し、欠落した値の可能性を無視する。 本稿では,グラフに基づく条件変動リカレントニューラルネットワーク (GC-VRNN) の統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-28T14:27:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。