論文の概要: Attention Routing Stabilizes Early: Working-Set Inference for Recurrent Language Models

• arxiv url: http://arxiv.org/abs/2609.27373v2
• Date: Sun, 27 Sep 2026 23:52:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-29 21:31:51.71514
• Title: Attention Routing Stabilizes Early: Working-Set Inference for Recurrent Language Models
• Title（参考訳）: 注意ルーティングが早期に安定化 - 繰り返し言語モデルに対するワーキングセット推論
• Abstract要約: 注意経路が再帰的な深さにわたってどのように進化するかを考察し、収束時間スケールで一貫した分離を見出す。 WISE(Working-set Inference with Support Exploitation)は,ブロック構造を有する作業セットを早期に発見するために,制限のない注意力を利用する訓練自由な手法である。
• 参考スコア（独自算出の注目度）: 4.667009647193296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent-depth language models, such as looped Transformers, repeatedly apply shared network blocks to refine latent representations without generating explicit intermediate reasoning tokens. However, each step recomputes full attention over the entire context, repeating costly global routing. We study how attention routing evolves across recurrent depth and find a consistent separation in convergence timescales: attention support and distributions stabilize substantially earlier than hidden states and attention outputs. This suggests two stages of recurrent inference: early discovery of a sparse working set, followed by representation refinement over largely stable routing support. Motivated by this finding, we introduce WISE (Working-set Inference with Support Exploitation), a training-free method that uses unrestricted attention during early recurrent steps to discover a block-structured working set, then reuses its support in later steps while keeping attention weights and recurrent refinement dynamic. Controlled interventions show that multi-step discovery yields more effective working sets than first-step selection, and that support reuse better preserves model behavior than more restrictive forms of attention reuse. Across multi-hop QA benchmarks, WISE largely preserves full-attention performance. Matched context-scaling experiments reveal an increasingly favorable quality-efficiency tradeoff as routing support becomes sparser with longer contexts. A sparse-attention implementation achieves up to a 1.76x late-step attention speedup over native FlashAttention at 4K context. Code: https://github.com/tbn5pj/WISE_code.
• Abstract（参考訳）: ループ変換器などの繰り返し言語モデルは、明示的な中間推論トークンを生成することなく、共用ネットワークブロックを繰り返し適用して遅延表現を洗練させる。 しかし、各ステップはコンテキスト全体に対する完全な注意を計算し、コストのかかるグローバルルーティングを繰り返します。 本研究は, 集中時間スケールの連続的な分離を見いだすため, 注意制御と分布は隠れ状態よりもかなり早く安定し, 注意出力も安定することを示した。 これは再帰的推論の2つの段階を示唆している: スパースなワーキングセットの早期発見と、ほとんど安定なルーティングサポートに対する表現の洗練である。 この発見に動機づけられたWISE(Working-set Inference with Support Exploitation)は、初期繰り返し作業中に制限のない注意を用いてブロック構造された作業セットを発見し、後続のステップでサポートを再利用し、注意重みを保ち、リカレントリファインメントを動的に行う訓練自由な手法である。 制御された介入は、マルチステップの発見が第一段階の選択よりも効果的な作業セットをもたらし、サポートがより制限的な注意の再利用よりもモデル行動をよりよく保存することを示している。 マルチホップQAベンチマークの他、WISEはフルアテンション性能を保っている。 マッチングされたコンテキストスケーリング実験は、ルーティングサポートがより長いコンテキストでスペーサーになるにつれて、品質効率のトレードオフがますます好まれることを示している。 スパースアテンションの実装は、4KコンテキストでのネイティブFlashAttentionよりも1.76倍の遅延アテンションスピードアップを達成する。 コード:https://github.com/tbn5pj/WISE_code

関連論文リスト

• Complementary Text-Guided Attention for Zero-Shot Adversarial Robustness [57.104158692005775]
  ゼロショットロバストネス(TGA-ZSR)のためのテキストガイド型アテンションを提案する。 我々のゴールは、CLIPモデルの一般化を維持し、敵の堅牢性を高めることである。 この制限を克服するために、補完的テキストガイド注意(Complementary Text-Guided Attention, Comp-TGA)と呼ばれる新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2026-03-19T08:11:46Z)
• RRAttention: Dynamic Block Sparse Attention via Per-Head Round-Robin Shifts for Long-Context Inference [13.524332723947703]
  本稿では,新しい動的スパースアテンション手法であるRRAttentionを提案する。 ヘッドアンダーラインラウンドアンダーラインロビン(RR)サンプリング戦略により、すべての望ましい特性を同時に達成する。 提案手法は,複雑性を$O(L2)$から$O(L2/S2)$に減らし,最適間隔に適応的なTop-$選択を用いる。
  論文  参考訳（メタデータ） (2026-02-05T16:37:41Z)
• Punctuation-aware Hybrid Trainable Sparse Attention for Large Language Models [44.28116882776357]
  textbfPunctuation-aware textbfHybrid textbfSparse textbfAttention textbf(PHSA)を提案する。 具体的には,大域的セマンティック表現と句読点付き境界特徴を融合させ,コアセマンティック構造を保ちながら,計算オーバーヘッドをほとんど含まない二重ブランチアグリゲーション機構を設計する。
  論文  参考訳（メタデータ） (2026-01-06T08:47:16Z)
• Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
  トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。 TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2025-12-10T01:54:57Z)
• AnchorAttention: Difference-Aware Sparse Attention with Stripe Granularity [9.63873831179673]
  拡張コンテキスト長を持つ大規模言語モデル(LLM)は、事前充足フェーズにおいて重大な計算上の課題に直面します。 重要な注意領域を効率よく識別する,差認識型動的スパースアテンション機構である textbfAnchorAttention を提案する。 textbfAnchorAttentionは、粒度の細かいスペーシング戦略により、同じリコールレベルでより高いスペーサ率を実現し、計算時間を著しく短縮する。
  論文  参考訳（メタデータ） (2025-05-29T14:59:06Z)
• OverLoCK: An Overview-first-Look-Closely-next ConvNet with Context-Mixing Dynamic Kernels [50.42092879252807]
  We present OverLoCK, the first pure ConvNet backbone architecture which include a top-down attention mechanism。 トップダウンアテンションのパワーを完全に解き放つために,コンテクスト混合動的畳み込み(ContMix)を提案する。
  論文  参考訳（メタデータ） (2025-02-27T13:45:15Z)
• RefreshKV: Updating Small KV Cache During Long-form Generation [54.00118604124301]
  生成中の入力トークンのサブセットに対して、完全なコンテキストアテンションとアテンションを柔軟に交互に交互に切り替える新しい推論手法RefreshKVを提案する。 本手法をオフザシェルフ LLM に適用することにより,様々な長文生成タスクの性能を向上しつつ,エビクションベースの手法に匹敵する高速化を実現する。
  論文  参考訳（メタデータ） (2024-11-08T18:57:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。