論文の概要: Attention Routing Stabilizes Early: Working-Set Inference for Recurrent Language Models

• arxiv url: http://arxiv.org/abs/2609.27373v1
• Date: Wed, 23 Sep 2026 05:21:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.89668
• Title: Attention Routing Stabilizes Early: Working-Set Inference for Recurrent Language Models
• Title（参考訳）: 注意ルーティングが早期に安定化 - 繰り返し言語モデルに対するワーキングセット推論
• Abstract要約: 本研究では,早期再発時に非制限のグローバルアテンションを利用するトレーニングフリーのWISE(Working-set Inference with Support Exploitation)を紹介する。 WISEはフルアテンション性能を保ちながら、コンテキストスケーリングによって作業セットが狭くなり、効率が向上することを示す。 最適化されたスパースアテンション実装では、4KでのネイティブFlashAttentionよりも1.76倍のアテンションスピードアップを実現し、32ステップのアテンション軌跡の完全な1.36倍のスピードアップを実現している。
• 参考スコア（独自算出の注目度）: 4.667009647193296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent language models repeatedly apply shared network blocks to refine latent representations, but standard inference recomputes global attention at every recurrent step. We study attention dynamics across recurrent depth and find that attention support and distributions stabilize substantially earlier than hidden states and attention outputs. This suggests a two-stage structure: early steps discover a sparse working set of relevant context, while later steps refine representations over largely the same routing support. Motivated by this structure, we introduce WISE (Working-set Inference with Support Exploitation), a training-free method that uses unrestricted global attention during early recurrence and later reuses directly discovered block-structured support while keeping recurrent depth and within-support attention computation dynamic. Controlled interventions show that recurrent discovery is important and that support-only reuse better preserves model behavior than more restrictive attention-reuse alternatives. Across multi-hop QA benchmarks, WISE largely preserves full-attention performance, while context scaling reveals increasingly sparse working sets and greater efficiency gains. Quality is largely preserved through 2K context, with a measurable loss at 4K. An optimized sparse-attention implementation achieves up to a 1.76x attention speedup over native FlashAttention at 4K and a 1.36x speedup for the full 32-step attention trajectory. Our code is available at https://github.com/tbn5pj/WISE_code.
• Abstract（参考訳）: リカレント言語モデルは、遅延表現を洗練させるために共有ネットワークブロックを繰り返し適用するが、標準推論は繰り返しステップ毎にグローバルな注意を計算する。 本研究では,再帰深度にわたる注意動態について検討し,注意支援や分布が隠れ状態や注意出力よりもかなり早く安定していることを見出した。 初期のステップは、関連するコンテキストのスパースな動作セットを発見し、後のステップは、ほとんど同じルーティングサポートに対して表現を洗練します。 この構造に動機づけられたWISE(Working-set Inference with Support Exploitation)は,未制限のグローバルアテンションを早期に利用し,その後,再帰的深度と支援内アテンション計算のダイナミックさを維持しつつ,ブロック構造化サポートを直接発見する訓練自由な手法である。 制御された介入は、再帰的な発見が重要であり、サポートのみの再利用は、より制限的な注意と再利用の代替手段よりもモデル行動をよりよく保存することを示している。 マルチホップQAベンチマーク全体では、WISEはフルアテンションのパフォーマンスを保ち、コンテキストスケーリングは、疎結合な作業セットとより優れた効率向上を明らかにしている。 品質は2Kコンテキストを通じて維持され、測定可能な損失は4Kである。 最適化されたスパースアテンション実装では、4KでのネイティブFlashAttentionよりも1.76倍のアテンションスピードアップを実現し、32ステップのアテンション軌跡の完全な1.36倍のスピードアップを実現している。 私たちのコードはhttps://github.com/tbn5pj/WISE_code.comから入手可能です。

関連論文リスト

• Complementary Text-Guided Attention for Zero-Shot Adversarial Robustness [57.104158692005775]
  ゼロショットロバストネス(TGA-ZSR)のためのテキストガイド型アテンションを提案する。 我々のゴールは、CLIPモデルの一般化を維持し、敵の堅牢性を高めることである。 この制限を克服するために、補完的テキストガイド注意(Complementary Text-Guided Attention, Comp-TGA)と呼ばれる新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2026-03-19T08:11:46Z)
• RRAttention: Dynamic Block Sparse Attention via Per-Head Round-Robin Shifts for Long-Context Inference [13.524332723947703]
  本稿では,新しい動的スパースアテンション手法であるRRAttentionを提案する。 ヘッドアンダーラインラウンドアンダーラインロビン(RR)サンプリング戦略により、すべての望ましい特性を同時に達成する。 提案手法は,複雑性を$O(L2)$から$O(L2/S2)$に減らし,最適間隔に適応的なTop-$選択を用いる。
  論文  参考訳（メタデータ） (2026-02-05T16:37:41Z)
• Punctuation-aware Hybrid Trainable Sparse Attention for Large Language Models [44.28116882776357]
  textbfPunctuation-aware textbfHybrid textbfSparse textbfAttention textbf(PHSA)を提案する。 具体的には,大域的セマンティック表現と句読点付き境界特徴を融合させ,コアセマンティック構造を保ちながら,計算オーバーヘッドをほとんど含まない二重ブランチアグリゲーション機構を設計する。
  論文  参考訳（メタデータ） (2026-01-06T08:47:16Z)
• Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
  トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。 TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2025-12-10T01:54:57Z)
• AnchorAttention: Difference-Aware Sparse Attention with Stripe Granularity [9.63873831179673]
  拡張コンテキスト長を持つ大規模言語モデル(LLM)は、事前充足フェーズにおいて重大な計算上の課題に直面します。 重要な注意領域を効率よく識別する,差認識型動的スパースアテンション機構である textbfAnchorAttention を提案する。 textbfAnchorAttentionは、粒度の細かいスペーシング戦略により、同じリコールレベルでより高いスペーサ率を実現し、計算時間を著しく短縮する。
  論文  参考訳（メタデータ） (2025-05-29T14:59:06Z)
• OverLoCK: An Overview-first-Look-Closely-next ConvNet with Context-Mixing Dynamic Kernels [50.42092879252807]
  We present OverLoCK, the first pure ConvNet backbone architecture which include a top-down attention mechanism。 トップダウンアテンションのパワーを完全に解き放つために,コンテクスト混合動的畳み込み(ContMix)を提案する。
  論文  参考訳（メタデータ） (2025-02-27T13:45:15Z)
• RefreshKV: Updating Small KV Cache During Long-form Generation [54.00118604124301]
  生成中の入力トークンのサブセットに対して、完全なコンテキストアテンションとアテンションを柔軟に交互に交互に切り替える新しい推論手法RefreshKVを提案する。 本手法をオフザシェルフ LLM に適用することにより,様々な長文生成タスクの性能を向上しつつ,エビクションベースの手法に匹敵する高速化を実現する。
  論文  参考訳（メタデータ） (2024-11-08T18:57:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。