論文の概要: LoGo: Token-Level Dynamic Local-Global Attention

• arxiv url: http://arxiv.org/abs/2608.29539v1
• Date: Sun, 30 Aug 2026 04:05:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.993163
• Title: LoGo: Token-Level Dynamic Local-Global Attention
• Title（参考訳）: LoGo:Token-Level Dynamic Local-Global Attention
• Abstract要約: トークンレベルの動的局所的アテンション機構であるLoGoを提案する。 LoGoは、アテンション予算割り当ての直接的なプロキシとして、アテンションスパンを使用している。 また,LoGoは全アテンション変換器と一致予算の静的局所-グローバルハイブリッドよりも改善されていることを示す。
• 参考スコア（独自算出の注目度）: 27.98535137486496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As context lengths scale, attention increasingly becomes a primary computational bottleneck in large language models. Standard Transformers remain powerful but computationally inefficient, as they allocate the same attention budget to every token regardless of its contextual demand. Existing local-global hybrids provide a more efficient alternative by mixing restricted- and full-context attention, but they typically allocate span statically across layers or heads. To address these limitations, we propose LoGo, a token-level dynamic local-global attention mechanism that uses attention span as a direct proxy for attention budget allocation. Each LoGo layer contains coupled local and global branches: all tokens receive efficient local attention over a restricted context window, while a learned gate activates global attention with full-context access only for tokens requiring long-range information. A threshold-based budget controller maintains a target global ratio without auxiliary losses, and a progressive masking schedule stabilizes training before sparse routing takes effect. We further implement query-sparse Triton kernels that convert reduced global-attention computation into practical speedups. Extensive experiments validate LoGo's effectiveness, showing that it preserves the scaling behavior of full-attention Transformers across model sizes. In controlled comparisons, LoGo improves over the full-attention Transformer and matched-budget static local-global hybrids, with clear gains on long-range retrieval. Analysis further shows that LoGo learns interpretable span allocation patterns. These results suggest that learned token-level span allocation is an effective and scalable way to improve the long-context performance-compute trade-off.
• Abstract（参考訳）: 文脈長がスケールするにつれて、大きな言語モデルにおいて注意が主要な計算ボトルネックとなる。 標準変換器は、文脈的要求に関係なく、すべてのトークンに同じ注意予算を割り当てているため、強力だが計算上非効率である。 既存のローカル-グローバルハイブリッドは、制限されたコンテキストとフルコンテキストの注意を混ぜることで、より効率的な代替手段を提供する。 これらの制約に対処するため,トークンレベルの動的局所的アテンション機構であるLoGoを提案し,アテンション予算配分の直接的なプロキシとして注目スパンを利用する。 すべてのトークンは制限されたコンテキストウィンドウ上で効率的なローカルアテンションを受け取り、学習されたゲートは、長距離情報を必要とするトークンに対してのみ、フルコンテキストアクセスでグローバルアテンションを起動する。 しきい値ベースの予算管理装置は、補助損失のない目標大域比を維持し、プログレッシブマスキングスケジュールは、スパースルーティングが有効になる前にトレーニングを安定化する。 さらにクエリスパースなTritonカーネルを実装し、削減されたグローバルアテンション計算を実用的なスピードアップに変換する。 大規模な実験によりLoGoの有効性が検証され、モデルサイズ全体にわたるフルアテンショントランスフォーマーのスケーリング挙動が維持されることが示された。 制御された比較では、LoGoはフルアテンショントランスフォーマーと整合予算の静的局所-グローバルハイブリッドよりも改善され、長距離検索に明らかな利得がある。 分析はさらに、LoGoが解釈可能なスパン割り当てパターンを学習していることを示している。 これらの結果から,学習トークンレベルのスパン割り当ては,長文のパフォーマンスと計算のトレードオフを改善するための効率的かつスケーラブルな方法であることが示唆された。

関連論文リスト

• Characterizing the Expressivity of Local Attention in Transformers [54.7971926111047]
  トランスフォーマーは、言語モデリングの最も人気のあるニューラルアーキテクチャである。 本研究では,大域的注意を持つ固定精度変換器が,単一過去の演算子を含む線形時間論理の断片に対応することを示す。 さらに、局所的な注意を加えることで、第二の時間演算子を導入し、認識可能な正規言語のクラスを厳密に拡大することを示す。
  論文  参考訳（メタデータ） (2026-05-01T16:30:52Z)
• Switch Attention: Towards Dynamic and Fine-grained Hybrid Transformers [34.75985836977073]
  そこで本研究では,フルアテンションとスライディングウィンドウアテンション間の動的かつきめ細かなルーティングを実現するハイブリッドトランスを提案する。 SwiAttnは、計算をグローバル情報集約のためのフルアテンションブランチか、効率的な局所パターンマッチングのためのスライディングウィンドウブランチに動的にルーティングする。 実験は、通常の(4K)と長い(32K)コンテキスト長の両方にわたる23のベンチマークデータセットで実施される。
  論文  参考訳（メタデータ） (2026-03-27T13:04:29Z)
• Efficiency Follows Global-Local Decoupling [62.05489838893081]
  ConvNeurは、軽量なニューラルメモリブランチがトークンの集合にグローバルなコンテキストを集約する2分岐アーキテクチャである。 学習ゲートは、グローバルなキューが目的を絞ることなく、局所的な特徴を調整できる。 標準的な分類、検出、セグメンテーションのベンチマークでは、ConvNeurは同等または低い計算で同等の選択肢にマッチするか、超えている。
  論文  参考訳（メタデータ） (2026-03-20T02:20:16Z)
• Krause Synchronization Transformers [63.8469912831803]
  トランスフォーマーにおける自己注意は、グローバルに正規化されたソフトマックスの重みに依存しており、すべてのトークンがすべての層で影響を競う。 クラーズ・アテンション(Krause Attention)は、有界信頼コンセンサス・ダイナミクスにインスパイアされた注意機構である。
  論文  参考訳（メタデータ） (2026-02-12T03:47:53Z)
• AnchorAttention: Difference-Aware Sparse Attention with Stripe Granularity [9.63873831179673]
  拡張コンテキスト長を持つ大規模言語モデル(LLM)は、事前充足フェーズにおいて重大な計算上の課題に直面します。 重要な注意領域を効率よく識別する,差認識型動的スパースアテンション機構である textbfAnchorAttention を提案する。 textbfAnchorAttentionは、粒度の細かいスペーシング戦略により、同じリコールレベルでより高いスペーサ率を実現し、計算時間を著しく短縮する。
  論文  参考訳（メタデータ） (2025-05-29T14:59:06Z)
• Stochastic Layer-wise Learning: Scalable and Efficient Alternative to Backpropagation [1.0285749562751982]
  バックプロパゲーションは現代のディープラーニングを支えるものだが、グローバル同期への依存はスケーラビリティを制限し、高いメモリコストを発生させる。 対照的に、完全に局所的な学習ルールはより効率的であるが、コヒーレントなグローバルラーニングに必要な層間調整を維持するのに苦労することが多い。 本稿では,グローバルな目標を協調的なレイヤローカル更新に分解するレイヤワイズ学習アルゴリズムであるレイヤワイズ学習(SLL)を紹介する。
  論文  参考訳（メタデータ） (2025-05-08T12:32:29Z)
• SG-Former: Self-guided Transformer with Evolving Token Reallocation [89.9363449724261]
  本稿では,適応的な微粒化を伴う効果的なグローバル自己注意に向けて,自己誘導変換器と呼ばれる新しいモデルを提案する。 我々は、細かな注意を得られるために、細かな領域により多くのトークンを割り当てる一方で、効率とグローバルな受容場と引き換えに、小さな領域に少ないトークンを割り当てる。 提案したSG-Formerは,最先端技術よりも優れたパフォーマンスを実現している。我々のベースサイズモデルは,ImageNet-1K上のTop-1精度,textbf51.2mAP BBAP on CoCo, textbf52.7mIoU
  論文  参考訳（メタデータ） (2023-08-23T15:52:45Z)
• Think Global, Act Local: Dual-scale Graph Transformer for Vision-and-Language Navigation [87.03299519917019]
  本稿では,2次元グラフ変換器 (DUET) を提案する。 我々は,グローバルな行動空間における効率的な探索を可能にするために,トポロジカルマップをオンザフライで構築する。 提案手法であるDUETは、目標指向の視覚・言語ナビゲーションベンチマークにおいて最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2022-02-23T19:06:53Z)
• Local-to-Global Self-Attention in Vision Transformers [130.0369761612812]
  トランスフォーマーはコンピュータビジョンタスクに大きな可能性を示した。 最近のTransformerモデルは階層設計を採用しており、セルフアテンションはローカルウィンドウ内でのみ計算される。 この設計は効率を大幅に改善するが、早い段階ではグローバルな特徴推論が欠如している。 本研究では,トランスフォーマーのマルチパス構造を設計し,各ステージにおける複数の粒度での局所的・言語的推論を可能にする。
  論文  参考訳（メタデータ） (2021-07-10T02:34:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。