論文の概要: Subquadratic Attention with a Hierarchical Tree-Structured Indexer

• arxiv url: http://arxiv.org/abs/2610.42112v2
• Date: Mon, 02 Nov 2026 18:28:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 02:41:45.029203
• Title: Subquadratic Attention with a Hierarchical Tree-Structured Indexer
• Title（参考訳）: 階層木構造インデクサを用いたサブクアッドラティックアテンション
• Abstract要約: 注意の二次的スケーリングは、大きな言語モデルの長いコンテキスト能力を制限する基本的なボトルネックである。 階層的木構造インデクサをベースとした4次スパルスアテンション法を導出する。 提案手法は,100万トークン以上の競合する手法を劇的に上回り,サブクワッドラティカルにスケールすることを示す。
• 参考スコア（独自算出の注目度）: 43.22906703667302
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The quadratic scaling of attention is a fundamental bottleneck limiting the long-context capabilities of large language models (LLMs). A variety of approaches have attempted to circumvent this, but they either fail to match attention's expressiveness (e.g., sliding-window or linear attention variants with fixed-size state) or only achieve constant-factor speedups (e.g., sparse attention methods whose indexers themselves scale quadratically). In this paper, we derive an asymptotically subquadratic sparse attention method based on a hierarchical, tree-structured indexer, which we call Zyphra Hierarchical Attention (ZHA). ZHA constructs a tree of recursively compressed key summaries over the KV cache, which future queries traverse from the top down to retrieve a sparse subset of keys. Crucially, by iteratively growing the tree's depth, the total cost including routing and final attention grows sublinearly in sequence length, resulting in overall subquadratic (but superlinear) scaling for attention. We demonstrate that ZHA can be cheaply applied to existing pretrained models with only a short KL distillation training stage of a billion tokens, and maintains performance on long-context retrieval and challenging reasoning, mathematical, and agentic coding evaluation tasks. Moreover, we show that our method is highly robust to tree geometry including very deep trees of up to 6 levels. Finally, we develop a detailed performance model and show that our approach scales subquadratically, dramatically outperforms competing methods beyond 1 million tokens of context, and ultimately has the potential to extend effective context windows to the hundreds of millions or billions of tokens.
• Abstract（参考訳）: 注意の二次的スケーリングは、大規模言語モデル(LLM)の長期コンテキスト能力を制限する基本的なボトルネックである。 様々なアプローチがこれを回避しようとするが、それらは注意の表現性(例えば、スライドウインドウや線形注意の変種と固定サイズの状態)と一致しないか、定数要素のスピードアップ(例えば、インデックス自体が二次的にスケールするスパースアテンション法)しか達成できない。 本稿では,Zyphra Hierarchical Attention (ZHA)と呼ばれる階層的木構造インデクサに基づく,漸近的に四分法的なスパースアテンション手法を導出する。 ZHAはKVキャッシュ上に再帰的に圧縮されたキーサマリーのツリーを構築する。 重要なことに、木の深さを反復的に増加させることで、ルーティングと最終的な注意を含む総コストは、シーケンスの長さでサブリニアに増加し、結果として、全体的なサブクワッドラティックな(しかし、スーパーリニアな)スケーリングが注意を向けられる。 ZHAは10億トークンのKL蒸留訓練段階に留まらず、既存の事前訓練モデルに安価に適用可能であることを実証し、長文検索と挑戦的推論、数学的、エージェント的符号化評価タスクの性能を維持できることを示した。 さらに,本手法は,最大6段の深い木を含む木構造に対して非常に頑健であることを示す。 最後に、我々は、詳細なパフォーマンスモデルを開発し、我々のアプローチがサブクアッドラティカルにスケールし、100万以上のコンテキストトークンを超える競合するメソッドを劇的に上回り、最終的には、効果的なコンテキストウィンドウを数十億から数十億のトークンにまで拡張する可能性があることを示す。

関連論文リスト

• Trainable Log-linear Sparse Attention for Efficient Diffusion Transformers [36.26426380985327]
  Diffusion Transformers (DiTs) は、視覚生成における技術の状態を設定しているが、その二次的な自己注意コストは、長いトークンシーケンスへのスケーリングを制限している。 最近のTop-Kスパースアテンションアプローチは、トークンをブロックワイズ表現に圧縮することで、DiTの計算を減らす。 極長トークン列に対するトレーニング可能なスパースアテンション機構であるログ線形スパースアテンション(LLSA)を導入する。
  論文  参考訳（メタデータ） (2025-12-18T14:53:12Z)
• TreePO: Bridging the Gap of Policy Optimization and Efficacy and Inference Efficiency with Heuristic Tree-based Modeling [65.46347858249295]
  TreePOは自己誘導型ロールアウトアルゴリズムで、シーケンス生成を木構造検索プロセスとして見る。 TreePOは基本的に、探索の多様性を保存または強化しながら、更新毎の計算負担を削減します。
  論文  参考訳（メタデータ） (2025-08-24T16:52:37Z)
• TreeRPO: Tree Relative Policy Optimization [65.51935468270916]
  nameは、ツリーサンプリングを用いて、様々な推論ステップで報酬の数学的期待を推定する新しい方法である。 GRPOの集団相対的な報酬訓練機構に基づいて、木サンプリング時に生成されたステップレベルグループに基づいて報酬を革新的に計算する。
  論文  参考訳（メタデータ） (2025-06-05T15:56:38Z)
• TreeKV: Smooth Key-Value Cache Compression with Tree Structures [19.06842704338332]
  TreeKVは、スムーズなキャッシュ圧縮のためにツリー構造を利用するトレーニング不要の手法である。 PG19とOpenWebText2の言語モデリングタスクのベースラインモデルを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-01-09T06:00:27Z)
• GrootVL: Tree Topology is All You Need in State Space Model [66.36757400689281]
  GrootVLは、視覚的タスクとテキストタスクの両方に適用できる多目的マルチモーダルフレームワークである。 本手法は, 画像分類, オブジェクト検出, セグメンテーションにおいて, 既存の構造化状態空間モデルよりも大幅に優れる。 大規模言語モデルの微調整により,本手法は訓練コストの少ない複数のテキストタスクにおいて一貫した改善を実現する。
  論文  参考訳（メタデータ） (2024-06-04T15:09:29Z)
• Treeformer: Dense Gradient Trees for Efficient Attention Computation [24.045251327736814]
  カーネルを用いて注目度、低ランク、近似などの異なる注意構造を強制することにより、注意計算を高速化する方法を示す。 このような階層的なナビゲーションに基づいて、TF-AttentionとTC-Attentionという2つの効率的な注意層のうちの1つを使用できるTreeformerを設計する。 注意層に30倍少ないFLOPを使用しながら,私たちのTreeformerアーキテクチャはベースライントランスフォーマーとほぼ同等の精度で動作可能であることを実証した。
  論文  参考訳（メタデータ） (2022-08-18T18:31:40Z)
• Rethinking Learnable Tree Filter for Generic Feature Transform [71.77463476808585]
  Learnable Tree Filterはセマンティックセグメンテーションのためのモデル構造保存関係に対する顕著なアプローチを示す。 幾何学的制約を緩和するために,マルコフ確率場として再構成して解析を行い,学習可能な不定項を導入する。 セマンティックセグメンテーションでは、ベルとホイッスルなしでCityscapesベンチマークでトップパフォーマンス(82.1% mIoU)を達成しています。
  論文  参考訳（メタデータ） (2020-12-07T07:16:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。