論文の概要: RouteSparse: Input-Conditional Pattern Routing for Budgeted Long-Context Prefilling
- arxiv url: http://arxiv.org/abs/2608.29058v1
- Date: Sat, 29 Aug 2026 05:23:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.827653
- Title: RouteSparse: Input-Conditional Pattern Routing for Budgeted Long-Context Prefilling
- Title（参考訳）: RouteSparse: 予算付き長期プレフィルのための入出力パターンルーティング
- Abstract要約: 我々は,GPU効率の良いスパースパターンの小さなライブラリの中で,各ヘッドとプロンプトのセグメントをルーティングするRouteSparseを紹介する。
低コストのプローブはパターンの有用性と不確実性を推定し、遅延対応ルータはパターンと予算を選択し、不確実なケースはより密なマスクにフォールバックする。
Llama 3.1-8B-Instructs with 128K-token promptsでは、RouteSparseは深い注意に対して0.2ポイントのRULERドロップで6.5倍の高密度プリフィル速度を達成した。
- 参考スコア（独自算出の注目度）: 9.844467613008392
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dynamic sparse attention can reduce the quadratic cost of long-context prefilling without changing model weights. MInference assigns each attention head one pattern offline and estimates that pattern's sparse indices for every prompt. This design is efficient, but it assumes that a head's preferred pattern and sparsity budget remain suitable across inputs. We introduce RouteSparse, which routes each head and prompt segment among a small library of GPU-efficient sparse patterns. A low-cost probe estimates pattern utility and uncertainty; a latency-aware router then selects a pattern and budget, while uncertain cases fall back to a denser mask. We formulate routing as constrained risk minimization, derive an attention-output error certificate from omitted probability mass, and evaluate the method on long-context retrieval, question answering, summarization, and language modeling. On Llama 3.1-8B-Instruct with 128K-token prompts, RouteSparse achieves $6.5\times$ dense prefill speed with a 0.2-point RULER drop relative to dense attention, compared with $7.3\times$ speed and a 1.6-point drop for fixed per-head routing. Ablations confirm that input-conditional routing, hardware profiling, and selective dense fallback each contribute to the quality--latency tradeoff.
- Abstract（参考訳）: ダイナミックスパースアテンションは、モデル重みを変化させることなく、長文プリフィルの二次コストを低減することができる。
MInferenceは各アテンションヘッド1パターンをオフラインに割り当て、各プロンプトに対してそのパターンのスパースインデックスを推定する。
この設計は効率的であるが、ヘッドの好みのパターンとスパーシティの予算が入力に相応しいと仮定する。
我々は,GPU効率の良いスパースパターンの小さなライブラリの中で,各ヘッドとプロンプトセグメントをルーティングするRouteSparseを紹介する。
低コストのプローブはパターンの有用性と不確実性を推定し、遅延対応ルータはパターンと予算を選択し、不確実なケースはより密なマスクにフォールバックする。
我々は、制約付きリスク最小化としてルーティングを定式化し、省略された確率質量から注意出力エラー証明書を導出し、長文検索、質問応答、要約、言語モデリングの手法を評価する。
Llama 3.1-8B-Instructs with 128K-token prompts, RouteSparse $ dense prefill speed with a 0.2-point RULER drop with compared with 7.3-times$ speed and 1.6-point drop for fixed per-head routing。
アブレーションは、入力条件ルーティング、ハードウェアプロファイリング、選択的な高密度フォールバックがそれぞれ品質-遅延トレードオフに寄与することを確認する。
関連論文リスト
- CEDAR: Error-Bounded Residual Routing for Efficient Long-Context Attention [19.273437346867595]
ポストホックスパースアテンションは、各クエリを小さなトークンレベルのインタラクションセットにルーティングすることで、ロングコンテクストのプリフィルを加速する。
我々はCEDAR(Coarse-to-fine Error-aware Dynamic Attention)を紹介する。
CEDARは、グローバルなカバレッジを維持しながら、言語モデルを凍結し続ける粗大なメソッドである。
論文 参考訳（メタデータ） (2026-09-07T08:56:47Z) - CRISP: Cliff-awaRe Input-adaptive Sparse Prefilling with Structural-Mass-Motivated Routing [90.63350360476294]
本稿ではCRISP(Cliff-awaRe Input-adaptive Sparse Prefilling)を提案する。
ルーティング決定は、プロキシアテンションマップの構造から直接読み取ることができることを示す。
ソフトマックス後の質量崖を定式化し、厳密な累積被覆閾値が長い文脈でO(n)バックグラウンドノイズを蓄積することを理論的に示す。
論文 参考訳（メタデータ） (2026-09-01T22:49:46Z) - Dijkstra as an Oracle for Online Stochastic Shortest Path Navigation with Provable Guarantees [0.5735035463793009]
この研究は、ダイクストラのアルゴリズムが、文献でしばしば呼び出される因果性条件よりもはるかに弱い条件の下で、正確な計画エンジンを維持できることを示している。
この特徴に基づいて,ロボットナビゲーションにおいて,最短経路を1回に一定回数の時間で呼び出すオンライン学習者DORAを提案する。
論文 参考訳（メタデータ） (2026-08-18T12:26:17Z) - Efficient and Trainable Language Model Test-Time Scaling via Local Branch Routing [65.59464371673623]
Local Branch Routing (LBR)はトークンレベルのテストタイムスケーリングフレームワークである。
小さなローカルなルックアヘッドツリーを拡張し、言語モデルを通じてすべてのサンプルブランチを転送し、軽量ルータを使用してコミットするdeep-1サブツリーを選択する。
LBRにより、各トークン決定は、完全なソリューションレベルの検索を避けながら、ルート次トーケン分布を超えるエビデンスを使用することができる。
論文 参考訳（メタデータ） (2026-06-24T03:42:44Z) - BUDDY: BUdget-Driven DYnamic Depth Routing for Adaptive Large Language Model Inference [8.041559188948003]
Buddyは、大規模言語モデルのための予算駆動の動的深度ルーティングフレームワークである。
厳格な予算管理、デコードタイムの再ルーティング、トレーニングされた1つのモデルで複数の予算をサポートする。
論文 参考訳（メタデータ） (2026-06-08T14:06:35Z) - VSPrefill: Vertical-Slash Sparse Attention with Lightweight Indexing for Long-Context Prefilling [0.0]
既存のスパースアテンション手法は、コンテキスト適応性、オーバーヘッドのサンプリング、微調整コストのトレードオフに直面している。
注意分布に垂直スラッシュ構造パターンを用いる軽量なトレーニング機構であるVSPrefillを提案する。
VSPrefillは注意点の98.35%を保存し、コンテキスト長128kで平均4.95倍のスピードアップを提供する。
論文 参考訳（メタデータ） (2026-03-03T09:24:58Z) - SparseD: Sparse Attention for Diffusion Language Models [98.05780626106555]
拡散言語モデル(DLM)は自己回帰モデル(AR)に代わる有望な代替手段を提供する
既存のオープンソースDLMは、高い推論遅延に悩まされている。
DLMのための新しいスパースアテンション手法であるスパースDを提案する。
論文 参考訳（メタデータ） (2025-09-28T18:10:10Z) - R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。
CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。
トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
論文 参考訳（メタデータ） (2025-07-23T08:14:36Z) - $\texttt{SPECS}$: Faster Test-Time Scaling through Speculative Drafts [55.231201692232894]
$textttSPECS$は、投機的デコードにインスパイアされた遅延対応のテスト時間スケーリングメソッドである。
我々の結果は、$textttSPECS$matchはビームサーチの精度を上回り、最大$sim$19.1%のレイテンシを削減していることを示している。
論文 参考訳（メタデータ） (2025-06-15T05:50:05Z) - ETS: Efficient Tree Search for Inference-Time Scaling [61.553681244572914]
テストタイムの計算スケーリングにおいて有望なアプローチのひとつは、プロセス報酬モデルに対する検索である。
木探索過程における軌跡の多様性は、多様性の増大がさらなる探索を促進するため、探索の精度に影響を与える。
本稿では,冗長なトラジェクトリを抽出し,必要な多様なトラジェクトリを維持しながら,KVの共有を促進する効率的なツリー探索(ETS)を提案する。
論文 参考訳（メタデータ） (2025-02-19T09:30:38Z) - Finding Transformer Circuits with Edge Pruning [71.12127707678961]
自動回路発見の効率的かつスケーラブルなソリューションとしてエッジプルーニングを提案する。
本手法は,従来の手法に比べてエッジ数の半分未満のGPT-2の回路を探索する。
その効率のおかげで、Edge PruningをCodeLlama-13Bにスケールしました。
論文 参考訳（メタデータ） (2024-06-24T16:40:54Z) - MoA: Mixture of Sparse Attention for Automatic Large Language Model Compression [22.038650467915176]
本研究では,異なる頭部と層に異なる注意配置を自動調整するMixture of Attention (MoA)を提案する。
MoAは様々な入力サイズに対応し、いくつかの注意点がより長いシーケンスに対応するように焦点を拡大し、他のヘッドは固定長のローカルコンテキストに一貫して集中することを示した。
論文 参考訳（メタデータ） (2024-06-21T06:58:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。