論文の概要: RouteRelay: Event-Triggered Cross-Layer Route Reuse for Efficient Dynamic Sparse Attention
- arxiv url: http://arxiv.org/abs/2609.07306v1
- Date: Mon, 07 Sep 2026 10:23:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 00:47:58.305916
- Title: RouteRelay: Event-Triggered Cross-Layer Route Reuse for Efficient Dynamic Sparse Attention
- Title（参考訳）: RouteRelay: 効率的なダイナミックスパース注意のためのイベントトリガークロスレイルート再利用
- Abstract要約: RouteRelayは、深さにわたるルートメタデータのみを再利用するルータに依存しない方法である。
RouteRelayは少なくとも99.99%のルートリコールを維持し、25.0%、55.4%、78.2%の行を低中等度、高層ドリフトでリローする。
- 参考スコア（独自算出の注目度）: 10.543370808241159
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dynamic sparse attention reduces long-context prefill cost by routing each query chunk to a small set of key chunks at every Transformer layer. The sparse attention kernel avoids most token interactions, but the router still rebuilds a chunk--chunk score matrix layer after layer, even when the selected routes change little. We introduce RouteRelay, a router-agnostic method that reuses only route metadata across depth while continuing to compute attention with the current layer's queries, keys, and values. Anchor layers perform full routing. Intermediate layers rescore the previous top-$k$ route and a compact sentinel set of near-miss and randomly probed chunks. A query row is rerouted only when a sentinel challenges its weakest selected chunk. We give a top-$k$ stability condition, a probabilistic bound on missed challengers, and a row-selective GPU execution design. In a reproducible empirical evaluation, RouteRelay retains at least 99.99% route recall while rerouting 25.0%, 55.4%, and 78.2% of rows under low, moderate, and high cross-layer drift, respectively. Across routing scales, RouteRelay retains 100.0% recall while evaluating 38.4--51.6% of full-routing score pairs as the key-chunk count grows from 128 to 1024. Its unfused CPU execution remains slower than dense matrix multiplication, exposing row compaction and ledger updates as the main kernel-engineering targets.
- Abstract（参考訳）: 動的スパースアテンションは、各クエリチャンクをトランスフォーマー層ごとに小さなキーチャンクにルーティングすることで、長いコンテキストのプリフィルコストを削減する。
スパースアテンションカーネルは、ほとんどのトークンのやりとりを避けるが、ルータは、選択されたルートがほとんど変化していない場合でも、階層の後にチャンク・チャンクスコア行列層を再構築する。
RouteRelayは、現在のレイヤのクエリ、キー、値に注意を払っている間、深さをまたいだルートメタデータのみを再利用するルータに依存しない方法である。
アンカー層は完全なルーティングを実行する。
中間層は、以前の上位$kのルートと、近距離およびランダムにプローブされたチャンクのコンパクトなセンチネルセットを再スコアする。
クエリ行は、センチネルが最も弱い選択チャンクに挑戦したときにのみ、再帰される。
我々は、上位$kの安定性条件、欠落した挑戦者に対する確率的バウンダリ、行選択型GPU実行設計を与える。
再現可能な実証評価では、ルートレイは少なくとも99.99%のルートリコールを維持し、それぞれ25.0%、55.4%、78.2%の行を低、中、高層ドリフトでリローする。
ルーティングスケール全体では、RouteRelayは100.0%リコールを維持し、キー・チャンク数が128から1024に増加するにつれて38.4--51.6%のスコア・ペアを評価している。
未使用のCPU実行は密度の高い行列乗算よりも遅いままであり、メインのカーネルエンジニアリングターゲットとして行のコンパクト化と台帳更新が公開されている。
関連論文リスト
- LayerRoute: Adaptive Layer-Skipping with LoRA-Preserved Quality for Efficient LLM Inference [0.0]
LayerRouteは適応トランス層スキッピングのためのパラメータ効率のよい手法である。
層間ハードゲートルーティングとジョイントLoRAファインチューニングを組み合わせる。
列車はA100で7分以下で運行され、オーバーヘッドは無視できる。
論文 参考訳（メタデータ） (2026-09-12T03:30:59Z) - Do Dynamic Routers Need Memory? HeRo: History-Aware Routing for Efficient LLM Inference [13.935681015472262]
動的層ルーティングにより、個々のトークンのレイヤをスキップすることを学ぶことで、LLM(Large Language Models)の推論コストが削減される。
既存の方法は、各ルーティング決定を、現在の隠れ状態のみにのみ依存したローカル操作として扱う。
モデル深度を越えた明示的なルーティング状態を維持する動的ルーティングフレームワークであるHistory-Aware Routing(HeRo)を提案する。
論文 参考訳（メタデータ） (2026-09-08T03:20:07Z) - Evidence for Shared Routing Geometry and Dynamics in Sparse Mixture-of-Experts [0.0]
層間のルーティング関連状態は、層固有の座標系によって隠蔽される共通の幾何学的構造を共有していることを示す。
一致したランク比較では、残差表現は層間で予測しやすく、一方、ルータ制御状態はモデルのエキスパート選択をより忠実に保存する。
論文 参考訳（メタデータ） (2026-09-02T10:17:12Z) - CRISP: Cliff-awaRe Input-adaptive Sparse Prefilling with Structural-Mass-Motivated Routing [90.63350360476294]
本稿ではCRISP(Cliff-awaRe Input-adaptive Sparse Prefilling)を提案する。
ルーティング決定は、プロキシアテンションマップの構造から直接読み取ることができることを示す。
ソフトマックス後の質量崖を定式化し、厳密な累積被覆閾値が長い文脈でO(n)バックグラウンドノイズを蓄積することを理論的に示す。
論文 参考訳（メタデータ） (2026-09-01T22:49:46Z) - MACRO: Markov Chain Routing of Transformer Layers [10.52527481709651]
MACROは、基本的なパラメータを変更することなく、LLMアーキテクチャ上のタスク固有のルートを学習するフレームワークである。
複数のオープンウェイト LLM 上で,MACRO を多種多様な推論および知識ベンチマークで評価する。
経路探索時間を9.4倍(14.8時間から1.6時間)削減しつつ、最適な動的ルーティング手法であるLLMを+7.2%向上させる。
論文 参考訳（メタデータ） (2026-08-06T10:51:34Z) - Agent-as-a-Router: Agentic Model Routing for Coding Tasks [54.00153674547733]
Agent-as-a-router (AC)はC-A-Fループとしてルーティングを形式化する(Context->Action->FeedbackContext)
ACは、分配タスクに対する最小の累積後悔を達成し、配布外エージェントプログラミングタスクに一般化する。
論文 参考訳（メタデータ） (2026-06-22T06:37:31Z) - You Only Index Once: Cross-Layer Sparse Attention with Shared Routing [61.29627714699688]
層間スパースアテンション(A)はYOCOなどのKV共有アーキテクチャ上に構築されている。
シングルインデクサはトークンレベルのトップk選択を一度計算し、その結果のインデックスをレイヤ間で再利用する。
その結果、CLSAは正確かつ効率的であり、最大7.6倍のデコードスピードアップと17.1倍のスループット向上を実現している。
論文 参考訳（メタデータ） (2026-06-04T17:54:04Z) - Dr.LLM: Dynamic Layer Routing in LLMs [55.11953638340419]
Dr.LLMは、事前訓練されたモデルに軽量な層ごとのルータを装備し、ブロックをスキップ、実行、繰り返すように決定する、適合性のあるフレームワークである。
ARC(logic)とDART(math)では、Dr.LLMは平均で5つのレイヤを保存しながら、最大3.4%の精度向上を実現している。
論文 参考訳（メタデータ） (2025-10-14T17:51:26Z) - End-to-End Sensitivity-Based Filter Pruning [49.61707925611295]
本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。
提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
論文 参考訳（メタデータ） (2022-04-15T10:21:05Z) - Sequential Routing Framework: Fully Capsule Network-based Speech
Recognition [5.730259752695884]
本稿では,CapsNetのみの構造をシーケンス・ツー・シーケンス認識に適用するためのシーケンシャル・ルーティング・フレームワークを提案する。
ウォール・ストリート・ジャーナルのコーパスでは16.9%で1.1%低い単語誤り率を達成した。
畳み込みニューラルネットワークベースのCTCネットワークと比較して、0.7%のエラー率を17.5%で達成している。
論文 参考訳（メタデータ） (2020-07-23T01:51:41Z) - Experiments on route choice set generation using a large GPS trajectory
set [9.139729923546247]
本稿では,大規模なGPSトラジェクトリデータセットを用いて,異なる経路生成アルゴリズムの評価を行う。
最短経路に基づいて単一経路を生成することにより、初期解析を行う。
高架道路の使用を優先する改良されたリンクペナルティ法は、97%のカバレッジで設定されたルートを提供する。
論文 参考訳（メタデータ） (2020-05-22T13:44:49Z) - Capsules with Inverted Dot-Product Attention Routing [84.89818784286953]
本研究では,親の状況と子どもの投票の一致に基づいて子カプセルを親にルーティングする,カプセルネットワークのための新しいルーティングアルゴリズムを提案する。
提案手法は,CIFAR-10やCIFAR-100などのベンチマークデータセットの性能を向上させる。
私たちの研究は、複雑な現実世界のタスクにカプセルネットワークを適用する可能性を高めていると考えています。
論文 参考訳（メタデータ） (2020-02-12T02:09:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。