論文の概要: TriRoute: Unified Learned Routing for Joint Adaptive Attention, Experts, and KV-Cache Allocation

• arxiv url: http://arxiv.org/abs/2607.06601v1
• Date: Tue, 07 Jul 2026 00:12:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.147745
• Title: TriRoute: Unified Learned Routing for Joint Adaptive Attention, Experts, and KV-Cache Allocation
• Title（参考訳）: TriRoute: 共同アダプティブアテンション,エキスパート,KVキャッシュアロケーションのための統一学習ルーティング
• Abstract要約: TriRouteは3つの軸で共有される単一の軽量コントローラである。 不均一な緩和により終端から終端までを運転する。 フルアテンションと高精度キャッシュを文初期位置、まれなサブワード、名前付きエンティティに割り当てる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conditional computation can decouple language model quality from per-token inference cost, yet leading techniques act on a single axis in isolation: Mixture-of-Experts (MoE) sparsifies the FFN, Mixture-of-Depths (MoD) skips whole transformer blocks, and KV-cache quantization compresses attention memory. We argue these three decisions (attention resolution, expert selection, and cache bit-width) are strongly coupled and should be made jointly: a token rare enough to warrant full attention may also need high-precision caching regardless of which expert processes it. We introduce TriRoute, a single lightweight controller shared across all three axes that, for every token at every layer, emits a coordinated policy: (i) an attention mode (skip/local/full), (ii) a sparse set of FFN experts (with a null expert recovering MoD), and (iii) a KV-cache bit-width. The controller trains end-to-end via a heterogeneous relaxation (Gumbel-Softmax with straight-through estimation for categorical decisions and load-balanced top-k gating for experts) under a Lagrangian budget constraint that turns the average compute and memory cost into a controllable knob. We identify a cross-axis routing-collapse cascade in naive joint training, where collapse on one axis propagates to the others, and address it with per-axis normalization and a coupling-aware balancing loss. On decoder-only models from 160M to 1.3B parameters at compute-optimal token counts, TriRoute Pareto-dominates the best independent MoD+MoE+KV-quantization combination at matched inference FLOPs and memory, while better preserving tail-case robustness on rare entities, code, and arithmetic that pure perplexity optimization erodes. Post-hoc analysis reveals interpretable structure: the controller allocates full attention and high-precision cache to sentence-initial positions, rare subwords, and named entities, while cheaply routing function words.
• Abstract（参考訳）: 条件付き計算では、言語モデルの品質をトークンごとの推論コストから切り離すことができるが、主要な技術は単独で単一の軸に作用する: Mixture-of-Experts (MoE) はFFNを分散し、Mixture-of-Depths (MoD) はトランスフォーマーブロック全体をスキップし、KV-cache量子化は注目メモリを圧縮する。 これらの3つの決定(アテンションの解決、専門家の選択、キャッシュビット幅)は強く結びついており、共同で行うべきである。 3つの軸で共有される単一の軽量コントローラであるTriRouteを紹介します。 (i)アテンションモード(スキップ/ローカル/フル) (二 FFNエキスパート(Null ExpertRecovering MoD)のまばらなセット及び (iii)KVキャッシュのビット幅。 コントローラは、ラグランジアン予算制約の下で、不均一な緩和(カテゴリー決定のためのストレートスルー推定と専門家のための負荷バランストップkゲーティングを含むGumbel-Softmax)を通じてエンドツーエンドを訓練し、平均計算とメモリコストを制御可能なノブに変換する。 我々は,一方の軸の崩壊が他の軸に伝播するナイーブジョイントトレーニングにおいて,クロス軸の経路崩壊カスケードを同定し,軸あたりの正規化と結合型バランス損失に対処する。 計算最適トークン数で160Mから1.3Bまでのデコーダのみのモデルでは、TriRoute Pareto-は、一致した推論FLOPとメモリにおける最高の独立MoD+MoE+KV量子化の組み合わせを支配し、希少なエンティティ、コード、プリミシティ最適化が損なわれるような算術のテールケースロバスト性を保存している。 コントローラは、関数語を安価にルーティングしながら、文初期位置、まれなサブワード、名前付きエンティティに、完全な注意と高精度キャッシュを割り当てる。

関連論文リスト

• Empowering Compact LLMs with Fusion of Layer-wise Exits for Recommendation [59.216721553953]
  大規模言語モデルベースレコメンデータシステム(LLM-RS)は目覚ましい能力を示しているが、現実の多くのアプリケーションでは計算的に持続不可能である。 本稿では,スケーラブルなフルコーパスランキングを維持しつつ,コンパクトなLLMを向上する識別フレームワークを提案する。 Qwen 3 1.7BとLlama 3.2 3Bの3つの実世界のデータセットの実験では、FLEXRecは高い効率を維持しながら最先端の精度を達成している。
  論文  参考訳（メタデータ） (2026-08-18T03:14:28Z)
• Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
  我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。 本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
  論文  参考訳（メタデータ） (2026-08-10T07:49:10Z)
• Controller-Augmented Hidden Markov Models: A Computational Framework for Constrained Sequential Inference [0.0]
  本稿では Controller-Augmented Hidden Markov Models (CHMM) を提案する。 CHMMは、最小限の十分な履歴を追跡する有限状態コントローラに各制約をコンパイルするフレームワークである。 3つの実世界のシークエンスラベルタスクにおいて,CHMMを6つの代替デコーダに対して評価する。
  論文  参考訳（メタデータ） (2026-06-11T19:29:09Z)
• SHAPE: Coalition-Aware Expert Pruning for Sparse Mixture-of-Experts LLMs [4.035485260002141]
  Sparse Mixture-of-Experts (MoE)モデルは、トーケンの少ない計算で強力な品質を達成するが、そのデプロイメントはメモリウォールによって制限されることが多い。 課題駆動型プルーニングフレームワークのtextbfSHAPE を提案する。
  論文  参考訳（メタデータ） (2026-06-03T08:41:48Z)
• LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
  LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。 本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。 その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
  論文  参考訳（メタデータ） (2026-06-03T06:07:33Z)
• When Model Merging Breaks Routing: Training-Free Calibration for MoE [67.27839627141972]
  Hessian-Aware Router (HARC) は、二階曲率情報を利用してマージされたルータを認識できるトレーニングフリーのフレームワークである。 数学的推論とコード生成タスクの実験は、HARCが様々なMoEマージベースライン間のルーティングの分解を効果的に軽減していることを示している。
  論文  参考訳（メタデータ） (2026-06-02T09:33:33Z)
• OScaR: The Occam's Razor for Extreme KV Cache Quantization in LLMs and Beyond [50.440302567029654]
  マルチモーダルインテリジェンスにより、Key-Valueキャッシュは効率的なデプロイメントのための主要なメモリボトルネックとなった。 本研究では、チャネルごとの量子化パラダイムの本質的な限界を再考する。 X-LLMのための高精度かつ軽量なKVキャッシュ圧縮フレームワークOScaRを提案する。
  論文  参考訳（メタデータ） (2026-05-19T10:53:03Z)
• Q-LocalAdam: Memory-Efficient Client-Side Adaptive Optimization for Edge Federated Learning [1.4610038284393168]
  エッジデバイス上でのフェデレーション学習は、IID以外のクライアントデータと厳しいメモリ予算に対処する必要がある。 分散を意識した8ビット量子化ブロックワイド線形符号化と分散のためのログ空間符号化を応用したtextbfQ-LocalAdam を提案する。
  論文  参考訳（メタデータ） (2026-05-17T17:23:23Z)
• TriAxialKV: Toward Extreme Low-Precision KV-Cache Quantization for Agentic Inference Tasks [20.031258206130154]
  エージェントワークロードのための新しい混合精度KV-cache量子化スキームであるTriAxialKVを紹介する。 我々は、キャリブレーション、混合精度量子化、メモリ管理を含むエンドツーエンドサービスシステムとしてTriAxialKVを実装した。
  論文  参考訳（メタデータ） (2026-05-16T21:58:28Z)
• AdaFuse: Accelerating Dynamic Adapter Inference via Token-Level Pre-Gating and Fused Kernel Optimization [84.25316984309725]
  動的スパース構造とパラメータ効率のよいアダプタ(例えばLoRA)の統合は、大規模言語モデル(LLM)を拡張するための強力な技術である。 計算負荷は最小限に抑えられるが、計算のレイテンシが急上昇し、復号速度が2.5倍以上遅くなる。 AdaFuseはアルゴリズムと基盤となるハードウェアシステムとの緊密な協調設計に基づいて構築されたフレームワークで、効率的な動的アダプタ実行を実現する。
  論文  参考訳（メタデータ） (2026-03-12T12:46:42Z)
• Towards Zero-Shot Point Cloud Registration Across Diverse Scales, Scenes, and Sensor Setups [41.033896572767496]
  ゼロショット一般化を実現するトレーニングフリー登録フレームワークであるBUFFER-Xを提案する。 提案手法は階層型マルチスケールマッチングを用いて,局所,中,大域の受容領域にまたがる対応を抽出する。 効率クリティカルなアプリケーションでは、BUFFER-X-Liteを導入し、総時間を43%削減する。
  論文  参考訳（メタデータ） (2026-01-06T06:51:24Z)
• OmniSparse: Training-Aware Fine-Grained Sparse Attention for Long-Video MLLMs [43.78743496579736]
  OmniSparseは、長時間ビデオMLLMのための、トレーニング対応のきめ細かなスパークアテンションフレームワークである。 実験結果から,OmniSparseはプリフィル時の2.7倍,デコード時の2.4倍のメモリ削減を実現しつつ,全注目性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-11-15T13:14:17Z)
• Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
  生成のための教師なし共形推論フレームワークを提案する。 我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。 その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
  論文  参考訳（メタデータ） (2025-09-26T23:40:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。