論文の概要: LayerRoute: Adaptive Layer-Skipping with LoRA-Preserved Quality for Efficient LLM Inference
- arxiv url: http://arxiv.org/abs/2609.13682v1
- Date: Sat, 12 Sep 2026 03:30:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.472514
- Title: LayerRoute: Adaptive Layer-Skipping with LoRA-Preserved Quality for Efficient LLM Inference
- Title（参考訳）: LayerRoute: 効率的なLCM推論のためのLoRA保存品質を持つ適応層スキッピング
- Abstract要約: LayerRouteは適応トランス層スキッピングのためのパラメータ効率のよい手法である。
層間ハードゲートルーティングとジョイントLoRAファインチューニングを組み合わせる。
列車はA100で7分以下で運行され、オーバーヘッドは無視できる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce LayerRoute, a parameter-efficient method for adaptive transformer layer-skipping that combines per-layer hard-gated routing (trained via a straight-through estimator) with joint LoRA fine-tuning. LayerRoute augments each of the 24 transformer blocks in Qwen2.5-0.5B-Instruct with a lightweight per-layer router (~21.5K parameters) and LoRA adapters (rank 8, ~1.08M parameters), training both jointly under a gate-regularized language-modeling objective. Across 10 independently-seeded training runs, LayerRoute converges to an identical skip-pattern structure in every run - a consistent set of 9 middle layers (8-16) becomes skip-eligible in all 10 seeds - and delivers genuine, verified wallclock speedup in every run (1.02x-1.06x, mean 1.04x). Quality is preserved or improved in every configuration tested: joint LoRA adaptation yields a perplexity improvement over the unmodified backbone in all 10 seeds (mean delta = -1.16 and -1.11 across the two evaluation splits used). We further verify the router performs genuine, non-trivial per-input computation: gate decisions in skip-eligible layers change the actual skip/run outcome for 87-100% of held-out samples, confirming real input-dependent routing rather than a fixed pruning pattern. LayerRoute trains in under 7 minutes on a single A100 and adds negligible overhead beyond the routing decision itself. We report our full reproducibility methodology, including a systematic diagnostic investigation into what determines the router's per-input decisions, as part of this work.
- Abstract（参考訳）: そこで我々は,層間ハードゲートルーティング(ストレートスルー推定器による学習)とジョイントLORAファインチューニングを組み合わせた適応トランスフォーマー層スキッピングのパラメータ効率向上手法であるLayerRouteを紹介する。
LayerRouteはQwen2.5-0.5B-Instructの24個のトランスフォーマーブロックのそれぞれに、軽量な1層ルータ(〜21.5Kパラメータ)とLoRAアダプタ(ランク8～1.08Mパラメータ)を追加し、どちらもゲート正規化言語モデリングの目的の下で共同でトレーニングする。
独立した10回のトレーニングの実行で、LayerRouteは、すべての実行で同じスキップパターン構造に収束する。9つの中間層(8-16)の一貫性のあるセットは、すべての10のシードでスキップ許容となり、すべての実行で真に検証されたウォールクロックのスピードアップを提供する(1.02x-1.06x、つまり1.04x)。
ジョイントロラ適応は、すべての10種の種子(平均デルタ = -1.16 と -1.11 の2つの評価スプリット)の未修飾バックボーンに対するパープレキシティ改善をもたらす。
我々はさらに、ルータが真の、非自明なインプット毎の計算を実行することを検証する: スキップ可能な層におけるゲート決定は、87-100%の保持サンプルに対して実際のスキップ/実行結果を変更し、固定されたプルーニングパターンではなく、実際の入力依存ルーティングを確認する。
LayerRouteは、1つのA100で7分未満の列車を運転し、ルーティング決定自体を超えて無視できないオーバーヘッドを追加する。
本研究の一環として, ルータ毎の判定方法の体系的検討を含む, 全再現性方法論を報告する。
関連論文リスト
- Do Dynamic Routers Need Memory? HeRo: History-Aware Routing for Efficient LLM Inference [13.935681015472262]
動的層ルーティングにより、個々のトークンのレイヤをスキップすることを学ぶことで、LLM(Large Language Models)の推論コストが削減される。
既存の方法は、各ルーティング決定を、現在の隠れ状態のみにのみ依存したローカル操作として扱う。
モデル深度を越えた明示的なルーティング状態を維持する動的ルーティングフレームワークであるHistory-Aware Routing(HeRo)を提案する。
論文 参考訳（メタデータ） (2026-09-08T03:20:07Z) - Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents [60.650808962786364]
外部判断や選択時間テストの実行なしに,ネイティブなMoEルータトレースがステアリングと選択をガイドできるかどうかを検討する。
我々の分析は、ルーティングが堅牢な行動的役割シグナルを提供することを示している。トークン・グラニュラ・リードアウトと決定整合比較セットは、ルーティングを効果的に制御する。
オープンウェイトスパースMOEエージェントを用いたSWEベンチ検証を行い,評価を行った。
論文 参考訳（メタデータ） (2026-08-23T03:07:03Z) - Agent-as-a-Router: Agentic Model Routing for Coding Tasks [54.00153674547733]
Agent-as-a-router (AC)はC-A-Fループとしてルーティングを形式化する(Context->Action->FeedbackContext)
ACは、分配タスクに対する最小の累積後悔を達成し、配布外エージェントプログラミングタスクに一般化する。
論文 参考訳（メタデータ） (2026-06-22T06:37:31Z) - LayerRoute: Input-Conditioned Adaptive Layer Skipping via LoRA Fine-Tuning for Agentic Language Models [0.0]
LayerRouteは、インプット毎にトランスフォーマーブロックを選択的にスキップする方法を学習する軽量アダプタである。
1)ストレートスルー推定器を介してハードバイナリゲートを出力する層間ルータと、(2)Q/K/V/Oアテンションプロジェクション上のLoRAアダプタ(ランク8,1.08Mパラメータ)である。
ゲート正規化項を持つエージェントデータ(Hermes, Glaive, GSM8K, Turing)の単一エンドツーエンドトレーニングパス
論文 参考訳（メタデータ） (2026-06-01T07:50:05Z) - Learning Agent Routing From Early Experience [55.88886987958933]
バウンダリ(Boundary)は、初期の行動経験とルーリック誘導推論を使用して、クエリに直接推論で答えるか、エージェントにエスカレートするかを決定する、トレーニング不要なルーティングフレームワークである。
また, 直接LLM推定よりも28.6%性能が向上し, 予測時間を60.6%短縮することを示した。
論文 参考訳（メタデータ） (2026-05-08T03:18:40Z) - Aletheia: Gradient-Guided Layer Selection for Efficient LoRA Fine-Tuning Across Architectures [0.0]
Low-Rank Adaptation (LoRA) は大規模モデルのパラメータ効率の高い微調整法として主流となっている。
Aletheiaは勾配誘導層選択法である。
Aletheia は評価セットに大規模な下流損傷を与えることなく,ロラ微調整を効果的に行えることを示す。
論文 参考訳（メタデータ） (2026-04-04T10:24:12Z) - Task-Conditioned Routing Signatures in Sparse Mixture-of-Experts Transformers [0.0]
与えられたプロンプトに対して、各レイヤにまたがる専門家アクティベーションパターンを要約したベクトル表現であるルーティングシグネチャを導入する。
同一タスクカテゴリからのプロンプトは、非常に類似したルーティングシグネチャを誘導する一方、異なるカテゴリからのプロンプトは、かなり類似度が低いことを示す。
ルーティングシグネチャのみに訓練されたロジスティック回帰は、4方向タスク分類において92.5%+/-6.1%のクロスバリデーション精度を達成する。
論文 参考訳（メタデータ） (2026-03-11T12:45:53Z) - Dr.LLM: Dynamic Layer Routing in LLMs [55.11953638340419]
Dr.LLMは、事前訓練されたモデルに軽量な層ごとのルータを装備し、ブロックをスキップ、実行、繰り返すように決定する、適合性のあるフレームワークである。
ARC(logic)とDART(math)では、Dr.LLMは平均で5つのレイヤを保存しながら、最大3.4%の精度向上を実現している。
論文 参考訳（メタデータ） (2025-10-14T17:51:26Z) - Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析
本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。
我々の手法は、最先端の手法をクリアマージンで上回る。
論文 参考訳（メタデータ） (2023-07-16T16:32:14Z) - End-to-End Sensitivity-Based Filter Pruning [49.61707925611295]
本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。
提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
論文 参考訳（メタデータ） (2022-04-15T10:21:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。