論文の概要: LiteStage: Latency-aware Layer Skipping for Multi-stage Reasoning

• arxiv url: http://arxiv.org/abs/2510.14211v1
• Date: Thu, 16 Oct 2025 01:37:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.671794
• Title: LiteStage: Latency-aware Layer Skipping for Multi-stage Reasoning
• Title（参考訳）: LiteStage: マルチステージ推論のためのレイテンシ対応レイヤスキッピング
• Authors: Beomseok Kang, Jiwon Song, Jae-Joon Kim,
• Abstract要約: 多段階推論のための遅延対応層スキップフレームワーク LiteStage を提案する。 実験の結果、LiteStageは4.0%未満の精度で最大1.70倍のスピードアップを達成した。
• 参考スコア（独自算出の注目度）: 13.374102701565294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-stage reasoning has emerged as an effective strategy for enhancing the reasoning capability of small language models by decomposing complex problems into sequential sub-stages. However, this comes at the cost of increased latency. We observe that existing adaptive acceleration techniques, such as layer skipping, struggle to balance efficiency and accuracy in this setting due to two key challenges: (1) stage-wise variation in skip sensitivity, and (2) the generation of redundant output tokens. To address these, we propose LiteStage, a latency-aware layer skipping framework for multi-stage reasoning. LiteStage combines a stage-wise offline search that allocates optimal layer budgets with an online confidence-based generation early exit to suppress unnecessary decoding. Experiments on three benchmarks, e.g., OBQA, CSQA, and StrategyQA, show that LiteStage achieves up to 1.70x speedup with less than 4.0% accuracy loss, outperforming prior training-free layer skipping methods.
• Abstract（参考訳）: 複雑な問題を逐次的なサブステージに分解することで,小言語モデルの推論能力を向上するための効果的な戦略として,多段階推論が登場した。 しかし、これはレイテンシの増加によるコストが伴う。 我々は,(1)スキップ感度の段階的変化と(2)冗長な出力トークンの生成という2つの主要な課題により,レイヤスキップやこの設定における効率と精度のバランスをとるための既存の適応加速度技術について考察した。 このような問題に対処するため,多段階推論のための遅延対応層スキップフレームワークLiteStageを提案する。 LiteStageは、最適層予算とオンライン信頼ベースのアーリーエグジットを割り当てる段階的なオフライン検索を組み合わせ、不要な復号を抑える。 例えば、OBQA、CSQA、StrategyQAの3つのベンチマークの実験では、LiteStageは4.0%未満の精度で最大1.70倍のスピードアップを達成し、事前のトレーニング不要層スキップ法よりも優れていた。

関連論文リスト

• Intra-request branch orchestration for efficient LLM reasoning [52.68946975865865]
  大規模言語モデル(LLM)は、複雑なタスクの正確性を改善するために、推論時推論アルゴリズムにますます依存している。 それまでの作業は、トークンの使用を減らすことを中心に、多くの場合、正確さを犠牲にしつつ、他のレイテンシ要因を見越すことに重点を置いていた。 本稿では,LLMサービスシステムであるDUCHESSについて,予測によって導かれるリクエスト内ブランチオーケストレーションにより,精度を犠牲にすることなく,コストとレイテンシを低減できるシステムを提案する。
  論文  参考訳（メタデータ） (2025-09-29T15:52:08Z)
• Dynamic Speculative Agent Planning [57.630218933994534]
  大規模な言語モデルベースのエージェントは、遅延の禁止と推論コストのために、重要なデプロイメント課題に直面している。 本稿では,オンライン強化学習フレームワークである動的投機計画(Dynamic Speculative Planning, DSP)を紹介する。 2つの標準エージェントベンチマークの実験では、DSPは高速加速法に匹敵する効率を達成し、総コストを30%削減し、不要コストを60%まで削減している。
  論文  参考訳（メタデータ） (2025-09-02T03:34:36Z)
• Fast T2T: Optimization Consistency Speeds Up Diffusion-Based Training-to-Testing Solving for Combinatorial Optimization [83.65278205301576]
  雑音レベルから与えられたインスタンスの最適解への直接写像を学習し、最小限のショットで高品質な生成を容易にすることを提案する。 これは、サンプル間の差を最小限に抑える最適化一貫性トレーニングプロトコルによって達成される。 The Traveling Salesman Problem (TSP) と Maximal Independent Set (MIS) は、ソリューションの品質と効率の両方に関して、Fast T2Tの優位性を実証している。
  論文  参考訳（メタデータ） (2025-02-05T07:13:43Z)
• FiRST: Finetuning Router-Selective Transformers for Input-Adaptive Latency Reduction [16.84400858871298]
  本稿では、層固有のルータを用いて、各入力シーケンスに対して適応的に変換器層のサブセットを選択することでレイテンシを低減するアルゴリズムであるFiRSTを提案する。 FiRSTは品質を認識しながら高速な推論を可能にするKVキャッシュとの互換性を維持する。 私たちのアプローチでは、入力適応性は重要であり、タスクによって異なるタスク固有の中間層が隠れた表現を進化させる上で重要な役割を担っています。
  論文  参考訳（メタデータ） (2024-10-16T12:45:35Z)
• Accelerating Inference in Large Language Models with a Unified Layer Skipping Strategy [67.45518210171024]
  動的計算手法は、いくつかの計算層をスキップすることで、Large Language Models (LLM) に対する顕著な加速を示す。 対象の高速化率のみに基づいて計算をスキップする層数を選択する統一層スキーッピング戦略を提案する。 機械翻訳とテキスト要約という2つの共通タスクの実験結果は、目標速度比が与えられた場合、統一層スキーピング戦略は推論性能と実際のモデルスループットの両方を著しく向上させることを示している。
  論文  参考訳（メタデータ） (2024-04-10T12:12:07Z)
• Minimum Latency Training Strategies for Streaming Sequence-to-Sequence ASR [44.229256049718316]
  線形時間復号複雑性を伴うオンライン音声認識を実現するために,ストリームアテンションに基づくシーケンス・ツー・シーケンス(S2S)モデルが提案されている。 これらのモデルでは、一方向エンコーダには将来的な情報がないため、実際の音響境界よりもトークンを生成する決定が遅れる。 本稿では,ハイブリッドモデルから抽出した外部ハードアライメントを活用することで,トレーニング中のいくつかの戦略を提案する。 Cortana音声検索タスクの実験により,提案手法は遅延を著しく低減し,デコーダ側の特定の場合の認識精度も向上することを示した。
  論文  参考訳（メタデータ） (2020-04-10T12:24:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。