論文の概要: Efficient Reasoning on the Edge

• arxiv url: http://arxiv.org/abs/2603.16867v1
• Date: Tue, 17 Mar 2026 17:59:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-18 17:42:07.474494
• Title: Efficient Reasoning on the Edge
• Title（参考訳）: エッジ上での効率的な推論
• Authors: Yelysei Bondarenko, Thomas Hehn, Rob Hesselink, Romain Lepert, Fabio Valerio Massoli, Evgeny Mironov, Leyla Mirvakhabova, Tribhuvanesh Orekondy, Spyridon Stasis, Andrey Kuzmin, Anna Kuzina, Markus Nagel, Ankita Nayak, Corrado Rainone, Ork de Rooij, Paul N Whatmough, Arash Behboodi, Babak Ehteshami Bejnordi,
• Abstract要約: 大きな言語モデル (LLM) とチェーン・オブ・シークレットの推論は、複雑な問題解決タスクにおいて最先端のパフォーマンスを達成する。 彼らの冗長な推論トレースと大きなコンテキスト要件は、エッジデプロイメントにとって実用的ではない。 そこで本研究では,LoRAアダプタと教師付き微調整を組み合わせた小型LLMの推論を実現するための軽量な手法を提案する。
• 参考スコア（独自算出の注目度）: 22.390056779820295
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) with chain-of-thought reasoning achieve state-of-the-art performance across complex problem-solving tasks, but their verbose reasoning traces and large context requirements make them impractical for edge deployment. These challenges include high token generation costs, large KV-cache footprints, and inefficiencies when distilling reasoning capabilities into smaller models for mobile devices. Existing approaches often rely on distilling reasoning traces from larger models into smaller models, which are verbose and stylistically redundant, undesirable for on-device inference. In this work, we propose a lightweight approach to enable reasoning in small LLMs using LoRA adapters combined with supervised fine-tuning. We further introduce budget forcing via reinforcement learning on these adapters, significantly reducing response length with minimal accuracy loss. To address memory-bound decoding, we exploit parallel test-time scaling, improving accuracy at minor latency increase. Finally, we present a dynamic adapter-switching mechanism that activates reasoning only when needed and a KV-cache sharing strategy during prompt encoding, reducing time-to-first-token for on-device inference. Experiments on Qwen2.5-7B demonstrate that our method achieves efficient, accurate reasoning under strict resource constraints, making LLM reasoning practical for mobile scenarios. Videos demonstrating our solution running on mobile devices are available on our project page.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、複雑な問題解決タスクにおいて最先端のパフォーマンスを達成するが、冗長な推論トレースと大きなコンテキスト要求により、エッジデプロイメントでは実用的ではない。 これらの課題には、高いトークン生成コスト、大きなKVキャッシュフットプリント、モバイルデバイス用の小さなモデルに推論能力を蒸留する際の非効率性などが含まれる。 既存のアプローチはしばしば、より大きなモデルから小さなモデルへの推論トレースの蒸留に依存しており、冗長でスタイリスティックに冗長であり、デバイス上の推論では望ましくない。 そこで本研究では,LoRAアダプタと教師付き微調整を組み合わせた小型LCMの推論を実現するための軽量な手法を提案する。 さらに,これらのアダプタ上での強化学習による予算強制を導入し,精度の低下を最小限に抑えながら応答長を大幅に短縮する。 メモリバウンドデコーディングに対処するために、並列テスト時間スケーリングを活用し、小さな遅延増加時の精度を向上させる。 最後に、必要なときにのみ推論を起動する動的アダプタスイッチング機構と、プロンプトエンコーディング中のKV-cache共有戦略について述べる。 Qwen2.5-7B の実験により,厳密な資源制約下での効率的な正確な推論が実現され,モバイルシナリオにおける LLM 推論が実用化された。 モバイルデバイス上でのソリューションのデモビデオは、プロジェクトページで公開されています。

関連論文リスト

• Tiny-Critic RAG: Empowering Agentic Fallback with Parameter-Efficient Small Language Models [7.704706624419061]
  Retrieval-Augmented Generations Grounds Large Language Models (LLMs) は、事実の幻覚を緩和する。 低ランク適応(LoRA)を用いたパラメータ効率小言語モデル(SLM)Tiny-Critic RAGを提案する。 Tiny-Critic RAGはGPT-4o-miniに匹敵するルーティング精度を達成し、レイテンシを桁違いに低減する。
  論文  参考訳（メタデータ） (2026-03-01T00:16:31Z)
• ReasonCACHE: Teaching LLMs To Reason Without Weight Updates [75.2707292367514]
  大規模言語モデル(LLM)は、コンテキストウィンドウをオーバーロードすることなく、重み付けをすることなく、推論を学習できることを示します。 本稿では、デモを固定キー値キャッシュに蒸留するReasonCACHEについて紹介する。 経験的に、ReasonCACHEは標準のICLよりも優れており、IWLアプローチにマッチするか、超えている。
  論文  参考訳（メタデータ） (2026-02-02T17:24:23Z)
• Scaling LLM Speculative Decoding: Non-Autoregressive Forecasting in Large-Batch Scenarios [76.85739138203014]
  本稿では,一方向および注目メカニズムを加速する新しいアーキテクチャであるSpecFormerを紹介する。 また,SpecFormerはトレーニング要求の低減と計算コストの削減を実現している。
  論文  参考訳（メタデータ） (2025-11-25T14:20:08Z)
• Informed Routing in LLMs: Smarter Token-Level Computation for Faster Inference [7.690958366125321]
  本稿では,これらの問題に積極的に対処する新しいパラダイムであるインフォメーションルーティングを紹介する。 我々は、ルーティング決定を行う前に、ユニットの出力を推定する小さな予測モジュールである軽量特徴予測器(LFF)を提案する。 言語モデリングと推論タスクの両方の実験は、情報ルーティングが最先端の効率と性能のトレードオフを達成することを示す。
  論文  参考訳（メタデータ） (2025-10-10T09:59:36Z)
• Fast Thinking for Large Language Models [67.7238685892317]
  我々は、訓練中にのみ簡潔なCoTスケッチを使用して個別戦略事前のコードブックを学習するフレームワークであるLatent Codebooks for Fast Thinkingを紹介した。 推論では、コードブックから抽出した少数の連続的思考スイッチのモデル条件を1パスにすることで、明確な推論トークンを生成することなく、戦略レベルのガイダンスを可能にする。
  論文  参考訳（メタデータ） (2025-09-28T04:19:48Z)
• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
  CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。 トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)
• FTP: A Fine-grained Token-wise Pruner for Large Language Models via Token Routing [17.01412432658081]
  大規模言語モデル(LLM)は、法則を拡張することによって、様々なタスクにおいて優れた性能を示す。 重要でないトークンを適応的に識別する学習可能なルータを提案する。 提案手法は,既存の刈り込み手法を超越して,最先端(SOTA)刈り込み結果を実現する。
  論文  参考訳（メタデータ） (2024-12-16T07:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。