論文の概要: AdaptiveSD A Stability-Aware, Runtime-Adaptive Speculative Decoding Framework with Multi-Policy Orchestration for CPU-Constrained LLM Inference

• arxiv url: http://arxiv.org/abs/2607.03876v1
• Date: Sat, 04 Jul 2026 13:39:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.742788
• Title: AdaptiveSD A Stability-Aware, Runtime-Adaptive Speculative Decoding Framework with Multi-Policy Orchestration for CPU-Constrained LLM Inference
• Title（参考訳）: CPU制約LPM推論のための多言語オーケストレーションによる安定型実行時適応型投機復号化フレームワークAdaptiveSD
• Abstract要約: 固定深度投機的復号化は有望な手法の1つとして現れてきたが、実際には、帯域幅の飽和、不安定性、あるいは破滅的なリソースの枯渇による性能低下がシステム障害の原因となることが多い。 当社のソリューションは、4つの密結合したコンポーネントが連続的なフィードバックループで連携する。Adaptive Draft Controller、Dynamic Policy Engine、KVキャッシュ調整レイヤ、モニタリングエンジンである。 従来の手法はスループットを最大化することのみに重点を置いているが,提案手法の有効性は,投機的効率の標準的な測定基準と並行して,無駄な計算処理やトークン間遅延分散など,いくつかの重要な指標に基づいて評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rise of small quantized GGUF-based language models and their increasing use for on-device inference tasks, we have seen the growing need for an approach capable of reliably delivering these models at scale even under severe memory bandwidth constraints such as those imposed by pure CPU implementations. Fixed-depth speculative decoding has emerged as one promising technique, but in practice, it often leads to performance degradation due to either bandwidth saturation, instability, or even catastrophic resource exhaustion resulting in system failure. To overcome this problem, we introduce AdaptiveSD, a fully runtime-adaptive speculative decoding framework aimed at ensuring robust, reliable execution across the spectrum of model types and workloads. Our solution consists of four tightly-coupled components working together in a continuous feedback loop: a Runtime Monitoring Engine tracking multiple signals relevant to ongoing computation, an Adaptive Draft Controller enforcing an eleven rule policy hierarchy prioritizing system resource preservation over raw draft count, a Dynamic Policy Engine employing a suite of heuristic and reinforcement learning techniques to dynamically modify policies depending upon workload behavior, and finally, a KV Cache Coordination Layer managing cache states with fine-grained control through INT8 shadow buffers and position aware evictions. While conventional approaches focus solely on maximizing throughput, we instead assess the effectiveness of our approach based on several key metrics including wasted drafted compute and inter-token latency dispersion alongside standard measures of speculative efficiency.
• Abstract（参考訳）: 小型の量子化GGUFベースの言語モデルの増加と、デバイス上での推論タスクの利用の増加に伴い、純粋なCPU実装によって課されるような厳しいメモリ帯域制限の下でも、これらのモデルを大規模に確実に配信できるアプローチの必要性が高まっている。 固定深度投機的復号化は有望な手法の1つとして現れてきたが、実際には、帯域幅の飽和、不安定、あるいは破滅的なリソースの枯渇によってシステム障害の原因となる場合が多い。 この問題を解決するために,モデルタイプやワークロードの範囲で堅牢で信頼性の高い実行を保証することを目的とした,完全なランタイム適応型投機的デコーディングフレームワークであるAdaptiveSDを紹介した。 実行時監視エンジンは、進行中の計算に関連する複数の信号をトラッキングし、アダプティブドラフトコントローラは、生のドラフト数よりもシステムリソースの保存を優先する11のルールポリシー階層を強制し、動的ポリシーエンジンは、ワークロードの振る舞いに応じてポリシーを動的に修正するヒューリスティックおよび強化学習技術を組み合わせており、最後に、KVキャッシュコーディネーションレイヤは、INT8シャドバッファと位置認識の解放を通じて、キャッシュ状態を管理する。 従来の手法はスループットを最大化することのみに重点を置いているが,提案手法の有効性は,投機的効率の標準的な測定基準と並行して,無駄な計算処理やトークン間遅延分散など,いくつかの重要な指標に基づいて評価する。

関連論文リスト

• Harmonizing Real-Time Constraints and Long-Horizon Reasoning: An Asynchronous Agentic Framework for Dynamic Scheduling [11.212756680882444]
  RACE-Schedは、ポリシー実行を論理的推論から二重ストリームアーキテクチャを通して分離するエージェントベースのフレームワークである。 このアプローチは、より優れた解品質と動的事象への堅牢な適応を達成するために、長期水平推論とリアルタイム制約を調和させる。
  論文  参考訳（メタデータ） (2026-05-28T02:26:18Z)
• Safe Multi-Agent Deep Reinforcement Learning for Privacy-Aware Edge-Device Collaborative DNN Inference [8.14391361533752]
  本稿では,エッジデバイスとサーバ間で適応モデル分割を行う,プライバシ対応協調推論フレームワークを提案する。 本稿では,モデル配置,ユーザサーバアソシエーション,モデル分割,リソースアロケーションを統合したCMDP(Constrained Markov Decision Process)として共同問題を定式化する。 HC-MAPPO-Lは、エネルギー消費とプライバシコストのバランスを保ちながら、厳しい遅延制約を一貫して満たしていることを示す。
  論文  参考訳（メタデータ） (2026-02-23T11:33:52Z)
• TS-DP: Reinforcement Speculative Decoding For Temporal Adaptive Diffusion Policy Acceleration [64.32072516882947]
  拡散ポリシーは、具体的制御が優れているが、高い推論遅延と計算コストに悩まされている。 時間認識強化に基づく投機的拡散政策(TS-DP)を提案する。 TS-DPは94%以上のドラフトで最大4.17倍高速な推論を実現し、推論周波数は25Hzに達した。
  論文  参考訳（メタデータ） (2025-12-13T07:53:14Z)
• Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
  トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。 TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2025-12-10T01:54:57Z)
• Benchmarking Dynamic SLO Compliance in Distributed Computing Continuum Systems [9.820223170841219]
  大規模アーキテクチャにおけるサービスレベルオブジェクト(SLO)は、その異種性やさまざまなサービス要件のために困難である。 神経科学の新しい手法であるActive Inferenceのベンチマークを、3つの確立された強化学習アルゴリズムに対して提示する。 アクティブ推論はDCCSにおけるSLOコンプライアンスを保証するための有望なアプローチであり、低メモリ使用率、安定したCPU利用、高速収束を提供する。
  論文  参考訳（メタデータ） (2025-03-05T08:56:26Z)
• Bisimulation metric for Model Predictive Control [44.301098448479195]
  Bisimulation Metric for Model Predictive Control (BS-MPC) は、目的関数にbisimulation metric lossを組み込んでエンコーダを直接最適化する新しい手法である。 BS-MPCは、トレーニング時間を削減することにより、トレーニング安定性、入力ノイズに対する堅牢性、および計算効率を向上させる。 我々は,DeepMind Control Suiteから連続制御および画像ベースタスクのBS-MPCを評価する。
  論文  参考訳（メタデータ） (2024-10-06T17:12:10Z)
• Digital Twin-Assisted Data-Driven Optimization for Reliable Edge Caching in Wireless Networks [60.54852710216738]
  我々はD-RECと呼ばれる新しいデジタルツインアシスト最適化フレームワークを導入し、次世代無線ネットワークにおける信頼性の高いキャッシュを実現する。 信頼性モジュールを制約付き決定プロセスに組み込むことで、D-RECは、有利な制約に従うために、アクション、報酬、状態を適応的に調整することができる。
  論文  参考訳（メタデータ） (2024-06-29T02:40:28Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• Non-stationary Online Learning with Memory and Non-stochastic Control [71.14503310914799]
  我々は,過去の決定に依拠する損失関数を許容するメモリを用いたオンライン凸最適化(OCO)の問題について検討する。 本稿では,非定常環境に対してロバストなアルゴリズムを設計するための性能指標として,動的ポリシーの後悔を紹介する。 我々は,時間的地平線,非定常度,メモリ長といった面で,最適な動的ポリシーの後悔を確実に享受するメモリ付きOCOの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T09:45:15Z)
• Enforcing robust control guarantees within neural network policies [76.00287474159973]
  本稿では、ニューラルネットワークによってパラメータ化され、ロバスト制御と同じ証明可能なロバスト性基準を適用した、一般的な非線形制御ポリシークラスを提案する。 提案手法は,複数の領域において有効であり,既存のロバスト制御法よりも平均ケース性能が向上し,(非ロバスト)深部RL法よりも最悪のケース安定性が向上した。
  論文  参考訳（メタデータ） (2020-11-16T17:14:59Z)
• Trajectory Optimization for Nonlinear Multi-Agent Systems using Decentralized Learning Model Predictive Control [5.2647625557619815]
  非線形疎結合力学と結合状態制約を持つマルチエージェントシステムに対する学習モデル予測制御に基づく分散化最小時間軌道最適化手法を提案する。 このフレームワークは,タスク実行の各イテレーションにおけるエージェント間の通信を不要とし,永続的実現性,有限時間閉ループ収束性,グローバルシステムのタスク反復による非遅延性能を保証する。
  論文  参考訳（メタデータ） (2020-04-02T23:04:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。