論文の概要: RLM-Cascade: Response-Level Speculative Decoding for Cost-Efficient LLM API Serving
- arxiv url: http://arxiv.org/abs/2606.22840v1
- Date: Mon, 22 Jun 2026 04:27:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 04:10:18.662966
- Title: RLM-Cascade: Response-Level Speculative Decoding for Cost-Efficient LLM API Serving
- Title（参考訳）: RLM-Cascade: コスト効率の良いLLM APIサービングのためのレスポンスレベル投機的デコーディング
- Authors: Haifeng Wu, Srinivasan Manoharan, Fangbo Tu, Junhua Zhao, Jian Wan,
- Abstract要約: RLM-Cascadeは、APIコストを削減するために、レスポンスレベルで投機的デコーディングを適用するプロキシ層システムである。
RLM-Cascadeは125のプロダクション要求に対して88.8%のドラフト使用率を実現し、APIコストをOpusベースラインと比較して45.8%削減した。
RLM-CascadeはエンタープライズAIインフラストラクチャコンポーネントとして本番環境にデプロイされ、オープンソースとして公開されている。
- 参考スコア（独自算出の注目度）: 6.030361843859939
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present RLM-Cascade, a proxy-layer system that applies speculative decoding at the response level to reduce LLM API costs without requiring model architecture access or a shared vocabulary. A fast, inexpensive draft model generates a candidate response; a capable verify model accepts, enhances, or is bypassed entirely depending on a lightweight complexity router. On a real-world agentic coding workload (Claude Code), RLM-Cascade achieves a draft-use rate of 88.8% across 125 production requests, reducing API cost by 45.8% relative to a direct Opus baseline. Counter-intuitively, the proxy also reduces end-to-end latency: median response time is 2,026 ms versus 3,698 ms for Native Opus -- a 1.83X speedup at p50 -- because the SKIPPED path (DeepSeek only, no Opus call) dominates the workload distribution. Quality matches or exceeds the Opus baseline: 100% pass rate on a 20-task Code/Math/Instruct benchmark versus 95% for Native Opus. We further describe a rule-based complexity router that selects the SKIPPED path for simple agentic turns and a hybrid tool-call strategy that bypasses the speculative pipeline for schema-critical tool-selection turns. RLM-Cascade is deployed in production as an enterprise AI infrastructure component and published as open source with a live metrics dashboard and Prometheus endpoint.
- Abstract（参考訳）: モデルアーキテクチャアクセスや共有語彙を必要とせず, LLM APIコストを削減するために, 応答レベルで投機的復号化を施したプロキシ層システム RLM-Cascade を提案する。
高速で安価なドラフトモデルは、候補の応答を生成する。有能な検証モデルは、軽量な複雑性ルータに依存して、受け入れ、拡張、またはバイパスされる。
現実世界のエージェントコーディングワークロード(Claude Code)では、RLM-Cascadeは125のプロダクション要求に対して88.8%のドラフト使用率を実現し、APIコストをOpusベースラインに対して45.8%削減した。
中央値の応答時間は2,026ミリ秒対3,698ミリ秒 – p50の1.83倍のスピードアップ – であり、SKIPPEDパス(DeepSeekのみ, Opusコールなし)がワークロードの分散を支配しているためである。
100%パスレートは20タスクのCode/Math/Instructベンチマークで、Native Opusは95%である。
さらに、単純なエージェントターンのためのSKIPPEDパスを選択するルールベースの複雑性ルータと、スキーマクリティカルなツール選択ターンのための投機的パイプラインをバイパスするハイブリッドツールコール戦略について述べる。
RLM-CascadeはエンタープライズAIインフラストラクチャコンポーネントとして本番環境にデプロイされ、ライブメトリクスダッシュボードとPrometheusエンドポイントを備えたオープンソースとして公開されている。
関連論文リスト
- Learning Agent Routing From Early Experience [55.88886987958933]
バウンダリ(Boundary)は、初期の行動経験とルーリック誘導推論を使用して、クエリに直接推論で答えるか、エージェントにエスカレートするかを決定する、トレーニング不要なルーティングフレームワークである。
また, 直接LLM推定よりも28.6%性能が向上し, 予測時間を60.6%短縮することを示した。
論文 参考訳（メタデータ） (2026-05-08T03:18:40Z) - Agentic Compilation: Mitigating the LLM Rerun Crisis for Minimized-Inference-Cost Web Automation [0.0]
Rerun Crisis: トークン支出の線形成長と,実行頻度に対するAPI遅延を特徴付ける。
ブラウザ実行から推論を分離するCompile-and-Executeアーキテクチャを提案する。
論文 参考訳（メタデータ） (2026-04-08T14:22:37Z) - LLM Readiness Harness: Evaluation, Observability, and CI Gates for LLM/RAG Applications [51.56484100374058]
評価をデプロイメント決定ワークフローに変換するLLMおよびRAGアプリケーションのための準備性ハーネスを提案する。
このシステムは、最小限のAPI契約の下で、自動ベンチマーク、OpenTelemetryオブザーバビリティ、CI品質ゲートを組み合わせる。
チケットルーティングとBEIRタスクのハーネスを、完全なAzureマトリックスカバレッジで評価する。
論文 参考訳（メタデータ） (2026-03-28T18:03:32Z) - Resource-Efficient Iterative LLM-Based NAS with Feedback Memory [49.44875022114861]
ニューラルアーキテクチャサーチ(NAS)はネットワーク設計を自動化するが、従来の手法ではかなりの計算資源を必要とする。
本稿では,大規模言語モデル(LLM)を活用して,畳み込みニューラルネットワークアーキテクチャを反復的に生成し,評価し,洗練するクローズドループパイプラインを提案する。
論文 参考訳（メタデータ） (2026-03-12T16:00:22Z) - Small Language Models for Agentic Systems: A Survey of Architectures, Capabilities, and Deployment Trade offs [0.10742675209112619]
小型言語モデル(SLM: 1-12B パラム、時には 20B まで)は十分であり、エージェント処理に優れていることが多い。
オープンおよびプロプライエタリなSLMにまたがって最近のエビデンスを合成し、近代的な評価に結び付ける。
本研究では,不確実性を考慮したルーティングと検証器カスケードを用いたSLMフォールバックシステムを定式化し,実生産目標を反映したエンジニアリングメトリクスを提案する。
論文 参考訳（メタデータ） (2025-10-04T15:48:04Z) - Cost-Aware Contrastive Routing for LLMs [57.30288453580456]
我々は、プロンプトとモデルの両方を共有埋め込み空間にマッピングする軽量フレームワークであるコストスペクトルコントラストルーティング(CSCR)を紹介します。
CSCRはベースラインを一貫して上回り、精度とコストのトレードオフを最大25%改善した。
論文 参考訳（メタデータ） (2025-08-17T20:16:44Z) - RepoForge: Training a SOTA Fast-thinking SWE Agent with an End-to-End Data Curation Pipeline Synergizing SFT and RL at Scale [15.199441664697988]
トレーニングソフトウェアエンジニアリング(SWE) LLMは、高価なインフラストラクチャ、非効率な評価パイプライン、少ないトレーニングデータ、高価な品質管理によってボトルネックになっている。
本稿では,SWEエージェントを大規模に生成し,評価し,訓練する,自律的なエンドツーエンドパイプラインであるRepoForgeを紹介する。
論文 参考訳（メタデータ） (2025-08-03T02:34:16Z) - Towards Efficient Automatic Self-Pruning of Large Language Models [55.90119819642064]
トレーニング後の構造化プルーニングは、トレーニングを必要とせずに大規模言語モデルを熟成する有望なソリューションである。
この問題を緩和する鍵は、各レイヤのプルーニング率を正確に決定することにある、と我々は主張する。
我々は、レイヤワイドプルーニングレートを効率的に検索するLLMのためのエンドツーエンドの自動自動プルーニングフレームワークである$textbfSelf-Prunerを紹介した。
論文 参考訳（メタデータ） (2025-02-20T09:59:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。