論文の概要: PyroDash: Cost-Efficient Token-Level Small-Large Language Model Collaborative Inference

• arxiv url: http://arxiv.org/abs/2607.20327v1
• Date: Wed, 22 Jul 2026 16:14:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 18:51:38.150985
• Title: PyroDash: Cost-Efficient Token-Level Small-Large Language Model Collaborative Inference
• Title（参考訳）: PyroDash: コスト効率の良いToken-Level小言語モデルコラボレーション推論
• Abstract要約: PyroDashはトークンレベルのSLM-LLM協調推論のためのコスト対応フレームワークである。 Collaborate Engineは、クエリと部分的推論トレースをフリーズしたLLMに送信し、単一のハンドオフで完了させる。
• 参考スコア（独自算出の注目度）: 0.5568796330843819
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) provide strong reasoning capabilities but are expensive to serve at scale, whereas small language models (SLMs) are cheaper but less reliable on difficult problems. We introduce PyroDash, a cost-aware framework for token-level SLM-LLM collaborative inference. During generation, the SLM decides whether to request assistance by emitting a control token. A Collaborate Engine then sends the query and partial reasoning trace to a frozen LLM for completion through a single handoff. The policy is internalized in the SLM, requiring neither a separate router, LLM retraining, nor access to LLM logits. PyroDash trains the SLM in three stages: control-token embedding learning, offloading-oriented supervised fine-tuning, and cost-aware alignment with Group Relative Policy Optimization. Its reward balances answer accuracy against inference cost normalized by LLM-only inference. Across five mathematical reasoning benchmarks, PyroDash supports different accuracy-cost operating points. With $λ=0.05$, it achieves 64.04 percent average accuracy, 6.36 percentage points above the LLM-only baseline, while reducing cost by 20.4 percent. With $λ=0.6$, it achieves 54.55 percent accuracy with a 1.90 percent LLM token ratio and 0.012 LLM calls per example, reducing total cost from USD 49.36 to USD 1.78. These results show that learned token-level handoffs can reduce LLM use while preserving strong reasoning performance.
• Abstract（参考訳）: 大規模言語モデル (LLM) は強力な推論能力を提供するが、大規模では高価であるのに対し、小型言語モデル (SLM) は安価だが難しい問題では信頼性が低い。 トークンレベルのSLM-LLM協調推論のためのコスト認識フレームワークであるPyroDashを紹介した。 生成中、SLMは制御トークンを出力して支援を要求するか否かを判定する。 Collaborate Engineはその後、クエリと部分的推論トレースをフリーズしたLLMに送信し、単一のハンドオフで完了させる。 ポリシーはSLMの内部化されており、別個のルータ、LSM再訓練、LSMロジットへのアクセスは不要である。 PyroDashはSLMを3段階に分けてトレーニングしている。 その報酬は、LSMのみの推論によって正規化された推論コストに対して答えの精度のバランスをとる。 5つの数学的推論ベンチマークで、PyroDashは異なる精度コストの操作ポイントをサポートする。 λ=0.05$で、平均精度は64.04%、LCMのみのベースラインより6.36ポイント高いが、コストは20.4%削減される。 λ=0.6$で1.90%のLLMトークン比と0.012のLLMコールで54.55%の精度を達成し、USD 49.36からUSD 1.78までの総コストを削減した。 これらの結果から,学習したトークンレベルのハンドオフは,強い推論性能を維持しながらLLMの使用を低減できることが示された。

関連論文リスト

• The Embedder's Dilemma: LLMs Are Better, but at What Cost? [18.755750863102232]
  10のテキスト埋め込みモデルと26の埋め込みモデルを比較した。 最良のLLM(Gemini 3.1 Pro)と最高の埋め込みモデル(77.2)は0.4ポイント異なる。 本研究は, 類似性, 分類, クラスタリングのための埋め込みモデルと, 推論集約検索のための予備LLMを用いて, 作業の分割を支援する。
  論文  参考訳（メタデータ） (2026-08-13T06:39:45Z)
• Pay for Hints, Not Answers: LLM Shepherding for Cost-Efficient Inference [7.865726406769634]
  小型言語モデル(SLM)は劇的なコスト削減を提供するが、精度はかなり遅い。 LLM Shepherdingは,LLMから短いプレフィックス(ヒント)のみを要求するフレームワークで,SLMに提供します。 シェパードはルーティングとカスケードの両方を一般化し、オラクルの意思決定において低コストを実現する。
  論文  参考訳（メタデータ） (2026-01-29T18:52:54Z)
• Grounding by Trying: LLMs with Reinforcement Learning-Enhanced Retrieval [55.63711219190506]
  大きな言語モデル(LLM)は、しばしば適切な検索クエリのポーズに苦労する。 私たちは$underlineLe$arningを$underlineRe$trieveに$underlineT$rying (LeReT)を導入します。 LeReTは、絶対精度を最大29%向上し、下流ジェネレータの評価を17%向上させることができる。
  論文  参考訳（メタデータ） (2024-10-30T17:02:54Z)
• Extend Model Merging from Fine-Tuned to Pre-Trained Large Language Models via Weight Disentanglement [72.97553348776425]
  我々は、FTからPT LLMへのマージ技術の適用性を拡大するための先駆的な取り組みを行っている。 WeIght DisENtanglement (WIDEN) に基づくアプローチを導入し、マージ範囲を効果的に拡張する。 Qwen1.5-Chat (FT LLM with instruction-following skills) と Sailor (PT LLM with multilingual abilities) を7Bおよび14Bモデルスケールにマージする。
  論文  参考訳（メタデータ） (2024-08-06T10:46:46Z)
• Delta-CoMe: Training-Free Delta-Compression with Mixed-Precision for Large Language Models [79.46938238953916]
  多様なアプリケーションへの微調整された大規模言語モデル(LLM)は、複雑な要求を満たすために不可欠である。 近年の研究では、微調整LDMをベースモデルと対応するデルタウェイトに分解し、低ランクまたは低ビットのアプローチで圧縮してコストを削減することが示唆されている。 本研究では,従来の低ランク圧縮法と低ビット圧縮法がタスク固有の微調整LDMのモデル性能を著しく損なうことを観察する。
  論文  参考訳（メタデータ） (2024-06-13T07:57:27Z)
• How Far Are We on the Decision-Making of LLMs? Evaluating LLMs' Gaming Ability in Multi-Agent Environments [83.78240828340681]
  GAMA($gamma$)-Benchは、マルチエージェント環境における大規模言語モデルのゲーム能力を評価するための新しいフレームワークである。 $gamma$-Benchは8つの古典ゲーム理論シナリオと、LSMの性能を評価するために特別に設計された動的スコアリングスキームを含んでいる。 以上の結果から, GPT-3.5は強い強靭性を示すが, 一般化性は限定的であり, Chain-of-Thoughtのような手法で拡張可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-18T14:04:47Z)
• Can Large Language Models Play Games? A Case Study of A Self-Play Approach [61.15761840203145]
  LLM(Large Language Models)は、インターネットからの広範なデータを利用して、幅広い事前知識を格納する。 Monte-Carlo Tree Search (MCTS)は、信頼性の高い意思決定ソリューションを提供する検索アルゴリズムである。 この研究は、ターンベースのゼロサムゲームを効率的に解決するために、MCTSセルフプレイでLLMを活性化させる革新的なアプローチを導入している。
  論文  参考訳（メタデータ） (2024-03-08T19:16:29Z)
• BiLLM: Pushing the Limit of Post-Training Quantization for LLMs [53.31402059062365]
  BiLLMは、事前訓練された大規模言語モデルに適した1ビット後のトレーニング後の量子化スキームである。 LLaMA2-70Bの8.41パープレキシティは、様々なLLMファミリーで1.08ビットの重みしか持たない。
  論文  参考訳（メタデータ） (2024-02-06T09:26:34Z)
• Cache me if you Can: an Online Cost-aware Teacher-Student framework to Reduce the Calls to Large Language Models [13.799197575126442]
  中小企業(中小企業)は、大規模なタスク固有のトレーニングデータセットを作成する費用を支払うことができない。 大規模言語モデルをプロンプトできるサードパーティサービスは、現在、通話1回あたりの支払いを必要としている。 本稿では,従来の応答をキャッシュし,ローカルな安価なモデルをトレーニングすることで,LCMへの呼び出しを削減できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-20T10:05:07Z)
• Large Language Model Cascades with Mixture of Thoughts Representations for Cost-efficient Reasoning [19.472937476936636]
  大きな言語モデル(LLM)は、様々なタスクで顕著なパフォーマンスを示していますが、この強力なパフォーマンスは、しばしば有料のAPIサービスを使用するコストが高くなります。 本稿では, LLM のコスト削減を目的とした LLM カスケードの構築について検討する。 提案するカスケードは,より強力なLCMのみを使用すれば性能が向上するが,コストの40%しか必要としない。
  論文  参考訳（メタデータ） (2023-10-04T18:21:17Z)
• FLM-101B: An Open LLM and How to Train It with $100K Budget [63.244403881531035]
  その結果,FLM-101Bは,予算1万ドルで成長戦略を訓練し,浮動小数点演算の10%に過ぎず,ベースラインのパフォーマンスの80%に達することがわかった。 先進的なトレーニングに関するさらなる研究は、コストを削減し、グリーンAIを促進することで、コミュニティに恩恵をもたらすと信じている。
  論文  参考訳（メタデータ） (2023-09-07T17:07:36Z)
• FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance [36.94826820536239]
  一般的な大言語モデル(LLM)のクエリに関するコストについてレビューする。 LLMの使用に伴う推論コストを削減するために,ユーザが活用できる3つの戦略について論じる。 実験の結果,FrugalGPTは最大98%のコスト削減や,同じコストでGPT-4の精度を4%向上できることがわかった。
  論文  参考訳（メタデータ） (2023-05-09T05:11:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。