論文の概要: Routing Without Training: Controllable-Ratio LLM Offloading via Reliability Gating

• arxiv url: http://arxiv.org/abs/2607.20481v1
• Date: Sat, 30 May 2026 06:42:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.194257
• Title: Routing Without Training: Controllable-Ratio LLM Offloading via Reliability Gating
• Title（参考訳）: トレーニングなしのルーティング:信頼性ゲーティングによる制御可能比LDM負荷
• Abstract要約: ローカル・クラウド・コラボレーションは、ローカル・モデルの本質的な応答行動から直接発生する可能性があることを示す。 提案するCARGOはトレーニング不要なルーティングフレームワークで,この合意をプロンプト値のサンプリングによって推定する。
• 参考スコア（独自算出の注目度）: 15.222895374155215
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Local-cloud collaboration is a practical way to deploy large language models under resource constraints, but existing methods often rely on trained routers or collaboration-aware finetuning that tie routing behavior to a particular operating regime. In this work, we show that such training may be unnecessary: the local model's own inference-time agreement across sampled responses already provides a strong signal for deciding when to trust local execution and when to offload to a stronger cloud model. We propose CARGO, a training-free routing framework that estimates this agreement through prompt-varied sampling, applies Bayesian early stopping for sample-efficient uncertainty control, and supports arbitrary target collaboration ratios through lightweight deployment-time calibration. Across diverse reasoning and question-answering tasks, multiple local LLM families and scales, and both pretrained and finetuned local models, CARGO consistently outperforms other training-free baselines and in several settings surpasses supervised learned routers. These results suggest that effective and adaptable local-cloud collaboration can emerge directly from the local model's intrinsic response behavior, without requiring an additional trained router.
• Abstract（参考訳）: ローカルクラウドのコラボレーションは、リソース制約下で大規模言語モデルをデプロイするための実践的な方法だが、既存の方法は、訓練されたルータや特定のオペレーティングシステムにルーティング動作を結びつけるコラボレーション対応の微調整に依存することが多い。 本研究は,このようなトレーニングが不要であることを示す: サンプル応答に対するローカルモデル独自の推論時間合意は,ローカル実行を信頼するタイミングと,より強力なクラウドモデルにオフロードするタイミングを決定する強力なシグナルをすでに提供している。 CARGOは,本合意を即時サンプリングにより推定する学習自由ルーティングフレームワークであり,サンプル効率の不確実性制御にベイジアン早期停止を適用し,軽量な展開時間キャリブレーションによる任意の目標協調比をサポートする。 多様な推論と質問応答タスク、複数のローカルLLMファミリーとスケール、および訓練済みおよび微調整されたローカルモデルにおいて、CARGOは他のトレーニング不要のベースラインを一貫して上回り、いくつかの設定では教師付き学習ルータを上回っている。 これらの結果から,ローカルモデルの本質的な応答行動から直接,効果的かつ適応的なローカルクラウドコラボレーションが実現可能であることが示唆された。

関連論文リスト

• Beyond Solvability: Task Learnability as a Static Prior for LLM RL Post-Training [52.78248352851176]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルにおける推論能力を引き出すための訓練後のパラダイムである。 本研究では,この残差軸をタスク学習可能性として検討する。 そこで我々はTrajValを提案する。TrajValは、短いプローブランと2つのエンドポイント評価からタスク毎の学習可能性を近似する軽量なプローブベース推定器である。
  論文  参考訳（メタデータ） (2026-08-10T07:43:05Z)
• Before Thinking, Learn to Decide: Proactive Routing for Efficient Visual Reasoning [87.18590662029432]
  本稿では,プロアクティブルーティングパラダイムであるPRPを提案する。このパラダイムは,ドラフトモデルとターゲットモデルの両方の能力を評価することで,早期意思決定を可能にする。 筆者らの試案であるレーティング学習 (DRL) は内部信頼度推定器を内蔵し, 共同レーティング学習 (JRL) は対象モデルが与えられたクエリをどの程度処理できるかを予測する。 これらの評価により、詳細なインスタンスレベルの textbfProactive Routing が可能になり、全体的なパフォーマンスを損なうことなく、推論を大幅に高速化できる。
  論文  参考訳（メタデータ） (2026-06-29T12:30:24Z)
• Focus When Necessary: Adaptive Routing and Collaborative Grounding for Training-Free Visual Grounding [56.38477453373368]
  LazyMCoTは動的でトレーニング不要なフレームワークで、サンプルの難易度に基づいて視覚的接地作業を適応的に割り当てる。 LazyMCoTは、推論精度を同時に改善し、平均推論レイテンシを低減することで、トレーニングベースのアプローチと競合する。
  論文  参考訳（メタデータ） (2026-06-15T03:17:44Z)
• Unifying Local Communications and Local Updates for LLM Pretraining [22.321729036377846]
  LLMの通信効率のよい事前学習は、クラスタに分散した計算にトレーニングの引き金がかかっているため、ますます重要になっている。 本稿では,コミュニケーションアクセラレーションの概念を一般化し,実践的なゴシップベースのトレーニングフレームワークであるGASLoCを紹介する。 我々は,GASLoCが複数のトポロジに対して,通信単位の単一ステップで最先端の分散アルゴリズムより優れていることを示す。
  論文  参考訳（メタデータ） (2026-06-09T16:40:54Z)
• Towards Fair and Comprehensive Evaluation of Routers in Collaborative LLM Systems [46.00150374727385]
  大規模言語モデル(LLM)は成功したが、コストとプライバシの制約により、より小さなモデルをローカルにデプロイする必要がある。 本稿では,ルータ能力,シナリオアライメント,ドメイン間ロバスト性という3次元の原理的評価フレームワークであるRuterXBenchを提案する。 ProbeDirichletは、学習可能なディリクレを介して層間隠れ状態を集約し、確率的トレーニングを行う軽量ルータである。
  論文  参考訳（メタデータ） (2026-02-12T12:28:27Z)
• Joint Continual Learning of Local Language Models and Cloud Offloading Decisions with Budget Constraints [13.890405825812065]
  本稿では,グループ相対政策最適化の二重アドバンテージ拡張であるDA-GRPOを提案する。 クラウド利用の制約を直接計算に組み込んで、固定報酬のシェーピングや外部ルーティングモデルを避ける。 数学的推論とコード生成ベンチマークの実験により、DA-GRPOはスウィッチ後の精度を改善し、忘れを著しく低減し、安定したクラウド利用を維持することが示されている。
  論文  参考訳（メタデータ） (2026-01-29T23:27:15Z)
• Refinement Provenance Inference: Detecting LLM-Refined Training Prompts from Model Behavior [58.751981587234916]
  本稿では,Refinement Provenance Inference (RPI)監査タスクをRefinement Provenance Inference (RPI)として定式化する。 本稿では,ロジットレベルの信号で教師が強制する可能性機能を融合させるロジットベースのフレームワークであるReProを提案する。 トレーニング中、ReProはシャドウファインチューニングを通じて転送可能な表現を学び、訓練データアクセスなしで、見えない犠牲者の証明を推測するために軽量のリニアヘッドを使用する。
  論文  参考訳（メタデータ） (2026-01-05T10:16:41Z)
• Learning to Route LLMs from Bandit Feedback: One Policy, Many Trade-offs [69.2486294522259]
  BaRPはBandit Routing-feedback with Preferencesアプローチであり、デプロイと同じ部分フィードバック制限の下でトレーニングされる。 提案手法は,学習中のオンラインフィードバック設定をシミュレートし,新たなプロンプトに適応する。
  論文  参考訳（メタデータ） (2025-10-08T18:24:59Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• A Modular and Transferable Reinforcement Learning Framework for the Fleet Rebalancing Problem [2.299872239734834]
  モデルフリー強化学習(RL)に基づく艦隊再バランスのためのモジュラーフレームワークを提案する。 動作領域のグリッド上の分布としてRL状態とアクション空間を定式化し,フレームワークをスケーラブルにする。 実世界の旅行データとネットワークデータを用いた数値実験は、このアプローチがベースライン法よりもいくつかの異なる利点があることを実証している。
  論文  参考訳（メタデータ） (2021-05-27T16:32:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。