論文の概要: Disagreement-Guided Weak-to-Strong Routing

• arxiv url: http://arxiv.org/abs/2610.22245v1
• Date: Thu, 15 Oct 2026 17:19:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.222607
• Title: Disagreement-Guided Weak-to-Strong Routing
• Title（参考訳）: 診断誘導型弱め-ストロングルーティング
• Abstract要約: 小さな言語モデルは、コストとレイテンシの制約を満たすために、エッジデバイスやロボットシステムにますますデプロイされている。 本稿では,モデル-モデル比較に基づく最適ルーティングの原理的近似を提案する。 特に,モデル生成応答から直接測定できるモデル不一致の概念を導入する。
• 参考スコア（独自算出の注目度）: 26.38833436936642
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Small language models are increasingly deployed on edge devices and robotic systems to meet cost and latency constraints, yet their limited capabilities can make reliable deployment challenging. Stronger models can provide assistance when needed, but deciding when to route a weak-model response to a stronger model often relies on signals of response correctness. In open-ended and agentic tasks, however, obtaining such signals can require costly ground-truth supervision that is difficult to obtain at scale. We revisit the foundations of weak-to-strong routing and ask whether routing decisions can instead be guided by signals that do not require ground-truth supervision. We first characterize the optimal weak-to-strong routing policy, while allowing for multiple weak-model responses generated through local inference. Building on this characterization, we derive a principled approximation to the optimal routing based on model-to-model comparison. In particular, we introduce a notion of model disagreement that can be measured directly from model-generated responses, without ground-truth supervision. Importantly, the approximation becomes increasingly accurate as the strong model becomes a better proxy for the ground-truth distribution. Across agentic and single-turn tasks, our approach effectively navigates the trade-off between routing cost and response accuracy without ground-truth supervision. Moreover, even when ground-truth correctness signals are available for training, disagreement-based routing can outperform methods trained directly to predict correctness
• Abstract（参考訳）: 小さな言語モデルは、コストとレイテンシの制約を満たすために、エッジデバイスやロボットシステムにますますデプロイされている。 より強いモデルは必要な時に補助を提供することができるが、弱いモデルの応答をより強いモデルにルーティングするタイミングを決定するには、しばしば応答の正しさの信号に依存する。 しかし、オープンエンドかつエージェント的なタスクでは、そのような信号を得るには、大規模に取得することが難しい、コストのかかる地道的な監督が必要である。 我々は、弱いルーティングの基礎を再考し、その代わりに、地道的な監視を必要としない信号でルーティング決定を導けるかどうかを問う。 まず,局所的な推論によって生成される複数の弱モデル応答を許容しながら,最適な弱-強ルーティングポリシーを特徴付ける。 この特徴に基づいて、モデル-モデル比較に基づく最適ルーティングに対する原理的な近似を導出する。 特に,モデル生成応答から直接測定できるモデル不一致の概念を導入する。 重要なことに、強いモデルが地中構造分布のより良いプロキシとなるにつれて、近似はますます正確になる。 エージェント的タスクとシングルターンタスク全体にわたって、本手法は、地道的な監督を伴わずに、ルーティングコストと応答精度のトレードオフを効果的にナビゲートする。 さらに、トレーニング用に地中真正当性信号が利用可能である場合でも、不一致に基づくルーティングは、正当性を予測するために直接訓練された方法より優れている。

関連論文リスト

• Rationale-Guided Policy Optimization: Learning to Reason with Adaptive Rationale Scaffolding [33.075387337859276]
  オンライン強化学習は、大規模言語モデルの推論能力を向上させるための中心的なパラダイムとなっている。 既存のアプローチは、政治外のデモ、専門家のトレース、モデル生成ソリューションを取り入れることで、この問題を軽減する。 本稿では,Rationale-Guided Policy Optimization (RGPO)を紹介した。
  論文  参考訳（メタデータ） (2026-10-05T20:15:12Z)
• Before Thinking, Learn to Decide: Proactive Routing for Efficient Visual Reasoning [87.18590662029432]
  本稿では,プロアクティブルーティングパラダイムであるPRPを提案する。このパラダイムは,ドラフトモデルとターゲットモデルの両方の能力を評価することで,早期意思決定を可能にする。 筆者らの試案であるレーティング学習 (DRL) は内部信頼度推定器を内蔵し, 共同レーティング学習 (JRL) は対象モデルが与えられたクエリをどの程度処理できるかを予測する。 これらの評価により、詳細なインスタンスレベルの textbfProactive Routing が可能になり、全体的なパフォーマンスを損なうことなく、推論を大幅に高速化できる。
  論文  参考訳（メタデータ） (2026-06-29T12:30:24Z)
• Routing Without Training: Controllable-Ratio LLM Offloading via Reliability Gating [15.222895374155215]
  ローカル・クラウド・コラボレーションは、ローカル・モデルの本質的な応答行動から直接発生する可能性があることを示す。 提案するCARGOはトレーニング不要なルーティングフレームワークで,この合意をプロンプト値のサンプリングによって推定する。
  論文  参考訳（メタデータ） (2026-05-30T06:42:55Z)
• Flexible Routing via Uncertainty Decomposition [13.854691350572821]
  機械学習システムのパフォーマンスとコストのバランスをとるための主要な戦略は、クエリを低コストのモデルか高価なオラクルに動的にルーティングすることだ。 本稿では,不確実なクエリに対する不必要なオラクル呼び出しを回避するための,新しい不確実性対応ルータを提案する。
  論文  参考訳（メタデータ） (2026-05-08T14:39:57Z)
• RouteLMT: Learned Sample Routing for Hybrid LLM Translation Deployment [57.588738943463646]
  大規模言語モデル(LLM)は機械翻訳(MT)において顕著な性能を発揮した 大規模に展開するのは 違法に高価です モデル内ルータである textbfRouteLMT を提案する。
  論文  参考訳（メタデータ） (2026-04-24T13:02:45Z)
• Learning to Route LLMs from Bandit Feedback: One Policy, Many Trade-offs [69.2486294522259]
  BaRPはBandit Routing-feedback with Preferencesアプローチであり、デプロイと同じ部分フィードバック制限の下でトレーニングされる。 提案手法は,学習中のオンラインフィードバック設定をシミュレートし,新たなプロンプトに適応する。
  論文  参考訳（メタデータ） (2025-10-08T18:24:59Z)
• Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
  強靭性と精度のトレードオフは、敵文学において広く研究されている。 局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。 定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
  論文  参考訳（メタデータ） (2022-02-21T10:36:09Z)
• Guided Uncertainty-Aware Policy Optimization: Combining Learning and Model-Based Strategies for Sample-Efficient Policy Learning [75.56839075060819]
  従来のロボットのアプローチは、環境の正確なモデル、タスクの実行方法の詳細な説明、現在の状態を追跡するための堅牢な認識システムに依存している。 強化学習アプローチは、タスクを記述するための報酬信号だけで、生の感覚入力から直接操作することができるが、非常にサンプル非効率で脆弱である。 本研究では,ロボットの知覚・運動パイプラインにおける不正確さを克服できる一般的な手法を得るために,モデルに基づく手法の強みと学習に基づく手法の柔軟性を組み合わせる。
  論文  参考訳（メタデータ） (2020-05-21T19:47:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。