論文の概要: ReCal: Reward Calibration for RL-based LLM Routing

• arxiv url: http://arxiv.org/abs/2606.12479v1
• Date: Wed, 10 Jun 2026 06:59:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.353888
• Title: ReCal: Reward Calibration for RL-based LLM Routing
• Title（参考訳）: ReCal: RL-based LLM Routingのリワード校正
• Authors: Qihang Yu, Hanwen Tong, Zhengqi Zhang, Bo Zheng, Feng Wei, Shengyu Zhang, Zemin Liu, Fei Wu,
• Abstract要約: 大規模言語モデル(LLM)ルーティングは、複数のLLMの相補的強みを利用するための効果的なパラダイムとして登場した。 最近の強化学習(RL)に基づくルーティング手法は、インタラクションフィードバックからルーティングポリシーを最適化することにより、ルーティング品質をさらに向上する。 しかし、不均一なタスクの下では、情報的かつ同等の学習信号を提供することに苦慮している。
• 参考スコア（独自算出の注目度）: 39.512840370688224
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) routing has emerged as an effective paradigm for leveraging the complementary strengths of multiple LLMs through dynamic model and reasoning-strategy selection. Recent reinforcement learning (RL)-based routing methods further improve routing quality by optimizing routing policies from interaction feedback. However, they still struggle to provide informative and comparable learning signals under heterogeneous tasks with varying difficulty. In practice, multiple objectives (e.g., correctness, format behavior) are aggregated into a single scalar reward, leading to ambiguous credit assignment and conflicting optimization signals. Moreover, reward signals exhibit significant variability across instances, where some instances produce higher or more variable rewards, introducing optimization bias that favors trivial samples over informative ones. To address these issues, we propose \textbf{ReCal}, a \textbf{\underline{Re}}ward \textbf{\underline{Cal}}ibration framework for RL-based LLM routing. We first introduce a hierarchical reward decomposition mechanism with component-wise advantage estimation. We further propose a distribution-aware optimization strategy that calibrates optimization variability through variance-aware reweighting and per-dataset normalization. Experiments on seven datasets demonstrate that ReCal consistently improves routing performance, and training stability over baselines. Code is available at https://anonymous.4open.science/r/ReCal.
• Abstract（参考訳）: 大規模言語モデル(LLM)ルーティングは、動的モデルと推論-戦略選択を通じて複数のLLMの相補的強みを活用するための効果的なパラダイムとして登場した。 最近の強化学習(RL)に基づくルーティング手法は、インタラクションフィードバックからルーティングポリシーを最適化することにより、ルーティング品質をさらに向上する。 しかし、様々な困難を伴う異種タスクの下では、情報的かつ同等の学習信号を提供するのに依然として苦労している。 実際には、複数の目的(例えば、正確性、フォーマットの振る舞い)が単一のスカラー報酬に集約され、曖昧なクレジット割り当てと矛盾する最適化信号をもたらす。 さらに、報酬信号はインスタンス間で大きなばらつきを示し、いくつかのインスタンスはより高いあるいはより可変な報酬を生成し、情報的なものよりも自明なサンプルを好む最適化バイアスを導入している。 これらの問題に対処するために,RL ベースの LLM ルーティングのための \textbf{ReCal}, a \textbf{\underline{Re}}ward \textbf{\underline{Cal}}ibration フレームワークを提案する。 まず、コンポーネントの利点を推定する階層的な報酬分解機構を導入する。 さらに,分散型再重み付けとデータセットごとの正規化による分散型最適化手法を提案する。 7つのデータセットの実験では、ReCalはルーティング性能を一貫して改善し、ベースラインよりも安定性をトレーニングしている。 コードはhttps://anonymous.4open.science/r/ReCal.comで入手できる。

関連論文リスト

• Memory-Based Advantage Shaping for LLM-Guided Reinforcement Learning [18.215893951726166]
  スパースや遅延した報酬のある環境では、強化学習は高いサンプル複雑さを引き起こす。 この制限は、大規模言語モデル(LLM)をサブゴール発見や軌道誘導に使う動機となった。 LLMガイダンスとエージェント自身のロールアウトの成功の両方から,サブゴールとトラジェクトリを符号化したメモリグラフを構築することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2026-02-20T01:44:35Z)
• Reinforce-Ada: An Adaptive Sampling Framework for Reinforce-Style LLM Training [47.26632817047513]
  大規模言語モデル(LLM)に推論タスクに適用された強化学習は、不安定な勾配推定によってボトルネックとなることが多い。 LLMのオンラインRLポストトレーニングのための適応型サンプリングフレームワークであるReinforce-Adaを提案する。 従来の2段階配置法とは異なり、Reinforce-Adaはオンライン連続除去プロセスにおける推定とサンプリングをインターリーブする。
  論文  参考訳（メタデータ） (2025-10-06T16:34:09Z)
• Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic Shuffle [65.14124923451077]
  強化学習(Reinforcement Learning, RL)は、マルチモーダル大言語モデル(MLLM)の推論能力を高めるための効果的なポストトレーニングパラダイムとして登場した。 しかしながら、現在のRLパイプラインは、アドバンテージ・コラプシング(Advantage Collapsing)とロールアウト・サイレンシング(Rollout Silencing)という2つの未解決の問題によって、トレーニングの非効率に悩まされることが多い。 軌道サンプリングとバッチ合成を動的に再構成することにより、RLの微調整効率を向上する、シンプルだが原則化されたフレームワークであるShuffle-R1を提案する。
  論文  参考訳（メタデータ） (2025-08-07T17:53:47Z)
• Efficient Split Federated Learning for Large Language Models over Communication Networks [45.02252893286613]
  分散方式で訓練済みの大規模言語モデル(LLM)を微調整することで、リソース制約のあるエッジネットワークにおいて大きな課題が生じる。 本稿では,分割フェデレーション学習とパラメータ効率のよい微調整技術を統合する新しいフレームワークであるSflLLMを提案する。 モデル分割とローランク適応(LoRA)を活用することにより、SflLLMはエッジデバイスの計算負担を軽減する。
  論文  参考訳（メタデータ） (2025-04-20T16:16:54Z)
• Universal Model Routing for Efficient LLM Inference [69.86195589350264]
  モデルルーティングは,大規模言語モデル(LLM)の推論コストを削減する手法である 動的ルーティング問題に対する新しいアプローチであるUniRouteを提案する。 これらは理論的に最適なルーティングルールの推定であり、過大なリスクバウンドによってそれらのエラーを定量化する。
  論文  参考訳（メタデータ） (2025-02-12T20:30:28Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。