論文の概要: Reasoning Is Not Free: Robust Adaptive Cost-Efficient Routing for LLM-as-a-Judge

• arxiv url: http://arxiv.org/abs/2605.10805v1
• Date: Mon, 11 May 2026 16:30:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.987441
• Title: Reasoning Is Not Free: Robust Adaptive Cost-Efficient Routing for LLM-as-a-Judge
• Title（参考訳）: LLM-as-a-Judgeのロバストな適応的コスト効率ルーティング
• Authors: Wenbo Zhang, Lijinghua Zhang, Liner Xiang, Hengrui Cai,
• Abstract要約: Reasoning-capable large language model (LLM) は、最近自動判断器として採用されている。 本研究では,明示的推論により,構造化された検証を必要とするタスクの判断精度が大幅に向上することを示す。 本稿では、推論と非推論の判断を選択可能なロバスト適応コスト効率ルーティング(RACER)を提案する。
• 参考スコア（独自算出の注目度）: 4.511996087821266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning-capable large language models (LLMs) have recently been adopted as automated judges, but their benefits and costs in LLM-as-a-Judge settings remain unclear. Through controlled comparisons between reasoning and non-reasoning judges, we show that explicit reasoning substantially improves judgment accuracy on tasks requiring structured verification (e.g., math and coding), while offering limited or even negative gains on simpler evaluations and incurring significantly higher computational cost. These findings motivate that reasoning should be used selectively rather than universally, with awareness of possible distribution shift. We propose a Robust Adaptive Cost-Efficient Routing (RACER), which dynamically selects between reasoning and non-reasoning judges under a fixed budget by formulating routing as a constrained distributionally robust optimization problem. RACER explicitly accounts for distribution shift via a KL-divergence uncertainty set, admits an efficient primal--dual algorithm, and enjoys theoretical guarantees including uniqueness of the optimal policy and linear convergence. Extensive experiments show that RACER achieves superior accuracy--cost trade-offs under distribution shift.
• Abstract（参考訳）: Reasoning-capable large language model (LLM) は、最近、自動判断器として採用されているが、LLM-as-a-Judge設定におけるそれらの利点とコストは、まだ不明である。 推論と非推論の判断の制御による比較により、明示的推論は構造化された検証を必要とするタスク(例えば、数学やコーディング)の判断精度を大幅に向上する一方で、簡易な評価では限定的あるいは負の利得を提供し、計算コストを大幅に高めることを示した。 これらの知見は、分散シフトの可能性を認識しつつ、推論を普遍的にではなく選択的に使用すべきである、という動機づけである。 本稿では,制約付き分散ロバスト最適化問題としてルーティングを定式化することにより,推論と非推論の判断を動的に選択するロバスト適応コスト効率ルーティング(RACER)を提案する。 RACERは、KL分割不確実性セットによる分配シフトを明示的に説明し、効率的な原始双対アルゴリズムを認め、最適方針の特異性や線形収束性を含む理論的保証を享受する。

関連論文リスト

• ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
  ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。 我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-02-27T05:22:01Z)
• WS-GRPO: Weakly-Supervised Group-Relative Policy Optimization for Rollout-Efficient Reasoning [67.45237332694025]
  グループ相対政策最適化は、複雑な推論に基づいて言語モデルを訓練するのに効果的である。 Weakly Supervised GRPOを提案し、端末報酬を正当性を考慮したガイダンスに変換することにより、ロールアウト効率を向上させる。
  論文  参考訳（メタデータ） (2026-02-19T02:43:35Z)
• Conformal Thinking: Risk Control for Reasoning on a Compute Budget [60.65072883773352]
  大規模言語モデル(LLM)の推論により、トークンの予算が増加するにつれて、データセットレベルの精度が向上する。 我々は、予算設定問題をリスクコントロールとして再設定し、計算を最小化しながらエラー率を制限する。 我々のフレームワークは、モデルが自信のあるときに推論を停止する上位しきい値と、未解決のインスタンスを事前に停止させる新しい下位しきい値を導入する。
  論文  参考訳（メタデータ） (2026-02-03T18:17:22Z)
• AdaGReS:Adaptive Greedy Context Selection via Redundancy-Aware Scoring for Token-Budgeted RAG [4.69377227249912]
  本稿ではトークン予算RAGのための冗長性を考慮したコンテキスト選択フレームワークであるAdaGReSを紹介する。 AdaGReSは、目的から派生した限界ゲインを用いてトークン予算制約の下で欲求選択を行う。 オープンドメイン質問応答(Natural Questions)と高冗長バイオメディカル(ドラッグ)コーパスの実験は、冗長性制御とコンテキスト品質の一貫性を実証している。
  論文  参考訳（メタデータ） (2025-12-31T18:48:07Z)
• Additive Distributionally Robust Ranking and Selection [0.8283940114367679]
  そこで本研究では,$k + m - 1$の事前仮説クリティカルシナリオのみをサンプリングすることを目的とした,単純な加算割当(AA)手順を提案する。 AAが一貫したものであり、驚くべきことに、最も強い意味で付加性を達成することを証明します。 結果は、DRR&Sの加法構造に対する新しい、そして反直観的な洞察を与える。
  論文  参考訳（メタデータ） (2025-09-07T17:36:29Z)
• Supervised Optimism Correction: Be Confident When LLMs Are Sure [91.7459076316849]
  教師付き微調整とオフライン強化学習の間には,新たな理論的関係が確立されている。 広く使われているビームサーチ法は、許容できない過度な最適化に悩まされていることを示す。 本稿では,トークンレベル$Q$-value推定のための簡易かつ効果的な補助的損失を導入したSupervised Optimism Correctionを提案する。
  論文  参考訳（メタデータ） (2025-04-10T07:50:03Z)
• Reasoning Aware Self-Consistency: Leveraging Reasoning Paths for Efficient LLM Sampling [9.44858963874474]
  自己整合性は、複数の推論経路をサンプリングすることによって、大規模言語モデル(LLM)における幻覚を緩和する。 本稿では、サンプリング効率を高め、忠実性を推論する新しいフレームワークであるReasoning-Aware Self-Consistency (RASC)を紹介する。
  論文  参考訳（メタデータ） (2024-08-30T05:14:59Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。