論文の概要: When is a better LLM worth paying for? Stochastic Optimization with Switching Mixed-Fidelity Oracles
- arxiv url: http://arxiv.org/abs/2610.21139v1
- Date: Thu, 15 Oct 2026 02:50:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.143052
- Title: When is a better LLM worth paying for? Stochastic Optimization with Switching Mixed-Fidelity Oracles
- Title（参考訳）: より優れたLCMはいつ償う価値があるのか? 混合忠実なオラクルを切り替える確率最適化
- Abstract要約: 大規模言語モデル(LLM)は、データクリーニング、ラベルエラーの検出、欠落した値の再構築に、意思決定の上流でますます使われている。
高い忠実度モデルとよりリッチなプロンプトは、はるかに高価である。
本研究では,系統的バイアスと状態依存雑音を有する混合忠実第一次オラクルを用いた最適化により,この問題を考察する。
- 参考スコア（独自算出の注目度）: 8.203652449371559
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly used upstream of decision-making to clean data, detect label errors, and reconstruct missing values. Yet LLM-assisted data curation creates a new operational tradeoff: higher-fidelity models and richer prompts can be substantially more expensive, while the value of this additional fidelity depends on the downstream optimization accuracy. This raises the central question of this work: when should one pay for a better LLM, given a specific downstream task at hand? We study this question through stochastic optimization with mixed-fidelity first-order oracles, which can have systematic bias and state-dependent variance. We develop two cost-aware algorithmic frameworks that allow adaptive switching between stochastic oracles. With known bias, the first meta-algorithm applies a restarted, cost-aware policy that adaptively selects oracle fidelity across optimization stages. Its cumulative cost is no larger than that of the best fixed oracle in hindsight and can be substantially smaller. With unknown bias, we develop a budgeted certification scheme that uses occasional trusted-gradient evaluations to certify the optimization progress and eliminate unsuccessful oracle sources, and show an explicit tradeoff between certification cost and delayed detection of biased sources. We provide concrete realizations of these meta-algorithms by applying biased stochastic gradient extrapolation (SGE) and recursive regularization under state-dependent noise as subroutines. Synthetic and LLM-completion experiments illustrate the qualitative switching behavior predicted by the theory: the adaptive policy skips several expensive LLM oracles and substantially reduces cumulative cost relative to fixed high-fidelity alternatives while achieving comparable accuracy.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、データクリーニング、ラベルエラーの検出、欠落した値の再構築に、意思決定の上流でますます使われている。
高い忠実度モデルとよりリッチなプロンプトは、ダウンストリーム最適化の精度に依存するが、この追加の忠実度は、かなり高価である。
特定の下流タスクが手元にあるならば、いつより優れたLCMを支払わなければならないのか?
本研究では, 系統的バイアスと状態依存分散を有する混合忠実度1次オラクルを用いた確率的最適化により, この問題を考察する。
確率的オラクル間の適応的な切り替えを可能にする2つのコスト対応アルゴリズムフレームワークを開発する。
既知のバイアスでは、最初のメタアルゴリズムは、最適化段階を越えてオラクルの忠実度を適応的に選択する、再設計されたコスト認識ポリシーを適用している。
累積コストは、後方で最高の固定されたオラクルのそれよりも大きくなく、かなり小さくすることができる。
偏見が不明な場合には、信頼度の高い評価を用いて最適化の進捗を検証し、失敗するオラクルソースを除去し、検証コストとバイアスソースの遅延検出との間に明確なトレードオフを示す。
偏りのある確率勾配外挿法(SGE)と状態依存雑音下での再帰正則化をサブルーチンとして適用することにより,これらのメタアルゴリズムの具体的実現を実現する。
適応ポリシーはいくつかの高価なLCMオラクルをスキップし、固定された高忠実な代替品と比較して累積コストを大幅に削減し、同等の精度を達成する。
関連論文リスト
- Agentic Search for Counterfactual Recourse under Fixed LLM Budgets [0.033842793760651545]
Comp-MCTSは,独特なオラクル価の反事実の収量を最大化するエージェント木探索フレームワークである。
Comp-MCTSは、単一候補のLATSスタイルのベースラインよりも、独特なオラクル価の反事実の収率でかなり優れることを示す。
論文 参考訳（メタデータ） (2026-06-07T15:53:10Z) - Adaptive Test-Time Compute Allocation for Reasoning LLMs via Constrained Policy Optimization [18.737087162461563]
テストタイムの計算スケーリングは、大規模言語モデルのパフォーマンスを向上させるための強力なレバーとなっている。
しかし、これらのテクニックを有限の推論予算の下で展開するには、現在のシステムがほとんど無視する決定が必要である。
我々はこれを制約付き最適化問題(平均計算予算の予測精度を最大化する)として定式化し、2段階のソルベ・テン・ラーンパイプラインで解いた。
論文 参考訳（メタデータ） (2026-04-16T10:39:22Z) - Reinforcement Learning from Multi-Source Imperfect Preferences: Best-of-Both-Regimes Regret [71.69884486156359]
我々は, 累積的不完全化予算を用いて, エンフルティソースの不完全性選好からエピソードRLを考察した。
我々は,最良な登録行動を示す,後悔$tildeO(sqrtK/M+)$の統一アルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-03-20T19:34:53Z) - $\nabla$-Reasoner: LLM Reasoning via Test-Time Gradient Descent in Latent Space [71.23672814629448]
$nabla$-Reasonerは、トークンログに対する差別化可能な最適化をデコードループに統合する反復生成フレームワークである。
$nabla$-Reasonerは、挑戦的な数学的推論ベンチマークで20%以上の精度の向上を実現している。
論文 参考訳（メタデータ） (2026-03-05T08:42:54Z) - ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。
我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
論文 参考訳（メタデータ） (2026-02-27T05:22:01Z) - Supervised Optimism Correction: Be Confident When LLMs Are Sure [91.7459076316849]
教師付き微調整とオフライン強化学習の間には,新たな理論的関係が確立されている。
広く使われているビームサーチ法は、許容できない過度な最適化に悩まされていることを示す。
本稿では,トークンレベル$Q$-value推定のための簡易かつ効果的な補助的損失を導入したSupervised Optimism Correctionを提案する。
論文 参考訳（メタデータ） (2025-04-10T07:50:03Z) - Simplicity Prevails: Rethinking Negative Preference Optimization for LLM Unlearning [45.64632177923583]
本研究は、不要なデータの影響を取り除くことを目的として、大規模言語モデル(LLM)アンラーニングの問題を研究する。
未学習の需要が増えているにもかかわらず、技術的に地平線を画した最適化フレームワークは欠如している。
我々はSimNPOと呼ばれるシンプルで効果的なアンラーニング最適化フレームワークを提案し、参照モデルへの依存をなくすことによる「単純さ」がアンラーニングの恩恵をもたらすことを示した。
論文 参考訳（メタデータ） (2024-10-09T17:58:12Z) - Correcting the Mythos of KL-Regularization: Direct Alignment without Overoptimization via Chi-Squared Preference Optimization [78.82586283794886]
$chi2$-Preference Optimization(chi$PO)は、オーバー最適化に対して確実に堅牢なオフラインアライメントアルゴリズムである。
$chi$POは、正規化による不確実性に直面して悲観主義の原理を実装している。
$chi$POの単純さと強力な保証により、オーバー最適化に対して確実に堅牢な、実用的で汎用的なオフラインアライメントアルゴリズムとなった。
論文 参考訳（メタデータ） (2024-07-18T11:08:40Z) - $i$REPO: $i$mplicit Reward Pairwise Difference based Empirical Preference Optimization [12.266207199002604]
大規模言語モデル(LLM)は、人間の期待から外れた出力を生成することがある。
経験的選好最適化に暗黙的逆差分回帰を利用する,$i$REPO という新しいフレームワークを提案する。
i$REPOは, ソフトラベル, 自己生成応答, 経験的AIアノテータのロジットを用いて, 効果的に自己アライメントを実現することを示す。
論文 参考訳（メタデータ） (2024-05-24T05:42:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。