論文の概要: Which LLM for Which Work? Budgeted Model Allocation under Uncertain Evaluation
- arxiv url: http://arxiv.org/abs/2608.29560v1
- Date: Sun, 30 Aug 2026 05:00:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.996475
- Title: Which LLM for Which Work? Budgeted Model Allocation under Uncertain Evaluation
- Title（参考訳）: どの LLM が機能するのか? 不確実性評価下における予算モデル配置
- Abstract要約: 証拠と整合したすべての品質表で、1つの代入が最適かどうかを問う。
固定予算問題に対して、これは正確に2つの解決証明書を付与する: 推定テーブルで1回、最低テーブルで1回解決する。
- 参考スコア（独自算出の注目度）: 13.385373310554327
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A company with a fixed artificial intelligence (AI) budget must decide which large language model (LLM) handles each recurring workload. What it lacks is the quality table, how well each model performs on each workload. Given that table, the decision is a multiple-choice knapsack problem and is routine to solve, so estimating it is the difficulty, and that estimation fails in two ways. Models are rarely compared on the same work, and the recorded score is usually a proxy rather than the outcome the company values. Causal and off-policy methods repair the first but condition on the second, while evaluator-validation methods estimate the second but stop short of the decision. Worse, buying more re-evaluation cannot settle the second: randomization governs which requests are scored, not how a score is produced, so the table stays uncertain however much evaluation is purchased. Yet the deployment decision may still be determined even when the table is not. We therefore ask whether one assignment stays optimal across every quality table consistent with the evidence. For the fixed-budget problem, this admits an exact two-solve certificate: solve once at the estimated table and once at a least-favourable table. Agreement certifies the assignment; disagreement identifies the model-workload pairs where further evidence can matter. We propose CASE (causal active sequential experimentation), which targets evaluation to those pairs and repeats the test as evidence accumulates. On a production log, the measurement failure is the larger of the two: correcting assignment exactly still leaves most of the loss, and randomized re-evaluation does not remove it. In our experiments, the available evidence often does not determine the assignment. On paid software tasks, better information about model quality yields more savings than further optimization of the assignment on the same estimates.
- Abstract（参考訳）: 固定人工知能(AI)予算を持つ企業は、どの大きな言語モデル(LLM)が繰り返し発生するワークロードを処理するかを判断しなければならない。
欠けているのは、品質テーブル、各モデルがそれぞれのワークロードでどれだけうまく機能するかです。
この表を考えると、決定は多重選択的なknapsack問題であり、解決が常であるので、それを推定することが困難であり、その推定は2つの方法で失敗する。
モデルが同じ作業で比較されることはめったになく、記録されたスコアは通常、会社が評価する結果ではなく、プロキシである。
因果的および非政治的手法は第1の条件を第2の条件で修復し、評価者検証法は第2の条件を推定するが、決定は終了する。
さらに悪いことに、さらなる再評価の購入は2つめの解決には至らない: ランダム化は、どの要求が採点されたか、スコアが生成されたかではなく、どの要求が採点されたかを管理するため、テーブルは、たとえ多くの評価が購入されたとしても、不確実なままである。
しかし、テーブルがそうでない場合でも、デプロイメントの判断は決定される可能性がある。
したがって、1つの代入が証拠と整合した全ての品質表で最適であるかどうかを問う。
固定予算問題に対して、これは正確に2つの解決証明書を付与する: 推定テーブルで1回、最低テーブルで1回解決する。
意見の不一致は、さらなる証拠が問題となるモデルとワークロードのペアを特定する。
本稿では,これらのペアに対する評価を目標とし,エビデンスを蓄積するCASE(Causal Active Sequence Experimentation)を提案する。
運用ログでは、測定失敗は2つよりも大きい – 割り当ての修正は依然として損失の大部分をそのまま残しており、ランダム化された再評価は取り除かない。
私たちの実験では、利用可能な証拠は多くの場合、割り当てを決定できない。
有償ソフトウェアタスクでは、モデル品質に関するより良い情報は、同じ見積の割り当てのさらなる最適化よりも多くの節約をもたらす。
関連論文リスト
- Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection [51.39973047614183]
本稿では,適応型検証タスク選択によるLLMの効率向上のための新しい手法を提案する。
$textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTaskは、情報的タスクの選択と、部分的な評価からフルセットのパフォーマンスの推定という2つの課題に対処することで、ハーネスでバリデーションタスクを共進化させる。
論文 参考訳（メタデータ） (2026-08-20T15:24:54Z) - Measuring Reward Hacking and Reasoning-Answer Decoupling Under Position-Confounded Optimization [1.1316247605466565]
正解が常にオプションAである数学問題に対してGRPOを用いて言語モデルを訓練し、不偏解位置を持つ未知のテストセットで評価する。
Qwen2.5、Llama 3.x、Gemma-3のモデルでは、より小さなモデルではオプションAレートが0.90を超えている。
有能なモデルは、Aを選択しながら正しい数値解に到達した推論を生成する。
論文 参考訳（メタデータ） (2026-08-15T23:13:57Z) - Accuracy and Order Sensitivity Diverge Under Label-Free Strategies [4.127762845164668]
複数選択ベンチマークは、大きな言語モデルを評価するために広く使われている。
複数の選択は、選択順序に対する感度で知識を分割する。
本稿では,モデルが回答をコミットしながらオプションラベルを見るのを防ぐことが,位置の影響を除去するかどうかを検証する。
論文 参考訳（メタデータ） (2026-08-12T11:34:45Z) - Thinking Hard, Not Smart: Reasoning Models Fail to Ration Test-Time Compute Across Questions [59.21329728895449]
この設定を研究するための試験スタイル評価フレームワークを導入する。
モデルは、さまざまな困難と価値に関する質問に対して、戦略的に共通の予算を割り当てることに失敗している。
これらの知見は, 従来の調査単位の評価では得られない, 個別の能力として, グローバルな予算配分を確立した。
論文 参考訳（メタデータ） (2026-08-08T07:04:28Z) - CollabEval: Statistically Efficient Collaborative Model Evaluation via Matrix Completion [65.53153291902454]
コラボレーティブ・アセスメント(CollabEval)は、異なるモデルの歴史的実行間の依存関係を同じタスクで活用し、統計的効率を改善するための、シンプルで効果的で原則化された方法である。
スコア行列の低ランク近似を構築し、再構成された値を用いて真の評価基準平均の偏りのない推定を保証します。
その結果,CollabEval では,平均信頼区間サイズと点推定値の平均2乗誤差を,同じアノテーション予算における基準手法と比較して大幅に削減できることがわかった。
論文 参考訳（メタデータ） (2026-07-06T13:22:04Z) - Efficient Ensemble Selection from Binary and Pairwise Feedback [32.05855919168298]
マルチウィンナー投票の分布変種として選択問題を考察する。
我々は、正しい/間違った結果のタスクに対する二項フィードバックと、候補出力を優先的に比較したタスクに対するペアフィードバックの両方を解析する。
本稿では,全情報最適化はPTASを許容するが,Gap-ETHの下ではEPPTASを含まないことを示し,目的はモノトーンだが部分モジュラーではないことを示す。
論文 参考訳（メタデータ） (2026-05-10T15:01:34Z) - Abduct, Act, Predict: Scaffolding Causal Inference for Automated Failure Attribution in Multi-Agent Systems [20.846301581161978]
マルチエージェントシステムにおける障害帰属は、批判的だが未解決の課題である。
現在の手法では、これを長い会話ログ上のパターン認識タスクとして扱う。
A2P Scaffoldingは、パターン認識から構造化因果推論タスクへの障害帰属を変換する。
論文 参考訳（メタデータ） (2025-09-12T16:51:15Z) - A Principled Approach to Randomized Selection under Uncertainty: Applications to Peer Review and Grant Funding [61.86327960322782]
本稿では,各項目の品質の間隔推定に基づくランダム化意思決定の枠組みを提案する。
最適化に基づく最適化手法であるMERITを導入する。
MERITが既存のアプローチで保証されていない望ましい公理特性を満たすことを証明している。
論文 参考訳（メタデータ） (2025-06-23T19:59:30Z) - SureMap: Simultaneous Mean Estimation for Single-Task and Multi-Task Disaggregated Evaluation [75.56845750400116]
分散評価(disaggregated evaluation) -- 異なるサブポピュレーション上での機械学習モデルのパフォーマンスの推定 - は、AIシステムのパフォーマンスとグループフェアネスを評価する上で、中核的なタスクである。
ブラックボックスモデルの評価において,マルチタスクとシングルタスクの双方に対して高い推定精度を持つSureMapを開発した。
提案手法は, ウェル・チョーゼンを用いた最大後部推定と, スタインの非バイアスリスク推定(SURE)によるクロスバリデーションフリーチューニングを併用する。
論文 参考訳（メタデータ） (2024-11-14T17:53:35Z) - Temporal-Difference Value Estimation via Uncertainty-Guided Soft Updates [110.92598350897192]
Q-Learningは、制御タスクを実行するポリシーを学ぶのに効果的であることが証明されている。
推定ノイズは、政策改善ステップにおける最大演算子の後、バイアスとなる。
UQL(Unbiased Soft Q-Learning)は、2つのアクション、有限状態空間からマルチアクション、無限状態マルコフ決定プロセスまで、EQLの作業を拡張する。
論文 参考訳（メタデータ） (2021-10-28T00:07:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。