論文の概要: Sharp Limits for Honest Uncertainty in Hard-Budget Repeated Evaluation
- arxiv url: http://arxiv.org/abs/2609.29140v1
- Date: Thu, 24 Sep 2026 07:15:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.766941
- Title: Sharp Limits for Honest Uncertainty in Hard-Budget Repeated Evaluation
- Title（参考訳）: ハード・バジェット・リピート評価における誠実な不確かさに対するシャープ・リミット
- Abstract要約: 繰り返し評価は、狭義の不確実性を証明するためにまだ複製を必要としながら、ベンチマークスコアを正確に推定することができる。
私たちは、その要求を、ハード予算$(M+t)K$の下で、タスク毎に$L$のバイナリパスを持つ$M$タスクの固定グリッド上で特徴付けます。
固定された$L ge 3$と$0 le 1/12$の場合、最悪の純粋なコホート上での最適の期待幅は、すべてのタスクが観測されたときに$_,L([M(t+1)]-1/2)$で、$_,L([M(t+1)]-1/2)である。
- 参考スコア（独自算出の注目度）: 10.008162829029862
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Repeated evaluation can estimate a benchmark score accurately while still requiring replication to certify narrow uncertainty. We characterize that requirement on a fixed grid of $M$ tasks with $L$ binary paths per task under the hard budget $(M+t)K$, where each path costs at most $K$ responses or episodes. For fixed $L \ge 3$ and $0 < α\le 1/12$, the optimal expected width on the worst pure cohort is $Θ_{α,L}([M(t+1)]^{-1/2})$ when every task is observed and $Θ_{α,L}([M(t+\sqrt{M})]^{-1/2})$ when omission is allowed. The lower bounds cover adaptive hard-budget policies, and fixed random-subset designs attain both rates through disagreement certificates. A joint mean/disagreement interval turns the task-covering law into practical finite-budget inference. In an equal-budget LiveCodeBench replay with 16 models, 880 tasks, and five outputs per task, the task-covering design reduces median point-estimation MSE by 87.0\% relative to pooled uniform sampling, while the Joint certificate produces narrower confidence intervals in 15/16 panels and reduces median interval width by 30.6\%. Finite-regime analyses identify task coverage as the effective choice at the evaluated scale and characterize how cohort size and within-task agreement determine the useful operating region. Together, the sharp laws and fixed-budget evidence make replication and task coverage explicit design variables for information-efficient repeated evaluation.
- Abstract（参考訳）: 繰り返し評価は、狭義の不確実性を証明するためにまだ複製を必要としながら、ベンチマークスコアを正確に推定することができる。
ハード予算$(M+t)K$でタスク毎のバイナリパスが$L$で、各パスは最大で$K$のレスポンスやエピソードでコストがかかる。
固定された$L \ge 3$と$0 < α\le 1/12$の場合、最悪の純コホート上での最適の期待幅は、全てのタスクが観測されたときに$(M(t+1)]^{-1/2})$、省略が許されたときに$(M(t+\sqrt{M})]^{-1/2})$である。
下限は適応的なハード予算政策をカバーし、固定されたランダム・サブセット設計は不一致証明書を通じて両方のレートを達成する。
結合平均/分解間隔は、タスク被覆法則を実用的な有限予算推論に変換する。
16のモデル、880のタスク、5のタスクによる等予算のLiveCodeBenchリプレイでは、タスクカバレッジ設計により、プールされた均一サンプリングと比較して中央値のポイント推定MSEを87.0\%削減し、ジョイント証明書は15/16パネルでより狭い信頼区間を生成し、中央値のインターバル幅を30.6\%削減する。
評価尺度におけるタスクカバレッジを有効選択として識別し,コホートサイズとタスク内合意が有用な操作領域をどのように決定するかを特徴付ける。
鋭い法則と固定予算の証拠は、情報効率の反復評価のために、複製とタスクカバレッジを明確に設計変数を作成する。
関連論文リスト
- Observation Design for Certified Control Authority: Projection--Estimability Separation and Active-Face Equivalence [2.7954473524479275]
ゲートは認証可能なアクションのみを実行し、その観測がサポートするもののみを認証する。
本稿では,安全な行動の集合を最大化するために,どのように観測を設計すべきかを問う。
論文 参考訳（メタデータ） (2026-09-05T07:57:04Z) - Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions [51.50375419691955]
分布的に堅牢なマルコフ決定プロセスは、モデルの不確実性の下でのシーケンシャルな意思決定のための原則化されたフレームワークを提供する。
我々は,平均回帰基準の下で,$varepsilon$-Optimal robust policyを学習するのに必要なサンプル数と十分なサンプル数について検討した。
論文 参考訳（メタデータ） (2026-08-06T19:49:48Z) - Contaminated Multi-task Learning with Heterogeneity: Fundamental Limits and Optimal Algorithms [5.54992643082602]
汚染されたマルチタスクの実験的リスク最小化フレームワークについて検討する。
我々の目標は、平均リスクの世界的な最小化とタスク固有の最小化の両方を見積もることです。
計算効率の良いフィルタリングに基づくロバストなマルチタスク勾配勾配法を提案する。
論文 参考訳（メタデータ） (2026-07-02T18:23:41Z) - A Spectral Phase Diagram for Binary Few-Shot Classification: Intrinsic Dimensionality, Geometric Saturation, and Representational Diagnosis [0.0]
飽和指数 $S(K) = operatornameerank(widehat_W(K)) / K$ は、プールされたクラス内サンプルの有効ランクとショットカウントとの比を測る。
インデックスはサポート機能だけで$O(d3)$ timeで計算可能で、テストラベルやトレーニングされた分類子を必要としない。
論文 参考訳（メタデータ） (2026-06-12T16:46:24Z) - Tight Convergence Rates for Online Distributed Linear Estimation with Adversarial Measurements [66.94250413799232]
分散パラメータ-サーバ-ワーカー設定における乱数ベクトル$X$の推定について検討する。
主な課題は、敵の計測と非同期である。
その結果, 分散線形推定におけるロバスト性, 識別性, 統計的効率の統一的有限時間評価が得られた。
論文 参考訳（メタデータ） (2026-04-07T11:45:55Z) - LLM-as-Judge on a Budget [35.393598355979385]
多武装バンディット理論と濃度不等式を利用する原理的分散適応アプローチを提案する。
本アルゴリズムは, 最悪値推定誤差が$tildeOleft(sqrtfracsum_i=1K_i2Bright)$であることを示す。
emphSummarize-From-Feedback と emphHelpSteer2 の実験により,本手法が一様アロケーションを著しく上回ることを示した。
論文 参考訳（メタデータ） (2026-02-17T10:35:41Z) - Almost Asymptotically Optimal Active Clustering Through Pairwise Observations [59.20614082241528]
そこで本研究では, ノイズと能動的に収集された応答を用いて, M$アイテムを未知数の$K$個別グループにクラスタリングするための新しい分析フレームワークを提案する。
クラスタリングの精度に対する望ましい信頼性を達成するのに必要なクエリ数の基本的下位境界を確立する。
我々は、一般化された同値比統計の計算可能な変種を開発し、その下限に対する性能ギャップを正確に推定できることを実証的に示す。
論文 参考訳（メタデータ） (2026-02-05T14:16:47Z) - From Continual Learning to SGD and Back: Better Rates for Continual Linear Models [50.11453013647086]
以前見られたタスクの損失を、$k$の繰り返しの後、忘れること、すなわち、分析する。
実現可能な最小二乗の設定において、新しい最上界を創出する。
我々は、タスクを繰り返しないランダム化だけで、十分に長いタスクシーケンスで破滅的な事態を防げることを初めて証明した。
論文 参考訳（メタデータ） (2025-04-06T18:39:45Z) - Test-Time Regret Minimization in Meta Reinforcement Learning [28.710895687701353]
マルコフ決定過程を通じてモデル化されたタスクの有限集合を様々なダイナミクスで考える。
未知のテストタスクにおける最適方針に対する後悔の最小化に焦点を当てる。
論文 参考訳（メタデータ） (2024-06-04T12:56:10Z) - On the Sample Complexity of Representation Learning in Multi-task
Bandits with Global and Local structure [77.60508571062958]
マルチタスク・バンディット問題に対する最適アーム学習の複雑さについて検討した。
アームは2つのコンポーネントで構成されます。1つはタスク間で共有され(表現と呼ばれます)、もう1つはタスク固有のもの(予測器と呼ばれます)です。
サンプルの複雑さが下界に近づき、最大で$H(Glog(delta_G)+ Xlog(delta_H))$でスケールするアルゴリズムOSRL-SCを考案する。
論文 参考訳（メタデータ） (2022-11-28T08:40:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。