論文の概要: Mean Accuracy Is the Wrong Estimand for a Release Decision

• arxiv url: http://arxiv.org/abs/2610.16825v1
• Date: Mon, 12 Oct 2026 14:08:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:23:38.071502
• Title: Mean Accuracy Is the Wrong Estimand for a Release Decision
• Title（参考訳）: 平均的正確さはリリース決定の誤った推定値
• Abstract要約: 平均精度に基づく出荷モデルは、デプロイメント失敗予算の10%に対して、その時間の48.0%を侵害していることを示す。 我々は,厳密な有限サンプル二項境界を用いてリランテール故障率を直接証明する評価フレームワークであるtextbfrecipeカードを導入する。
• 参考スコア（独自算出の注目度）: 6.697434198956543
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A release decision about a fine-tuned model is an operational commitment about the \emph{next} rerun of its training recipe. Yet standard benchmark reporting gives only the mean accuracy of past seeds. These target fundamentally different questions: release decisions depend on catastrophic tail risk, whereas standard evaluation reports only central tendency. Because fine-tuning induces bimodal mode collapse, high average accuracy frequently conceals severe failure rates. Auditing $2\,124$ fine-tuned models across eleven language models, we show that shipping models based on mean accuracy violates a $10\%$ deployment failure budget $48.0\%$ of the time. Common heuristics like $\bar b - 2σ$ prove equally dangerous: by underestimating variance on small samples, they become most permissive when evidence is weakest. We introduce \textbf{recipe cards}, an evaluation framework that directly certifies rerun tail failure rates using exact finite-sample binomial bounds. Recipe cards reduce held-out budget violations to $0.6\%$, enforce a mathematical sample floor ($N \ge 22$) that prevents certification on thin evidence, and explicitly refuse unverified claims under domain and task shifts.
• Abstract（参考訳）: 微調整されたモデルに関するリリース決定は、トレーニングレシピの‘emph{next}’再実行に関する運用上のコミットメントである。 しかし、標準的なベンチマークレポートでは、過去の種子の平均的な正確さしか示されていない。 リリース決定は破滅的な尾のリスクに依存するが、標準的な評価では中心的な傾向しか報告されない。 微調整はバイモーダルモードの崩壊を引き起こすため、高い平均精度はしばしば深刻な故障率を隠蔽する。 11の言語モデルにわたる2,124ドルの微調整モデルを見てみると、平均精度に基づく出荷モデルは、その時間のデプロイメント障害予算である48.0.%を10セントで破っていることがわかる。 $\bar b - 2σ$ のような一般的なヒューリスティックは、小さなサンプルの分散を過小評価することで、証拠が最も弱いときに最も許容される。 本稿では,有限サンプル二項境界を用いた再実行障害率を直接証明する評価フレームワークである「textbf{recipe card}」を紹介する。 準備カードは、保留中の予算違反を0.6.%に減らし、薄い証拠の認証を阻止する数学的サンプルフロア(N \ge 22$)を強制し、ドメインとタスクシフトの根拠のない請求を明示的に拒否する。

関連論文リスト

• Laya as a Typed Probabilistic Assessor: An Independent Reproduction and a Preregistered Study of Calibration and Selective Escalation [0.010480658740597679]
  カードはリスクを過信とみなし、測定された方向は逆であり、その方向は、自信に満ちたカスケードのどちらが失敗するかを決定する。 1つの不整合温度は、誤校正の大部分を取り除き、出荷されたオプション単位のテーブルを上回っている。 E1の再現は解析凍結に先行し、E2-E8は前向きに事前登録され、22の検査のうち20の検査はBenjamini-Hochberg FDRの下で$q5$(2 descoped)で拒絶された。
  論文  参考訳（メタデータ） (2026-09-27T18:53:26Z)
• Conformal Cascade: Distribution-Free Accuracy Guarantees for Multi-Tier LLM Inference [6.094431019524038]
  大規模言語モデル(LLM)のカスケードは、簡単なクエリを小さなモデルにルーティングし、ハードクエリを大きなモデルに遅延することで、推論コストを削減する。 我々は,多層推論フレームワークであるtextbfConformal Cascade (CC) を導入する。
  論文  参考訳（メタデータ） (2026-07-27T19:19:58Z)
• Embedding Foundation Model Predictions in Discrete-Choice Models with Structural Guarantees [12.709654635425442]
  タブラル基礎モデルは選択予測タスクにおいて高い精度を達成するが、その予測は経済論理に反することが多い。 本稿では,基礎モデルの予測選択確率を事前計算機能として利用し,それを多項ロジットユーティリティに組み込む2段階アダプタを提案する。 この構成は多項ロジットの置換率を正確に保存していることを証明し、解析的に計算可能な値が数学的保証となる。
  論文  参考訳（メタデータ） (2026-06-24T22:44:29Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
  言語モデル(LM)は、自然言語生成において有望な性能を示している。 与えられた入力に応答する際の不確実性を正確に定量化することは重要である。 我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-04-04T02:31:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。