Fugu-MT 論文翻訳(概要): Stop Guessing When to Stop Testing: Efficient Model Evaluation with Just Enough Data

論文の概要: Stop Guessing When to Stop Testing: Efficient Model Evaluation with Just Enough Data

arxiv url: http://arxiv.org/abs/2607.08522v1
Date: Thu, 09 Jul 2026 14:17:03 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-10 14:45:27.561811
Title: Stop Guessing When to Stop Testing: Efficient Model Evaluation with Just Enough Data
Title（参考訳）: テストを止めるときのガイダンスをやめる - 十分なデータによる効率的なモデル評価
Abstract要約: モデル評価において、効率性と信頼性の間のトレードオフをナビゲートする原則的な方法を提供する。本フレームワークは、シーケンシャルテストの確立された統計的パラダイムと、共通の評価ニーズに合わせた停止基準を組み合わせたものである。我々は,Open VLM Leaderboard上で効率-信頼性トレードオフを適応的に管理する能力を示す。
参考スコア（独自算出の注目度）: 19.652133288960318
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The inherent rigidity of fixed-size benchmarks makes them an inefficient tool for model evaluation. Diverse evaluation objectives, including model ranking, model selection and testing throughout development, demand varying levels of statistical power. The mismatch between fixed sample sizes and these diverse needs results in either excessive computational cost or compromised reliability - a critical concern for model evaluation. To overcome these limitations, we call for adoption of sequential testing in our field. We provide an adaptive evaluation framework, that provides a principled way to navigate the trade-off between efficiency and reliability in model evaluation. Our framework combines the established statistical paradigm of sequential testing with stopping criteria tailored to common evaluation needs such as diminishing returns detection, and minimum detectable effect size. We demonstrate its ability to adaptively manage the efficiency-reliability trade-off on the Open VLM Leaderboard, including, for example, a 80% reduction in computational cost compared to fixed-size evaluation (with a 2.5-point CI width allowance) while maintaining statistical significance.
Abstract（参考訳）: 固定サイズベンチマークの固有の剛性は、モデル評価の非効率なツールとなる。モデルランキング、モデル選択、開発全体を通してのテストを含む、さまざまな評価目標が、様々なレベルの統計力を必要としている。固定されたサンプルサイズとこれらの多様なニーズのミスマッチは、過剰な計算コストまたは妥協された信頼性をもたらす。これらの制限を克服するために、私たちはこの分野でシーケンシャルなテストの採用を求めます。我々は、モデル評価における効率性と信頼性の間のトレードオフをナビゲートする原則的な方法を提供する適応評価フレームワークを提供する。本フレームワークは、逐次テストの確立された統計的パラダイムと、リターン検出の減少や最小検出可能な効果サイズなど、一般的な評価ニーズに合わせた停止基準を組み合わせる。我々は,Open VLM Leaderboard上で効率-信頼性トレードオフを適応的に管理する能力を示し,例えば,統計的意義を維持しつつ,固定サイズ評価(2.5ポイントCI幅の許容範囲)と比較して,計算コストの80%削減を図っている。

関連論文リスト

CollabEval: Statistically Efficient Collaborative Model Evaluation via Matrix Completion [65.53153291902454]
コラボレーティブ・アセスメント(CollabEval)は、異なるモデルの歴史的実行間の依存関係を同じタスクで活用し、統計的効率を改善するための、シンプルで効果的で原則化された方法である。スコア行列の低ランク近似を構築し、再構成された値を用いて真の評価基準平均の偏りのない推定を保証します。その結果,CollabEval では,平均信頼区間サイズと点推定値の平均2乗誤差を,同じアノテーション予算における基準手法と比較して大幅に削減できることがわかった。
論文参考訳（メタデータ） (2026-07-06T13:22:04Z)
DualEval: Joint Model-Item Calibration for Unified LLM Evaluation [67.99119926012686]
DualEvalは、モデルと評価項目を共有空間で表現する潜在モデルイテムキャリブレーションフレームワークである。我々はDualEvalを、コーディング、数学、雑多なドメイン知識タスク、汎用的な日常的なユーザクエリの4つの領域にまたがって適用する。
論文参考訳（メタデータ） (2026-06-24T22:40:46Z)
Fault-Tolerant Evaluation for Sample-Efficient Model Performance Estimators [13.227055178509524]
本稿では, バイアスと分散を考慮した耐障害性評価フレームワークを提案する。我々は、$varepsilon$の適切なキャリブレーションにより、異なる分散状態の信頼性が保証されることを示す。実世界のデータセットの実験は、我々のフレームワークが推定器の振る舞いに関する包括的で実行可能な洞察を提供することを示した。
論文参考訳（メタデータ） (2026-02-06T22:14:46Z)
Scales++: Compute Efficient Evaluation Subset Selection with Cognitive Scales Embeddings [23.9553588103042]
本稿では,タスク項目自体の本質的な特性に基づいて選択を行うことを論じ,サブセット選択をベンチマークする項目中心のアプローチを提案する。 Scales++は、競争力のある予測忠実性を達成しながら、事前選択コストを18倍以上削減します。この項目中心のアプローチは,忠実度を著しく低下させることなく,より効率的なモデル評価を可能にすることを実証する。
論文参考訳（メタデータ） (2025-10-30T11:28:58Z)
ARISE: An Adaptive Resolution-Aware Metric for Test-Time Scaling Evaluation in Large Reasoning Models [102.4511331368587]
ARISE(Adaptive Resolution-Aware Scaling Evaluation)は、大規模推論モデルの試験時間スケーリングの有効性を評価するために設計された新しい尺度である。我々は、様々な領域にわたる最先端の推論モデルを評価する包括的な実験を行う。
論文参考訳（メタデータ） (2025-10-07T15:10:51Z)
Cer-Eval: Certifiable and Cost-Efficient Evaluation Framework for LLMs [29.764833226591012]
本稿では,大規模言語モデル(LLM)の検証と費用対効果評価フレームワークを提案する。テストサンプル複雑性'を用いて、認定された評価に必要なテストポイント数を定量化し、テストサンプル複雑性の厳密な境界を導出します。開発した理論に基づいて,LLM評価のコストを最小限に抑えるために,テストポイントを適応的に選択する分割型アルゴリズムCer-Evalを開発した。
論文参考訳（メタデータ） (2025-05-02T17:05:01Z)
A Conformal Approach to Feature-based Newsvendor under Model Misspecification [2.801095519296785]
共形予測にインスパイアされたモデルフリーで分散フリーなフレームワークを提案する。ワシントンD.C.のCapital Bikeshareプログラムのシミュレーションデータと実世界のデータセットを用いて,我々のフレームワークを検証する。
論文参考訳（メタデータ） (2024-12-17T18:34:43Z)
A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
大規模言語モデル(LLM)のための最初の形式的確率的評価フレームワークを紹介する。すなわち,モデルの出力分布に関する確率保証の高い新しい指標を提案する。私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
論文参考訳（メタデータ） (2024-10-04T15:44:23Z)
A Framework for Efficient Model Evaluation through Stratification, Sampling, and Estimation [17.351089059392674]
本稿では,階層化,サンプリング,推定を含むモデル評価のためのフレームワークを提案する。モデル性能の正確な予測に基づいて,k平均クラスタリングによる成層化を行うことで,効率的に推定できることを示す。また、データセットのラベル付けされていない部分におけるモデル精度の予測を利用するモデル支援推定器は、一般的に従来の推定値よりも効率的であることがわかった。
論文参考訳（メタデータ） (2024-06-11T14:49:04Z)
QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文参考訳（メタデータ） (2023-11-06T00:21:44Z)
Position: AI Evaluation Should Learn from How We Test Humans [65.36614996495983]
人間の評価のための20世紀起源の理論である心理測定は、今日のAI評価における課題に対する強力な解決策になり得る、と我々は主張する。
論文参考訳（メタデータ） (2023-06-18T09:54:33Z)
GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
論文参考訳（メタデータ） (2023-04-19T14:58:27Z)
Effective Robustness against Natural Distribution Shifts for Models with Different Training Data [113.21868839569]
効果的ロバスト性」は、分配内(ID)性能から予測できる以上の余分な分配外ロバスト性を測定する。異なるデータに基づいてトレーニングされたモデルの有効ロバスト性を評価・比較するための新しい評価指標を提案する。
論文参考訳（メタデータ） (2023-02-02T19:28:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。