論文の概要: ODP-Bench: Benchmarking Out-of-Distribution Performance Prediction
- arxiv url: http://arxiv.org/abs/2510.27263v1
- Date: Fri, 31 Oct 2025 08:03:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-03 17:52:16.030921
- Title: ODP-Bench: Benchmarking Out-of-Distribution Performance Prediction
- Title（参考訳）: ODP-Bench: アウト・オブ・ディストリビューションのパフォーマンス予測のベンチマーク
- Authors: Han Yu, Kehan Li, Dongbai Li, Yue He, Xingxuan Zhang, Peng Cui,
- Abstract要約: Out-of-Distribution (OOD)パフォーマンス予測は、未ラベルのテストデータセット上でトレーニングされたモデルのパフォーマンスを予測することを目的としている。
OODデータセットと既存の実用的な性能予測アルゴリズムを含む総合ベンチマークであるOut-of-Distribution Performance Prediction Benchmark (ODP-Bench)を提案する。
我々は、将来の研究者のためのテストベンチとしてトレーニングされたモデルを提供し、比較の一貫性を保証し、モデルのトレーニングプロセスの繰り返しの負担を回避する。
- 参考スコア（独自算出の注目度）: 29.953921358142477
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, there has been gradually more attention paid to Out-of-Distribution (OOD) performance prediction, whose goal is to predict the performance of trained models on unlabeled OOD test datasets, so that we could better leverage and deploy off-the-shelf trained models in risk-sensitive scenarios. Although progress has been made in this area, evaluation protocols in previous literature are inconsistent, and most works cover only a limited number of real-world OOD datasets and types of distribution shifts. To provide convenient and fair comparisons for various algorithms, we propose Out-of-Distribution Performance Prediction Benchmark (ODP-Bench), a comprehensive benchmark that includes most commonly used OOD datasets and existing practical performance prediction algorithms. We provide our trained models as a testbench for future researchers, thus guaranteeing the consistency of comparison and avoiding the burden of repeating the model training process. Furthermore, we also conduct in-depth experimental analyses to better understand their capability boundary.
- Abstract（参考訳）: 最近、未ラベルのOODテストデータセット上でのトレーニング済みモデルのパフォーマンスを予測することを目的として、アウト・オブ・ディストリビューション(OOD)のパフォーマンス予測に徐々に注意が払われています。
この分野では進展が見られたが、以前の文献では評価プロトコルは矛盾しており、ほとんどの研究は現実世界のOODデータセットの限られた数と分布シフトのタイプをカバーしているだけである。
本稿では,OODデータセットと既存の実用的な性能予測アルゴリズムを含む総合ベンチマークであるOut-of-Distribution Performance Prediction Benchmark (ODP-Bench)を提案する。
我々は、将来の研究者のためのテストベンチとしてトレーニングされたモデルを提供し、比較の一貫性を保証し、モデルのトレーニングプロセスの繰り返しの負担を回避する。
さらに,その能力境界をよりよく理解するために,詳細な実験分析を行う。
関連論文リスト
- RewardBench 2: Advancing Reward Model Evaluation [71.65938693914153]
リワードモデルは、好みのデータからニュアンスされた信号をキャプチャするために、言語モデルの訓練後を通して使用される。
コミュニティは報酬モデルを評価するためのベストプラクティスを確立し始めている。
本稿では,新しいマルチスキル報酬モデルベンチマークであるRewardBench 2を紹介する。
論文 参考訳（メタデータ） (2025-06-02T17:54:04Z) - Forecasting with Deep Learning: Beyond Average of Average of Average Performance [0.393259574660092]
予測モデルの評価と比較の現在のプラクティスは、パフォーマンスを1つのスコアにまとめることに集中しています。
複数の視点からモデルを評価するための新しいフレームワークを提案する。
このフレームワークの利点は、最先端のディープラーニングアプローチと古典的な予測手法を比較して示す。
論文 参考訳（メタデータ） (2024-06-24T12:28:22Z) - Do-GOOD: Towards Distribution Shift Evaluation for Pre-Trained Visual
Document Understanding Models [68.12229916000584]
本研究では,文書画像関連タスクの微粒化解析のためのDO-GOOD(Out-of-distriion)ベンチマークを開発した。
次に、ロバスト性を評価し、5つの最新のVDU事前学習モデルと2つの典型的なOOD一般化アルゴリズムのきめ細かい解析を行う。
論文 参考訳（メタデータ） (2023-06-05T06:50:42Z) - Prediction-Oriented Bayesian Active Learning [51.426960808684655]
予測情報ゲイン(EPIG)は、パラメータではなく予測空間における情報ゲインを測定する。
EPIGは、さまざまなデータセットやモデルにわたるBALDと比較して、予測パフォーマンスが向上する。
論文 参考訳（メタデータ） (2023-04-17T10:59:57Z) - Effective Robustness against Natural Distribution Shifts for Models with
Different Training Data [113.21868839569]
効果的ロバスト性」は、分配内(ID)性能から予測できる以上の余分な分配外ロバスト性を測定する。
異なるデータに基づいてトレーニングされたモデルの有効ロバスト性を評価・比較するための新しい評価指標を提案する。
論文 参考訳（メタデータ） (2023-02-02T19:28:41Z) - Towards Realistic Out-of-Distribution Detection: A Novel Evaluation
Framework for Improving Generalization in OOD Detection [14.541761912174799]
本稿では,OOD(Out-of-Distribution)検出のための新しい評価フレームワークを提案する。
より現実的な設定で機械学習モデルのパフォーマンスを評価することを目的としている。
論文 参考訳（メタデータ） (2022-11-20T07:30:15Z) - How Useful are Gradients for OOD Detection Really? [5.459639971144757]
Out of Distribution(OOD)検出は、リアルタイムアプリケーションに高性能な機械学習モデルをデプロイする上で重要な課題である。
OOD検出のための勾配法を詳細に解析し,比較する。
本稿では,OOD検出における性能と計算効率の両面において,従来のベースラインよりも向上した汎用的,非段階的なOOD検出手法を提案する。
論文 参考訳（メタデータ） (2022-05-20T21:10:05Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - BEDS-Bench: Behavior of EHR-models under Distributional Shift--A
Benchmark [21.040754460129854]
OOD設定下でのEHRデータ上でのMLモデルの振る舞いを定量化するベンチマークであるBEDS-Benchをリリースする。
BEDS-Bench の学習アルゴリズムを複数評価した結果,一般に分布シフト下での一般化性能の低下が判明した。
論文 参考訳（メタデータ） (2021-07-17T05:53:24Z) - Towards More Fine-grained and Reliable NLP Performance Prediction [85.78131503006193]
NLPタスクのパフォーマンス予測の改善に2つの貢献をしている。
まず,F1やBLEUのような総合的な精度測定のための性能予測器について検討する。
次に,信頼区間とキャリブレーションの2つの角度から性能予測モデルの信頼性を理解する手法を提案する。
論文 参考訳（メタデータ） (2021-02-10T15:23:20Z) - Learning Prediction Intervals for Model Performance [1.433758865948252]
モデル性能の予測間隔を計算する手法を提案する。
我々は,幅広いドリフト条件におけるアプローチを評価し,競合ベースラインよりも大幅に改善することを示す。
論文 参考訳（メタデータ） (2020-12-15T21:32:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。