論文の概要: Estimating Performance for Safe Deployment of Machine Learning Models

• arxiv url: http://arxiv.org/abs/2610.29262v1
• Date: Wed, 21 Oct 2026 06:13:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.257349
• Title: Estimating Performance for Safe Deployment of Machine Learning Models
• Title（参考訳）: 機械学習モデルの安全なデプロイのためのパフォーマンス推定
• Abstract要約: ラベルのないテストデータを用いて性能を推定するMOVAL(MOdel eVALuation)ツールを紹介した。 MOVALはモデル出力を調整するためにクラスワイドの信頼性校正を取り入れており、精度以上のメトリクスを推定することができる。 精度、F1スコア、AUCなど、さまざまな評価指標の最先端の結果を達成している。
• 参考スコア（独自算出の注目度）: 22.039911266174116
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The main challenge in applying deep neural networks to real-world scenarios lies in distributional discrepancies between training and test datasets, often caused by variations in data acquisition conditions. Assessing the performance of pre-trained models without labels is crucial for safety, but this is complicated by deep models' overly optimistic probabilistic outputs, often exacerbated by class imbalances, leading to unreliable predictions. To address these issues, we introduce MOVAL, a novel MOdel eVALuation tool that estimates performance using unlabeled test data. MOVAL incorporates class-wise confidence calibration to adjust model outputs, allowing for the estimation of metrics beyond accuracy and mitigating the detrimental effects of class imbalance on confidence calibration. Additionally, we propose an ensemble approach that combines multiple calibrated confidence scores for a more robust solution. We validate MOVAL on natural and medical image datasets with various acquisition shifts, covering tasks from classification to segmentation. It achieves state-of-the-art results across evaluation metrics such as accuracy, F1-Score, AUC, and more. Furthermore, we demonstrate that MOVAL provides accurate performance estimations at the class, instance, and pixel levels, ensuring the transparent and safe deployment of machine learning models. We provide MOVAL as a deployment tool for monitoring and estimating performance under a range of domain shifts.
• Abstract（参考訳）: ディープニューラルネットワークを現実世界のシナリオに適用する際の大きな課題は、トレーニングとテストデータセット間の分散的な差異であり、多くの場合、データ取得条件のバリエーションによって引き起こされる。 ラベルなしで事前訓練されたモデルの性能を評価することは安全性にとって重要であるが、これは深層モデルの過度に楽観的な確率的出力によって複雑であり、しばしばクラス不均衡によって悪化し、信頼できない予測をもたらす。 これらの問題に対処するために、未ラベルのテストデータを用いて性能を推定するMOVALという新しいMOdel eVALuationツールを紹介する。 MOVALは、モデル出力を調整するためにクラスワイド信頼度校正を取り入れており、精度を超えてメトリクスを推定し、クラスの不均衡が信頼度校正にもたらす有害な影響を軽減することができる。 さらに,複数の校正された信頼スコアを組み合わせ,より堅牢な解を求めるアンサンブル手法を提案する。 我々はMOVALを、分類からセグメンテーションまでのタスクをカバーし、様々な取得シフトを伴う自然および医療画像データセット上で検証する。 精度、F1スコア、AUCなど、さまざまな評価指標の最先端の結果を達成している。 さらに、MOVALは、クラス、インスタンス、ピクセルレベルでの正確なパフォーマンス推定を提供し、機械学習モデルの透過的かつ安全なデプロイを保証することを実証する。 ドメインシフトの範囲でパフォーマンスを監視および推定するためのデプロイメントツールとして,MOVALを提供する。

関連論文リスト

• CALICO: Confident Active Learning with Integrated Calibration [11.978551396144532]
  トレーニングプロセス中にサンプル選択に使用される信頼度を自己校正するALフレームワークを提案する。 ラベル付きサンプルが少ないソフトマックス分類器と比較して,分類性能が向上した。
  論文  参考訳（メタデータ） (2024-07-02T15:05:19Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• Provable Robustness for Streaming Models with a Sliding Window [51.85182389861261]
  オンラインコンテンツレコメンデーションや株式市場分析のようなディープラーニングアプリケーションでは、モデルは過去のデータを使って予測を行う。 入力ストリーム上の固定サイズのスライディングウインドウを使用するモデルに対して、ロバスト性証明を導出する。 私たちの保証は、ストリーム全体の平均モデルパフォーマンスを保ち、ストリームサイズに依存しないので、大きなデータストリームに適しています。
  論文  参考訳（メタデータ） (2023-03-28T21:02:35Z)
• Estimating Model Performance under Domain Shifts with Class-Specific Confidence Scores [25.162667593654206]
  不均衡なデータセットのパフォーマンス推定の枠組みの中で,クラスワイドキャリブレーションを導入する。 我々は、4つのタスクの実験を行い、提案した修正により、不均衡なデータセットの推定精度を一貫して改善する。
  論文  参考訳（メタデータ） (2022-07-20T15:04:32Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
  テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。 最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。 モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-18T17:55:11Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)
• On the Role of Dataset Quality and Heterogeneity in Model Confidence [27.657631193015252]
  安全クリティカルなアプリケーションは、正確で校正された確率を出力する機械学習モデルを必要とする。 未分類のディープネットワークは、過度に信頼された予測をすることが知られている。 本研究では,データセットサイズとラベルノイズがモデルの信頼性に与える影響について検討した。
  論文  参考訳（メタデータ） (2020-02-23T05:13:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。