論文の概要: Characterizing Out-of-Distribution Error via Optimal Transport

• arxiv url: http://arxiv.org/abs/2305.15640v1
• Date: Thu, 25 May 2023 01:37:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 18:02:47.320423
• Title: Characterizing Out-of-Distribution Error via Optimal Transport
• Title（参考訳）: 最適輸送による分散誤差の特徴付け
• Authors: Yuzhe Lu, Yilong Qin, Runtian Zhai, Andrew Shen, Ketong Chen, Zhenlin Wang, Soheil Kolouri, Simon Stepputtis, Joseph Campbell, Katia Sycara
• Abstract要約: ラベルなしでOODデータ上でモデルの性能を予測する方法は、機械学習の安全性にとって重要である。 最適輸送理論を利用してモデル性能を推定する新しい手法を提案する。 提案手法は既存の最先端手法よりも最大3倍低い予測誤差で大幅に優れていることを示す。
• 参考スコア（独自算出の注目度）: 15.861534779938932
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Out-of-distribution (OOD) data poses serious challenges in deployed machine learning models, so methods of predicting a model's performance on OOD data without labels are important for machine learning safety. While a number of methods have been proposed by prior work, they often underestimate the actual error, sometimes by a large margin, which greatly impacts their applicability to real tasks. In this work, we identify pseudo-label shift, or the difference between the predicted and true OOD label distributions, as a key indicator to this underestimation. Based on this observation, we introduce a novel method for estimating model performance by leveraging optimal transport theory, Confidence Optimal Transport (COT), and show that it provably provides more robust error estimates in the presence of pseudo-label shift. Additionally, we introduce an empirically-motivated variant of COT, Confidence Optimal Transport with Thresholding (COTT), which applies thresholding to the individual transport costs and further improves the accuracy of COT's error estimates. We evaluate COT and COTT on a variety of standard benchmarks that induce various types of distribution shift -- synthetic, novel subpopulation, and natural -- and show that our approaches significantly outperform existing state-of-the-art methods with an up to 3x lower prediction error.
• Abstract（参考訳）: アウト・オブ・ディストリビューション(OOD)データは、デプロイされた機械学習モデルにおいて深刻な課題となるため、ラベルなしでOODデータ上でモデルのパフォーマンスを予測する方法は、機械学習の安全性にとって重要である。 先行研究によって多くの方法が提案されているが、しばしば実際のエラーを過小評価し、時には大きなマージンで、実際のタスクへの適用性に大きな影響を与えている。 本研究では,この過小評価の重要な指標として,擬似ラベルシフト,あるいは予測値と真のOODラベル分布の違いを同定する。 そこで本研究では, 最適輸送理論である信頼度最適輸送(cot)を活用し, モデル性能を推定する新しい手法を提案する。 さらに,個々の輸送コストにしきい値を適用するとともに,cotの誤差推定精度をさらに向上させるcotの実証的モチベーションである信頼度最適輸送法(cott)を導入する。 cot と cott は様々な分散シフトを誘導する様々な標準ベンチマーク -- 合成, 新規なサブポピュレーション, 自然 – で評価し, 既存の最先端手法を最大3倍低い予測誤差で大幅に上回ることを示した。

関連論文リスト

• Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [55.17761802332469]
  テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。 本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
  論文  参考訳（メタデータ） (2024-03-18T05:49:45Z)
• Distance Matters For Improving Performance Estimation Under Covariate Shift [18.68533487971233]
  データセットのシフトの下では、サンプルがトレーニング分布から遠すぎると、信頼性スコアが低下する可能性がある。 実験結果から期待するトレーニング分布までの距離を考慮に入れれば,性能評価が大幅に向上することを示す。 本研究では, 自然分布と合成分布の広範にわたる13の画像分類課題に対する本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-08-14T15:49:19Z)
• Predicting Out-of-Distribution Error with Confidence Optimal Transport [17.564313038169434]
  そこで本研究では,未知の分布におけるモデルの性能を付加アノテーションなしで予測する簡易かつ効果的な手法を提案する。 提案手法である信頼度最適輸送(COT)は,対象領域におけるモデルの性能を頑健に推定する。 その単純さにもかかわらず,提案手法は3つのベンチマークデータセットに対して最先端の結果を達成し,既存の手法よりも大きなマージンで性能を向上する。
  論文  参考訳（メタデータ） (2023-02-10T02:27:13Z)
• Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
  強靭性と精度のトレードオフは、敵文学において広く研究されている。 局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。 定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
  論文  参考訳（メタデータ） (2022-02-21T10:36:09Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• Robust Validation: Confident Predictions Even When Distributions Shift [19.327409270934474]
  本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。 本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。 私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
  論文  参考訳（メタデータ） (2020-08-10T17:09:16Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。