論文の概要: Robustness, Evaluation and Adaptation of Machine Learning Models in the
Wild
- arxiv url: http://arxiv.org/abs/2303.02781v1
- Date: Sun, 5 Mar 2023 21:41:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-07 17:48:15.173903
- Title: Robustness, Evaluation and Adaptation of Machine Learning Models in the
Wild
- Title（参考訳）: 野生における機械学習モデルのロバスト性、評価、適応
- Authors: Vihari Piratla
- Abstract要約: 本研究では、ドメインシフトに対するロバスト性の障害の原因と、ドメインロバストモデルをトレーニングするためのアルゴリズムを提案する。
モデル脆性の鍵となる原因はドメイン過度な適合であり、新しいトレーニングアルゴリズムはドメイン一般仮説を抑え、奨励する。
- 参考スコア（独自算出の注目度）: 4.304803366354879
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Our goal is to improve reliability of Machine Learning (ML) systems deployed
in the wild. ML models perform exceedingly well when test examples are similar
to train examples. However, real-world applications are required to perform on
any distribution of test examples. Current ML systems can fail silently on test
examples with distribution shifts. In order to improve reliability of ML models
due to covariate or domain shift, we propose algorithms that enable models to:
(a) generalize to a larger family of test distributions, (b) evaluate accuracy
under distribution shifts, (c) adapt to a target distribution. We study causes
of impaired robustness to domain shifts and present algorithms for training
domain robust models. A key source of model brittleness is due to domain
overfitting, which our new training algorithms suppress and instead encourage
domain-general hypotheses. While we improve robustness over standard training
methods for certain problem settings, performance of ML systems can still vary
drastically with domain shifts. It is crucial for developers and stakeholders
to understand model vulnerabilities and operational ranges of input, which
could be assessed on the fly during the deployment, albeit at a great cost.
Instead, we advocate for proactively estimating accuracy surfaces over any
combination of prespecified and interpretable domain shifts for performance
forecasting. We present a label-efficient estimation to address estimation over
a combinatorial space of domain shifts. Further, when a model's performance on
a target domain is found to be poor, traditional approaches adapt the model
using the target domain's resources. Standard adaptation methods assume access
to sufficient labeled resources, which may be impractical for deployed models.
We initiate a study of lightweight adaptation techniques with only unlabeled
data resources with a focus on language applications.
- Abstract（参考訳）: 私たちの目標は、荒野にデプロイされた機械学習(ML)システムの信頼性を改善することです。
テスト例が列車例と似ている場合、MLモデルは極めてよく機能する。
しかし、実世界のアプリケーションはテスト例の任意の分布で実行する必要がある。
現在のMLシステムは、分散シフトのあるテスト例で静かに失敗する可能性がある。
共変量や領域シフトによるmlモデルの信頼性を向上させるために,モデルを実現するアルゴリズムを提案する。
(a)より大きな種類の試験分布に一般化する。
(b)分布シフトによる精度の評価
(c)ターゲット分布に適応する。
ドメインシフトに対するロバスト性を損なう原因と、ドメインロバストモデルをトレーニングするためのアルゴリズムについて検討する。
モデル脆性の鍵となる原因はドメイン過度な適合であり、新しいトレーニングアルゴリズムはドメイン一般仮説を抑え、奨励する。
特定の問題設定のための標準的なトレーニング手法よりも堅牢性を向上させる一方で、MLシステムの性能はドメインシフトとともに大幅に変化します。
開発者や利害関係者はモデル脆弱性や運用範囲の入力を理解することが重要です。
代わりに、性能予測のための事前定義された領域シフトと解釈可能な領域シフトの組み合わせに対して、積極的に精度を推定することを提唱する。
本稿では,ドメインシフトの組合せ空間上でのアドレス推定のためのラベル効率の推定について述べる。
さらに、対象ドメインにおけるモデルのパフォーマンスが低くなると、従来のアプローチでは、対象ドメインのリソースを使用してモデルを適用する。
標準的な適応手法は十分なラベル付きリソースへのアクセスを前提としており、これはデプロイされたモデルでは実用的ではない。
言語アプリケーションに焦点をあてた、ラベルのないデータリソースのみを用いた軽量適応手法の研究を開始する。
関連論文リスト
- Distributionally Robust Post-hoc Classifiers under Prior Shifts [31.237674771958165]
本研究では,クラスプライヤやグループプライヤの分布の変化による変化に頑健なトレーニングモデルの問題点について検討する。
本稿では,事前学習モデルからの予測に対するスケーリング調整を行う,非常に軽量なポストホック手法を提案する。
論文 参考訳（メタデータ） (2023-09-16T00:54:57Z) - Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-03T07:45:53Z) - Fairness and Accuracy under Domain Generalization [10.661409428935494]
機械学習アルゴリズムが特定の社会グループに偏っているのではないかという懸念が持ち上がっている。
MLモデルを公平にするための多くのアプローチが提案されているが、トレーニングとデプロイメントにおけるデータ分散が同一であるという仮定に依存しているのが一般的である。
本研究では,テスト時のデータのサンプル化が可能な領域一般化の下でのフェアネスと精度の両面について検討する。
論文 参考訳（メタデータ） (2023-01-30T23:10:17Z) - Addressing Distribution Shift at Test Time in Pre-trained Language
Models [3.655021726150369]
State-of-the-the-art pre-trained Language Model (PLM)は、多くの言語処理タスクに適用された場合、他のモデルよりも優れている。
PLMは分散シフト下で性能が低下することが判明した。
本研究では,分散シフト下での試験時間におけるPLMの性能を向上させる手法を提案する。
論文 参考訳（メタデータ） (2022-12-05T16:04:54Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳（メタデータ） (2020-10-09T15:42:35Z) - Adaptive Risk Minimization: Learning to Adapt to Domain Shift [109.87561509436016]
ほとんどの機械学習アルゴリズムの基本的な前提は、トレーニングとテストデータは、同じ基礎となる分布から引き出されることである。
本研究では,学習データをドメインに構造化し,複数のテスト時間シフトが存在する場合の領域一般化の問題点について考察する。
本稿では、適応リスク最小化(ARM)の枠組みを紹介し、モデルがトレーニング領域に適応することを学ぶことで、効果的な適応のために直接最適化される。
論文 参考訳（メタデータ） (2020-07-06T17:59:30Z) - Estimating Generalization under Distribution Shifts via Domain-Invariant
Representations [75.74928159249225]
未知の真のターゲットラベルのプロキシとして、ドメイン不変の予測器のセットを使用します。
結果として生じるリスク見積の誤差は、プロキシモデルのターゲットリスクに依存する。
論文 参考訳（メタデータ） (2020-07-06T17:21:24Z) - Do We Really Need to Access the Source Data? Source Hypothesis Transfer
for Unsupervised Domain Adaptation [102.67010690592011]
Unsupervised adaptUDA (UDA) は、ラベル付きソースデータセットから学んだ知識を活用して、新しいラベル付きドメインで同様のタスクを解決することを目的としている。
従来のUDAメソッドは、モデルに適応するためには、通常、ソースデータにアクセスする必要がある。
この作業は、訓練済みのソースモデルのみが利用できる実践的な環境に取り組み、ソースデータなしでそのようなモデルを効果的に活用してUDA問題を解決する方法に取り組みます。
論文 参考訳（メタデータ） (2020-02-20T03:13:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。