論文の概要: IW-GAE: Importance weighted group accuracy estimation for improved
calibration and model selection in unsupervised domain adaptation
- arxiv url: http://arxiv.org/abs/2310.10611v1
- Date: Mon, 16 Oct 2023 17:35:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 12:39:28.189721
- Title: IW-GAE: Importance weighted group accuracy estimation for improved
calibration and model selection in unsupervised domain adaptation
- Title(参考訳): IW-GAE: 教師なし領域適応におけるキャリブレーションの改善とモデル選択のための重要重み付きグループ精度推定
- Authors: Taejong Joo, Diego Klabjan
- Abstract要約: モデルの信頼性を信頼性からテストサンプルに関連付けることは、機械学習における中心的な問題である。
本研究では,群精度推定器の開発により,分布変化から生じる課題に対処する。
- 参考スコア(独自算出の注目度): 16.29893120937094
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reasoning about a model's accuracy on a test sample from its confidence is a
central problem in machine learning, being connected to important applications
such as uncertainty representation, model selection, and exploration. While
these connections have been well-studied in the i.i.d. settings, distribution
shifts pose significant challenges to the traditional methods. Therefore, model
calibration and model selection remain challenging in the unsupervised domain
adaptation problem--a scenario where the goal is to perform well in a
distribution shifted domain without labels. In this work, we tackle
difficulties coming from distribution shifts by developing a novel importance
weighted group accuracy estimator. Specifically, we formulate an optimization
problem for finding an importance weight that leads to an accurate group
accuracy estimation in the distribution shifted domain with theoretical
analyses. Extensive experiments show the effectiveness of group accuracy
estimation on model calibration and model selection. Our results emphasize the
significance of group accuracy estimation for addressing challenges in
unsupervised domain adaptation, as an orthogonal improvement direction with
improving transferability of accuracy.
- Abstract(参考訳): 不確実性表現やモデル選択、探索といった重要な応用に結びついている機械学習において、モデルの信頼性を信頼度からテストサンプルに関連付けることが重要な問題である。
これらの接続はi.d.設定でよく研究されているが、分散シフトは従来の手法に重大な課題をもたらす。
したがって、ラベルのない分散シフトドメインでうまく機能することを目指す、教師なし領域適応問題において、モデルキャリブレーションとモデル選択は依然として困難である。
本研究では,新しい重要度重み付け群精度推定器を開発することで,分布シフトから生じる困難に対処する。
具体的には,分布シフト領域におけるグループ精度の正確な推定を理論的解析で導く重要な重みを求めるための最適化問題を定式化する。
モデルキャリブレーションとモデル選択におけるグループ精度推定の有効性を示す。
本研究は,教師なし領域適応における課題に対するグループ精度推定の意義を,精度の伝達性を向上させる直交改善方向として強調する。
関連論文リスト
- Towards Understanding Variants of Invariant Risk Minimization through the Lens of Calibration [0.6906005491572401]
実世界のアプリケーションでは、テスト分布はトレーニングとは異なることが多い。
不変リスク最小化(Invariant Risk Minimization)は、異なる環境間で不変な特徴を特定し、アウト・オブ・ディストリビューションを強化することを目的としている。
本研究では,これらの近似IRM手法について検討し,予測誤差(ECE)を指標として検討した。
論文 参考訳(メタデータ) (2024-01-31T02:08:43Z) - Cal-SFDA: Source-Free Domain-adaptive Semantic Segmentation with
Differentiable Expected Calibration Error [50.86671887712424]
ドメイン適応型セマンティックセグメンテーションの流行は、ソースドメインデータの漏洩に関する懸念を引き起こしている。
ソースデータの要求を回避するため、ソースフリーなドメイン適応が実現可能なソリューションとして登場した。
校正誘導型ソースフリーなドメイン適応型セマンティックセマンティックセマンティクスフレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-06T03:28:34Z) - Robustness, Evaluation and Adaptation of Machine Learning Models in the
Wild [4.304803366354879]
本研究では、ドメインシフトに対するロバスト性の障害の原因と、ドメインロバストモデルをトレーニングするためのアルゴリズムを提案する。
モデル脆性の鍵となる原因はドメイン過度な適合であり、新しいトレーニングアルゴリズムはドメイン一般仮説を抑え、奨励する。
論文 参考訳(メタデータ) (2023-03-05T21:41:16Z) - Pushing the Accuracy-Group Robustness Frontier with Introspective
Self-play [16.262574174989698]
Introspective Self-play (ISP)は、データセットバイアス下でのディープニューラルネットワークの不確実性推定を改善するための単純なアプローチである。
ISPはモデル表現のバイアス認識と結果の不確実性評価を確実に改善することを示す。
論文 参考訳(メタデータ) (2023-02-11T22:59:08Z) - Calibrated Selective Classification [38.01669058597009]
そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。
本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。
われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
論文 参考訳(メタデータ) (2022-08-25T13:31:09Z) - Predicting with Confidence on Unseen Distributions [90.68414180153897]
ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。
分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。
具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
論文 参考訳(メタデータ) (2021-07-07T15:50:18Z) - Learning Calibrated Uncertainties for Domain Shift: A Distributionally
Robust Learning Approach [150.8920602230832]
ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。
特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。
提案手法は下流タスクに有利な校正不確実性を生成する。
論文 参考訳(メタデータ) (2020-10-08T02:10:54Z) - Transferable Calibration with Lower Bias and Variance in Domain
Adaptation [139.4332115349543]
ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインへの学習マシンの転送を可能にする。
DAモデルの予測的不確実性を推定する方法は、安全クリティカルなシナリオにおける意思決定に不可欠である。
TransCalは既存のDAメソッドの校正に簡単に適用できる。
論文 参考訳(メタデータ) (2020-07-16T11:09:36Z) - Estimating Generalization under Distribution Shifts via Domain-Invariant
Representations [75.74928159249225]
未知の真のターゲットラベルのプロキシとして、ドメイン不変の予測器のセットを使用します。
結果として生じるリスク見積の誤差は、プロキシモデルのターゲットリスクに依存する。
論文 参考訳(メタデータ) (2020-07-06T17:21:24Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。