論文の概要: Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach

• arxiv url: http://arxiv.org/abs/2010.05784v4
• Date: Tue, 6 Feb 2024 03:53:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 21:52:32.763840
• Title: Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach
• Title（参考訳）: ドメインシフトのための校正不確かさの学習:分散ロバスト学習アプローチ
• Authors: Haoxuan Wang, Zhiding Yu, Yisong Yue, Anima Anandkumar, Anqi Liu, Junchi Yan
• Abstract要約: ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。 特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。 提案手法は下流タスクに有利な校正不確実性を生成する。
• 参考スコア（独自算出の注目度）: 150.8920602230832
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a framework for learning calibrated uncertainties under domain shifts, where the source (training) distribution differs from the target (test) distribution. We detect such domain shifts via a differentiable density ratio estimator and train it together with the task network, composing an adjusted softmax predictive form concerning domain shift. In particular, the density ratio estimation reflects the closeness of a target (test) sample to the source (training) distribution. We employ it to adjust the uncertainty of prediction in the task network. This idea of using the density ratio is based on the distributionally robust learning (DRL) framework, which accounts for the domain shift by adversarial risk minimization. We show that our proposed method generates calibrated uncertainties that benefit downstream tasks, such as unsupervised domain adaptation (UDA) and semi-supervised learning (SSL). On these tasks, methods like self-training and FixMatch use uncertainties to select confident pseudo-labels for re-training. Our experiments show that the introduction of DRL leads to significant improvements in cross-domain performance. We also show that the estimated density ratios align with human selection frequencies, suggesting a positive correlation with a proxy of human perceived uncertainties.
• Abstract（参考訳）: 本稿では,対象(テスト)分布とソース(トレーニング)分布が異なる領域シフトの下で校正不確かさを学習するためのフレームワークを提案する。 このような領域シフトを、微分密度比推定器を用いて検出し、タスクネットワークと共に訓練し、ドメインシフトに関する調整されたソフトマックス予測形式を構成する。 特に、密度比の推定は、ターゲット(テスト)サンプルのソース(トレーニング)分布との密接性を反映している。 我々はタスクネットワークにおける予測の不確実性を調整するためにそれを用いる。 この密度比を利用するという考え方は、相対的リスク最小化によるドメインシフトを考慮に入れた分布的ロバスト学習(DRL)フレームワークに基づいている。 提案手法は,非教師付きドメイン適応 (UDA) や半教師付き学習 (SSL) などの下流タスクに有効な校正不確実性を生成する。 これらのタスクでは、セルフトレーニングやFixMatchのようなメソッドが不確実性を使用して、再トレーニングのための確実な疑似ラベルを選択する。 実験の結果,DRLの導入はドメイン間性能の大幅な向上につながることがわかった。 また,推定密度比は人間の選択頻度と一致し,不確かさの指標との正の相関が示唆された。

関連論文リスト

• Optimal Aggregation of Prediction Intervals under Unsupervised Domain Shift [9.387706860375461]
  分散シフトは、基礎となるデータ生成プロセスが変化したときに発生し、モデルの性能のずれにつながる。 予測間隔は、その基礎となる分布によって引き起こされる不確実性を特徴づける重要なツールとして機能する。 予測区間を集約し,最小の幅と対象領域を適切にカバーする手法を提案する。
  論文  参考訳（メタデータ） (2024-05-16T17:55:42Z)
• Towards Robust and Interpretable EMG-based Hand Gesture Recognition using Deep Metric Meta Learning [37.21211404608413]
  本稿では,意味的かつ解釈可能な表現の作成を監督するために,EMG PRにおける深層メートル法メタラーニングへのシフトを提案する。 我々は、不正確な決定をよりよく拒否する頑健なクラス近接性に基づく信頼度推定器を導出する。
  論文  参考訳（メタデータ） (2024-04-17T23:37:50Z)
• Bi-discriminator Domain Adversarial Neural Networks with Class-Level Gradient Alignment [87.8301166955305]
  そこで本研究では,クラスレベルのアライメントアライメントを有するバイディミネータドメイン対向ニューラルネットワークを提案する。 BACGは、領域分布の整合性を改善するために勾配信号と二階確率推定を利用する。 さらに、対照的な学習にインスパイアされ、トレーニングプロセスを大幅に短縮できるメモリバンクベースの変種であるFast-BACGを開発した。
  論文  参考訳（メタデータ） (2023-10-21T09:53:17Z)
• Source-free Unsupervised Domain Adaptation for Blind Image Quality Assessment [20.28784839680503]
  既存の学習ベースのブラインド画像品質評価法(BIQA)は、大量の注釈付きトレーニングデータに大きく依存している。 本稿では,ソースフリーな非教師付きドメイン適応(SFUDA)への第一歩を,シンプルで効率的な方法で進める。 本稿では、BNアフィンパラメータのターゲット領域への適応を導くための、十分に設計された自己教師対象のグループを示す。
  論文  参考訳（メタデータ） (2022-07-17T09:42:36Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Boosting Unsupervised Domain Adaptation with Soft Pseudo-label and Curriculum Learning [19.903568227077763]
  教師なしドメイン適応(UDA)は、完全にラベル付けされたソースドメインからのデータを活用することにより、ラベル付けされていないターゲットドメインの分類性能を向上させる。 ソフトな擬似ラベル戦略を用いてモデル予測の欠陥を大幅に低減するモデルに依存しない2段階学習フレームワークを提案する。 第2段階では,2つのドメインの損失間の重み付けを適応的に制御するカリキュラム学習戦略を提案する。
  論文  参考訳（メタデータ） (2021-12-03T14:47:32Z)
• KL Guided Domain Adaptation [88.19298405363452]
  ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-06-14T22:24:23Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Calibrated Prediction with Covariate Shift via Unsupervised Domain Adaptation [25.97333838935589]
  不確実性推定は、自律的なエージェントや人間の意思決定者が予測モデルを理解し、活用するのを助ける重要なツールである。 既存のアルゴリズムは確実性を過大評価し、予測モデルに誤った自信を与える可能性がある。
  論文  参考訳（メタデータ） (2020-02-29T20:31:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。