論文の概要: Domain-Specific Risk Minimization for Out-of-Distribution Generalization

• arxiv url: http://arxiv.org/abs/2208.08661v4
• Date: Wed, 24 May 2023 01:54:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 03:23:03.829523
• Title: Domain-Specific Risk Minimization for Out-of-Distribution Generalization
• Title（参考訳）: アウト・オブ・ディストリビューション・ジェネライゼーションのためのドメイン固有のリスク最小化
• Authors: Yi-Fan Zhang, Jindong Wang, Jian Liang, Zhang Zhang, Baosheng Yu, Liang Wang, Dacheng Tao, Xing Xie
• Abstract要約: まず、適応性ギャップを明示的に考慮した一般化境界を確立する。 本稿では,目標に対するより良い仮説の選択を導くための効果的なギャップ推定法を提案する。 もう1つの方法は、オンラインターゲットサンプルを用いてモデルパラメータを適応させることにより、ギャップを最小化することである。
• 参考スコア（独自算出の注目度）: 104.17683265084757
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent domain generalization (DG) approaches typically use the hypothesis learned on source domains for inference on the unseen target domain. However, such a hypothesis can be arbitrarily far from the optimal one for the target domain, induced by a gap termed ``adaptivity gap''. Without exploiting the domain information from the unseen test samples, adaptivity gap estimation and minimization are intractable, which hinders us to robustify a model to any unknown distribution. In this paper, we first establish a generalization bound that explicitly considers the adaptivity gap. Our bound motivates two strategies to reduce the gap: the first one is ensembling multiple classifiers to enrich the hypothesis space, then we propose effective gap estimation methods for guiding the selection of a better hypothesis for the target. The other method is minimizing the gap directly by adapting model parameters using online target samples. We thus propose \textbf{Domain-specific Risk Minimization (DRM)}. During training, DRM models the distributions of different source domains separately; for inference, DRM performs online model steering using the source hypothesis for each arriving target sample. Extensive experiments demonstrate the effectiveness of the proposed DRM for domain generalization with the following advantages: 1) it significantly outperforms competitive baselines on different distributional shift settings; 2) it achieves either comparable or superior accuracies on all source domains compared to vanilla empirical risk minimization; 3) it remains simple and efficient during training, and 4) it is complementary to invariant learning approaches.
• Abstract（参考訳）: 最近のドメイン一般化(dg)アプローチでは、通常、ソースドメインで学習した仮説を対象領域の未認識の推論に利用する。 しかし、そのような仮説は「適応ギャップ」と呼ばれるギャップによって誘導される対象領域の最適値から任意に離れることができる。 未発見のテストサンプルからドメイン情報を利用することなく、適応性ギャップの推定と最小化は難解であり、モデルから未知の分布への堅牢化を妨げます。 本稿ではまず適応性ギャップを明示的に考慮した一般化境界を確立する。 我々の境界はギャップを減らすための2つの戦略を動機付けている: 第一に、仮説空間を豊かにするために複数の分類器をアンサンブルし、目標に対するより良い仮説の選択を導く効果的なギャップ推定法を提案する。 もう1つの方法は、オンラインターゲットサンプルを用いてモデルパラメータを適応させることにより、ギャップを最小化することである。 そこで我々は,<textbf{Domain-specific Risk Minimization (DRM) を提案する。 トレーニング中、DRMは異なるソースドメインの分布を別々にモデル化する。 拡張実験は、ドメイン一般化のための提案されたDRMの有効性を以下の利点で示す。 1)異なる分布シフト設定における競合ベースラインを著しく上回っている。 2)バニラ経験的リスク最小化に比較して,すべてのソースドメインにおいて同等又は優れた精度を達成する。 3)訓練中もシンプルで効率的であり、 4)不変学習アプローチを補完する。

関連論文リスト

• Domain Agnostic Conditional Invariant Predictions for Domain Generalization [20.964740750976667]
  本稿では,識別リスク最小化(DRM)理論とそれに対応するアルゴリズムを提案する。 DRM理論では、ソース領域全体とそのサブセット間の予測分布の相違が、不変な特徴の獲得に寄与することを証明する。 我々は,複数の実世界のデータセット上での領域一般化手法に対するアルゴリズムの評価を行った。
  論文  参考訳（メタデータ） (2024-06-09T02:38:52Z)
• Unsupervised Domain Adaptation Based on the Predictive Uncertainty of Models [1.6498361958317636]
  非教師付きドメイン適応(UDA)は、ソースドメインからの分散シフトの下で、ターゲットドメインの予測性能を改善することを目的としている。 ドメインの発散を最小限に抑えるドメイン不変の特徴を学習する新しいUDA法を提案する。
  論文  参考訳（メタデータ） (2022-11-16T12:23:32Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• Distributionally Robust Domain Adaptation [12.02023514105999]
  ドメイン適応(DA: Domain Adaptation)は、ソースドメインとターゲットドメインをまたいだ学習モデルに適合する可能性から、最近大きな注目を集めている。 本稿では,分散ロバストな領域適応手法DRDAを提案する。
  論文  参考訳（メタデータ） (2022-10-30T17:29:22Z)
• Source-Free Domain Adaptation via Distribution Estimation [106.48277721860036]
  ドメイン適応は、ラベル付きソースドメインから学んだ知識を、データ分散が異なるラベル付きターゲットドメインに転送することを目的としています。 近年,ソースフリードメイン適応 (Source-Free Domain Adaptation, SFDA) が注目されている。 本研究では,SFDA-DEと呼ばれる新しいフレームワークを提案し,ソース分布推定によるSFDAタスクに対処する。
  論文  参考訳（メタデータ） (2022-04-24T12:22:19Z)
• KL Guided Domain Adaptation [88.19298405363452]
  ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-06-14T22:24:23Z)
• Regressive Domain Adaptation for Unsupervised Keypoint Detection [67.2950306888855]
  ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的とする。 本稿では,教師なしキーポイント検出のためのレグレッシブドメイン適応(RegDA)法を提案する。 提案手法は,異なるデータセット上のPCKにおいて,8%から11%の大幅な改善をもたらす。
  論文  参考訳（メタデータ） (2021-03-10T16:45:22Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。