論文の概要: Direct-Effect Risk Minimization for Domain Generalization
- arxiv url: http://arxiv.org/abs/2211.14594v1
- Date: Sat, 26 Nov 2022 15:35:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-29 15:48:55.692035
- Title: Direct-Effect Risk Minimization for Domain Generalization
- Title（参考訳）: ドメイン一般化のための直接効果リスク最小化
- Authors: Yuhui Li, Zejia Wu, Chao Zhang, Hongyang Zhang
- Abstract要約: 本稿では、因果推論による直接的および間接的効果の概念を領域一般化問題に導入する。
直接効果を学習するモデルは、相関シフトしたドメイン間で最悪のケースリスクを最小限に抑えると我々は主張する。
5つの相関シフトデータセットとDomainBedベンチマークの実験により、我々のアプローチの有効性が検証された。
- 参考スコア（独自算出の注目度）: 11.105832297850188
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the problem of out-of-distribution (o.o.d.) generalization where
spurious correlations of attributes vary across training and test domains. This
is known as the problem of correlation shift and has posed concerns on the
reliability of machine learning. In this work, we introduce the concepts of
direct and indirect effects from causal inference to the domain generalization
problem. We argue that models that learn direct effects minimize the worst-case
risk across correlation-shifted domains. To eliminate the indirect effects, our
algorithm consists of two stages: in the first stage, we learn an
indirect-effect representation by minimizing the prediction error of domain
labels using the representation and the class label; in the second stage, we
remove the indirect effects learned in the first stage by matching each data
with another data of similar indirect-effect representation but of different
class label. We also propose a new model selection method by matching the
validation set in the same way, which is shown to improve the generalization
performance of existing models on correlation-shifted datasets. Experiments on
5 correlation-shifted datasets and the DomainBed benchmark verify the
effectiveness of our approach.
- Abstract（参考訳）: 属性の散発的相関がトレーニングドメインとテストドメインによって異なる分散(o.o.d.)一般化の問題について検討する。
これは相関シフトの問題として知られ、機械学習の信頼性に懸念をもたらしている。
本研究では,因果推論による直接的および間接的効果の概念を領域一般化問題に導入する。
直接効果を学習するモデルは、相関シフトしたドメイン間で最悪のケースリスクを最小限に抑えている。
間接効果を排除するため,本アルゴリズムは2段階からなる。第1段階では,表現とクラスラベルを用いて,ドメインラベルの予測誤差を最小限に抑えて間接効果表現を学習し,第2段階では,各データを類似した間接効果表現の他のデータとマッチングすることで,第1段階において得られた間接効果を除去する。
また, 相関シフトデータセット上の既存モデルの一般化性能を向上させるために, 検証セットを同じように一致させることで, 新たなモデル選択手法を提案する。
5つの相関シフトデータセットとDomainBedベンチマークの実験により、我々のアプローチの有効性が検証された。
関連論文リスト
- SALUDA: Surface-based Automotive Lidar Unsupervised Domain Adaptation [62.889835139583965]
我々は、ソースデータとターゲットデータに基づいて、暗黙の基盤となる表面表現を同時に学習する教師なし補助タスクを導入する。
両方のドメインが同じ遅延表現を共有しているため、モデルは2つのデータソース間の不一致を許容せざるを得ない。
実験の結果,本手法は実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-
論文 参考訳（メタデータ） (2023-04-06T17:36:23Z) - Algorithms and Theory for Supervised Gradual Domain Adaptation [19.42476993856205]
本研究では, 学習者に対して, 学習経路に沿った変化分布からラベル付きデータを利用できるようにするための, 教師付き段階的領域適応の課題について検討する。
この設定の下では、軽度な仮定の下で学習誤差に関する最初の一般化上限を提供する。
本研究の結果は, 損失関数の範囲に依存しないアルゴリズムであり, 軌道上の平均学習誤差にのみ依存する。
論文 参考訳（メタデータ） (2022-04-25T13:26:11Z) - Disentanglement and Generalization Under Correlation Shifts [22.499106910581958]
実世界のデータでは、変動要因間の相関が一般的である。
機械学習アルゴリズムは、ノイズの多いデータに対する予測性能を高めることができるため、そのような相関を利用する利点がある。
潜在部分空間の様々な要因を捉える表現を学習することを目的としている。
論文 参考訳（メタデータ） (2021-12-29T18:55:17Z) - Instrumental Variable-Driven Domain Generalization with Unobserved
Confounders [53.735614014067394]
ドメイン一般化(Domain Generalization, DG)は、複数のソースドメインから、目に見えないターゲットドメインをうまく一般化できるモデルを学ぶことを目的としている。
観測不能な共同創設者のバイアスを2段階学習で除去し,インストゥルメンタル変数駆動型DG法(IV-DG)を提案する。
第1段階では、あるドメインの入力特徴の条件分布を他のドメインの入力特徴の条件分布として学習する。
第2段階では,ラベルと学習条件分布の関係を推定する。
論文 参考訳（メタデータ） (2021-10-04T13:32:57Z) - SelfReg: Self-supervised Contrastive Regularization for Domain
Generalization [7.512471799525974]
対照的学習,自己教師付きコントラスト正規化(SelfReg)に基づく領域一般化のための新しい正規化手法を提案する。
提案手法は正のデータペアのみを用いるため,負のペアサンプリングによって生じる様々な問題を解消する。
最近のベンチマークであるDomainBedでは、提案手法は従来の最先端技術に匹敵する性能を示している。
論文 参考訳（メタデータ） (2021-04-20T09:08:29Z) - Domain Adaptative Causality Encoder [52.779274858332656]
我々は,適応因果同定と局所化の課題に対処するために,依存木の特徴と敵対学習を活用する。
我々は、テキストにあらゆる種類の因果関係を統合する新しい因果関係データセット、MedCausを提案する。
論文 参考訳（メタデータ） (2020-11-27T04:14:55Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳（メタデータ） (2020-10-09T15:42:35Z) - Adaptively-Accumulated Knowledge Transfer for Partial Domain Adaptation [66.74638960925854]
部分ドメイン適応(PDA)は、ソースドメインラベル空間がターゲットドメインを置き換えるとき、現実的で困難な問題を扱う。
本稿では,2つの領域にまたがる関連カテゴリを整合させる適応的知識伝達フレームワーク(A$2KT)を提案する。
論文 参考訳（メタデータ） (2020-08-27T00:53:43Z) - Adaptive Risk Minimization: Learning to Adapt to Domain Shift [109.87561509436016]
ほとんどの機械学習アルゴリズムの基本的な前提は、トレーニングとテストデータは、同じ基礎となる分布から引き出されることである。
本研究では,学習データをドメインに構造化し,複数のテスト時間シフトが存在する場合の領域一般化の問題点について考察する。
本稿では、適応リスク最小化(ARM)の枠組みを紹介し、モデルがトレーニング領域に適応することを学ぶことで、効果的な適応のために直接最適化される。
論文 参考訳（メタデータ） (2020-07-06T17:59:30Z) - Selecting Data Augmentation for Simulating Interventions [12.848239550098693]
純粋に観察データで訓練された機械学習モデルと経験的リスクの原則は、目に見えない領域に一般化することができない。
我々は、データ拡張の成功を説明するために、観察されたドメインとタスクラベルの急激な相関を弱める方法を説明するために、因果的概念を用いることができると論じる。
論文 参考訳（メタデータ） (2020-05-04T21:33:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。