論文の概要: Provable Domain Generalization via Invariant-Feature Subspace Recovery
- arxiv url: http://arxiv.org/abs/2201.12919v1
- Date: Sun, 30 Jan 2022 21:22:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-01 15:09:41.641347
- Title: Provable Domain Generalization via Invariant-Feature Subspace Recovery
- Title（参考訳）: invariant-feature subspace recovery による証明可能領域の一般化
- Authors: Haoxiang Wang, Haozhe Si, Bo Li, Han Zhao
- Abstract要約: 本稿では,不変部分空間回復(ISR)を用いた領域一般化を提案する。
トレーニングIRMとは異なり、アルゴリズムは非変分問題をバイパスし、グローバルコンバージェンスを楽しむ。
さらに、実世界の3つの画像データセットにおいて、ISR-は単純で効果的な後処理法として利用できることを示す。
- 参考スコア（独自算出の注目度）: 18.25619572103648
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Domain generalization asks for models trained on a set of training
environments to perform well on unseen test environments. Recently, a series of
algorithms such as Invariant Risk Minimization (IRM) has been proposed for
domain generalization. However, Rosenfeld et al. (2021) shows that in a simple
linear data model, even if non-convexity issues are ignored, IRM and its
extensions cannot generalize to unseen environments with less than $d_s+1$
training environments, where $d_s$ is the dimension of the spurious-feature
subspace. In this paper, we propose to achieve domain generalization with
Invariant-feature Subspace Recovery (ISR). Our first algorithm, ISR-Mean, can
identify the subspace spanned by invariant features from the first-order
moments of the class-conditional distributions, and achieve provable domain
generalization with $d_s+1$ training environments under the data model of
Rosenfeld et al. (2021). Our second algorithm, ISR-Cov, further reduces the
required number of training environments to $O(1)$ using the information of
second-order moments. Notably, unlike IRM, our algorithms bypass non-convexity
issues and enjoy global convergence guarantees. Empirically, our ISRs can
obtain superior performance compared with IRM on synthetic benchmarks. In
addition, on three real-world image and text datasets, we show that ISR-Mean
can be used as a simple yet effective post-processing method to increase the
worst-case accuracy of trained models against spurious correlations and group
shifts.
- Abstract（参考訳）: ドメインの一般化は、未知のテスト環境でうまく機能するように訓練されたモデルを求めます。
近年、領域一般化のために不変リスク最小化(IRM)のような一連のアルゴリズムが提案されている。
しかし、Rosenfeld et al. (2021) は、単純な線形データモデルにおいて、非凸性問題が無視されたとしても、IRM とその拡張は、$d_s+1$ のトレーニング環境では、$d_s$ はスプリアス部分空間の次元である。
本稿では,Invariant-Feature Subspace Recovery (ISR) を用いた領域一般化を提案する。
最初のアルゴリズムである ISR-Mean は,クラス条件分布の1次モーメントから不変な特徴によって区切られた部分空間を同定し,ローゼンフェルドらのデータモデルの下で,$d_s+1$のトレーニング環境を用いて証明可能な領域一般化を実現する(2021)。
第2のアルゴリズムであるISR-Covは、2次モーメントの情報を用いて、必要なトレーニング環境を$O(1)$に削減する。
特に、ITMとは異なり、我々のアルゴリズムは非凸性問題をバイパスし、グローバル収束保証を享受する。
経験的に、我々のISRは、人工ベンチマークのIRMと比較して優れた性能を得ることができる。
さらに、実世界の3つの画像とテキストデータセットにおいて、ISR-Meanは、スプリアス相関やグループシフトに対するトレーニングモデルの最悪の精度を高めるために、単純で効果的な後処理方法として使用できることを示す。
関連論文リスト
- Invariant-Feature Subspace Recovery: A New Class of Provable Domain
Generalization Algorithms [14.248005245508432]
ドメインの一般化は、目に見えないテスト環境でうまく一般化するために、一連のトレーニング環境上でトレーニングされたモデルを要求する。
証明可能な回帰問題を実現するための新しいアルゴリズムであるサブスペースリカバリ(ISR)を提案する。
ISRはニューラルネットなどのニューラルネットのポストプロセッシング手法として使用できる。
論文 参考訳（メタデータ） (2023-11-02T03:24:55Z) - Out-Of-Domain Unlabeled Data Improves Generalization [0.7589678255312519]
本稿では,ラベルなしデータを半教師付き分類問題に組み込む新しい枠組みを提案する。
ラベルのないサンプルは一般化ギャップを狭めるために利用できることを示す。
我々は、さまざまな合成および実世界のデータセットで実施された実験を通じて、我々の主張を検証する。
論文 参考訳（メタデータ） (2023-09-29T02:00:03Z) - One-Shot Domain Adaptive and Generalizable Semantic Segmentation with
Class-Aware Cross-Domain Transformers [96.51828911883456]
セマンティックセグメンテーションのための教師なしのsim-to-realドメイン適応(UDA)は、シミュレーションデータに基づいて訓練されたモデルの実世界のテスト性能を改善することを目的としている。
従来のUDAは、適応のためのトレーニング中に利用可能なラベルのない実世界のサンプルが豊富にあると仮定することが多い。
実世界のデータサンプルが1つしか利用できない,一発の教師なしシム・トゥ・リアル・ドメイン適応(OSUDA)と一般化問題について検討する。
論文 参考訳（メタデータ） (2022-12-14T15:54:15Z) - A Relational Intervention Approach for Unsupervised Dynamics
Generalization in Model-Based Reinforcement Learning [113.75991721607174]
同じ環境に属する2つの推定$hatz_i, hatz_j$の確率を推定するための介入予測モジュールを導入する。
提案手法により推定される$hatZ$は,従来の方法よりも冗長な情報が少ないことを実証的に示す。
論文 参考訳（メタデータ） (2022-06-09T15:01:36Z) - Iterative Feature Matching: Toward Provable Domain Generalization with
Logarithmic Environments [55.24895403089543]
ドメインの一般化は、限られた数のトレーニング環境からのデータで、目に見えないテスト環境でうまく機能することを目的としています。
我々は,O(logd_s)$環境のみを見た後に一般化する予測器を高確率で生成することを保証する反復的特徴マッチングに基づく新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-18T04:39:19Z) - Adversarially Adaptive Normalization for Single Domain Generalization [71.80587939738672]
一般化正規化アプローチ,適応標準化と再スケーリング正規化(ASR-Norm)を提案する。
ASR-Normは、ニューラルネットワークを介して標準化と再スケーリングの統計学を学ぶ。
ASR-Normは最先端のADAアプローチに一貫した改善をもたらすことを示す。
論文 参考訳（メタデータ） (2021-06-01T23:58:23Z) - The Risks of Invariant Risk Minimization [52.7137956951533]
不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。
我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。
IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
論文 参考訳（メタデータ） (2020-10-12T14:54:32Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳（メタデータ） (2020-10-09T15:42:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。