論文の概要: Provable Domain Generalization via Invariant-Feature Subspace Recovery

• arxiv url: http://arxiv.org/abs/2201.12919v1
• Date: Sun, 30 Jan 2022 21:22:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 15:09:41.641347
• Title: Provable Domain Generalization via Invariant-Feature Subspace Recovery
• Title（参考訳）: invariant-feature subspace recovery による証明可能領域の一般化
• Authors: Haoxiang Wang, Haozhe Si, Bo Li, Han Zhao
• Abstract要約: 本稿では,不変部分空間回復(ISR)を用いた領域一般化を提案する。 トレーニングIRMとは異なり、アルゴリズムは非変分問題をバイパスし、グローバルコンバージェンスを楽しむ。 さらに、実世界の3つの画像データセットにおいて、ISR-は単純で効果的な後処理法として利用できることを示す。
• 参考スコア（独自算出の注目度）: 18.25619572103648
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain generalization asks for models trained on a set of training environments to perform well on unseen test environments. Recently, a series of algorithms such as Invariant Risk Minimization (IRM) has been proposed for domain generalization. However, Rosenfeld et al. (2021) shows that in a simple linear data model, even if non-convexity issues are ignored, IRM and its extensions cannot generalize to unseen environments with less than $d_s+1$ training environments, where $d_s$ is the dimension of the spurious-feature subspace. In this paper, we propose to achieve domain generalization with Invariant-feature Subspace Recovery (ISR). Our first algorithm, ISR-Mean, can identify the subspace spanned by invariant features from the first-order moments of the class-conditional distributions, and achieve provable domain generalization with $d_s+1$ training environments under the data model of Rosenfeld et al. (2021). Our second algorithm, ISR-Cov, further reduces the required number of training environments to $O(1)$ using the information of second-order moments. Notably, unlike IRM, our algorithms bypass non-convexity issues and enjoy global convergence guarantees. Empirically, our ISRs can obtain superior performance compared with IRM on synthetic benchmarks. In addition, on three real-world image and text datasets, we show that ISR-Mean can be used as a simple yet effective post-processing method to increase the worst-case accuracy of trained models against spurious correlations and group shifts.
• Abstract（参考訳）: ドメインの一般化は、未知のテスト環境でうまく機能するように訓練されたモデルを求めます。 近年、領域一般化のために不変リスク最小化(IRM)のような一連のアルゴリズムが提案されている。 しかし、Rosenfeld et al. (2021) は、単純な線形データモデルにおいて、非凸性問題が無視されたとしても、IRM とその拡張は、$d_s+1$ のトレーニング環境では、$d_s$ はスプリアス部分空間の次元である。 本稿では,Invariant-Feature Subspace Recovery (ISR) を用いた領域一般化を提案する。 最初のアルゴリズムである ISR-Mean は,クラス条件分布の1次モーメントから不変な特徴によって区切られた部分空間を同定し,ローゼンフェルドらのデータモデルの下で,$d_s+1$のトレーニング環境を用いて証明可能な領域一般化を実現する(2021)。 第2のアルゴリズムであるISR-Covは、2次モーメントの情報を用いて、必要なトレーニング環境を$O(1)$に削減する。 特に、ITMとは異なり、我々のアルゴリズムは非凸性問題をバイパスし、グローバル収束保証を享受する。 経験的に、我々のISRは、人工ベンチマークのIRMと比較して優れた性能を得ることができる。 さらに、実世界の3つの画像とテキストデータセットにおいて、ISR-Meanは、スプリアス相関やグループシフトに対するトレーニングモデルの最悪の精度を高めるために、単純で効果的な後処理方法として使用できることを示す。

関連論文リスト

• Towards Generalizable Trajectory Prediction Using Dual-Level Representation Learning And Adaptive Prompting [107.4034346788744]
  既存の車両軌道予測モデルは、一般化可能性、予測の不確実性、複雑な相互作用を扱う。 本研究では,(1)自己拡張(SD)とマスドレコンストラクション(MR)による二重レベル表現学習,グローバルコンテキストと細部の詳細の収集,(2)レジスタベースのクエリと事前学習の強化,クラスタリングと抑圧の必要性の排除,(3)微調整中の適応型プロンプトチューニング,メインアーキテクチャの凍結,および少数のプロンプトの最適化といった,新たなトラジェクタ予測フレームワークであるPerceiverを提案する。
  論文  参考訳（メタデータ） (2025-01-08T20:11:09Z)
• Invariant-Feature Subspace Recovery: A New Class of Provable Domain Generalization Algorithms [14.248005245508432]
  ドメインの一般化は、目に見えないテスト環境でうまく一般化するために、一連のトレーニング環境上でトレーニングされたモデルを要求する。 証明可能な回帰問題を実現するための新しいアルゴリズムであるサブスペースリカバリ(ISR)を提案する。 ISRはニューラルネットなどのニューラルネットのポストプロセッシング手法として使用できる。
  論文  参考訳（メタデータ） (2023-11-02T03:24:55Z)
• Out-Of-Domain Unlabeled Data Improves Generalization [0.7589678255312519]
  本稿では,ラベルなしデータを半教師付き分類問題に組み込む新しい枠組みを提案する。 ラベルのないサンプルは一般化ギャップを狭めるために利用できることを示す。 我々は、さまざまな合成および実世界のデータセットで実施された実験を通じて、我々の主張を検証する。
  論文  参考訳（メタデータ） (2023-09-29T02:00:03Z)
• ERM++: An Improved Baseline for Domain Generalization [69.80606575323691]
  経験的リスク最小化(ERM)は、適切に調整された場合、最も複雑なドメイン一般化(DG)手法より優れている。 ERM++は以前のEMMベースラインと比較してDGのパフォーマンスを5%以上改善している。
  論文  参考訳（メタデータ） (2023-04-04T17:31:15Z)
• A Relational Intervention Approach for Unsupervised Dynamics Generalization in Model-Based Reinforcement Learning [113.75991721607174]
  同じ環境に属する2つの推定$hatz_i, hatz_j$の確率を推定するための介入予測モジュールを導入する。 提案手法により推定される$hatZ$は,従来の方法よりも冗長な情報が少ないことを実証的に示す。
  論文  参考訳（メタデータ） (2022-06-09T15:01:36Z)
• Iterative Feature Matching: Toward Provable Domain Generalization with Logarithmic Environments [55.24895403089543]
  ドメインの一般化は、限られた数のトレーニング環境からのデータで、目に見えないテスト環境でうまく機能することを目的としています。 我々は,O(logd_s)$環境のみを見た後に一般化する予測器を高確率で生成することを保証する反復的特徴マッチングに基づく新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-18T04:39:19Z)
• Adversarially Adaptive Normalization for Single Domain Generalization [71.80587939738672]
  一般化正規化アプローチ,適応標準化と再スケーリング正規化(ASR-Norm)を提案する。 ASR-Normは、ニューラルネットワークを介して標準化と再スケーリングの統計学を学ぶ。 ASR-Normは最先端のADAアプローチに一貫した改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-06-01T23:58:23Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。