論文の概要: Invariant-Feature Subspace Recovery: A New Class of Provable Domain Generalization Algorithms

• arxiv url: http://arxiv.org/abs/2311.00966v1
• Date: Thu, 2 Nov 2023 03:24:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 15:06:34.099532
• Title: Invariant-Feature Subspace Recovery: A New Class of Provable Domain Generalization Algorithms
• Title（参考訳）: Invariant-Feature Subspace recovery: A new class of Provable Domain Generalization Algorithms
• Authors: Haoxiang Wang, Gargi Balasubramaniam, Haozhe Si, Bo Li, Han Zhao
• Abstract要約: ドメインの一般化は、目に見えないテスト環境でうまく一般化するために、一連のトレーニング環境上でトレーニングされたモデルを要求する。 証明可能な回帰問題を実現するための新しいアルゴリズムであるサブスペースリカバリ(ISR)を提案する。 ISRはニューラルネットなどのニューラルネットのポストプロセッシング手法として使用できる。
• 参考スコア（独自算出の注目度）: 14.248005245508432
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain generalization asks for models trained over a set of training environments to generalize well in unseen test environments. Recently, a series of algorithms such as Invariant Risk Minimization (IRM) have been proposed for domain generalization. However, Rosenfeld et al. (2021) shows that in a simple linear data model, even if non-convexity issues are ignored, IRM and its extensions cannot generalize to unseen environments with less than $d_s+1$ training environments, where $d_s$ is the dimension of the spurious-feature subspace. In this work, we propose Invariant-feature Subspace Recovery (ISR): a new class of algorithms to achieve provable domain generalization across the settings of classification and regression problems. First, in the binary classification setup of Rosenfeld et al. (2021), we show that our first algorithm, ISR-Mean, can identify the subspace spanned by invariant features from the first-order moments of the class-conditional distributions, and achieve provable domain generalization with $d_s+1$ training environments. Our second algorithm, ISR-Cov, further reduces the required number of training environments to $O(1)$ using the information of second-order moments. Notably, unlike IRM, our algorithms bypass non-convexity issues and enjoy global convergence guarantees. Next, we extend ISR-Mean to the more general setting of multi-class classification and propose ISR-Multiclass, which leverages class information and provably recovers the invariant-feature subspace with $\lceil d_s/k\rceil+1$ training environments for $k$-class classification. Finally, for regression problems, we propose ISR-Regression that can identify the invariant-feature subspace with $d_s+1$ training environments. Empirically, we demonstrate the superior performance of our ISRs on synthetic benchmarks. Further, ISR can be used as post-processing methods for feature extractors such as neural nets.
• Abstract（参考訳）: ドメインの一般化は、未熟なテスト環境でうまく一般化するために、トレーニング環境のセットでトレーニングされたモデルを求めます。 近年、領域一般化のために不変リスク最小化(IRM)のような一連のアルゴリズムが提案されている。 しかし、Rosenfeld et al. (2021) は、単純な線形データモデルにおいて、非凸性問題が無視されたとしても、IRM とその拡張は、$d_s+1$ のトレーニング環境では、$d_s$ はスプリアス部分空間の次元である。 本稿では,分類問題と回帰問題の設定をまたいで,証明可能な領域一般化を実現するための新しいアルゴリズムであるisr(invariant-feature subspace recovery)を提案する。 まず、Rosenfeld et al. (2021) のバイナリ分類設定において、我々の最初のアルゴリズムである ISR-Mean は、クラス条件分布の1次モーメントから不変な特徴によって区切られた部分空間を識別し、$d_s+1$トレーニング環境で証明可能な領域一般化を実現する。 第2のアルゴリズムであるISR-Covは、2次モーメントの情報を用いて、必要なトレーニング環境を$O(1)$に削減する。 特に、ITMとは異なり、我々のアルゴリズムは非凸性問題をバイパスし、グローバル収束保証を享受する。 次に、isr-meanをマルチクラス分類のより一般的な設定に拡張し、クラス情報を活用し、$\lceil d_s/k\rceil+1$トレーニング環境を$k$-class分類で確実にリカバリするisr-multiclassを提案する。 最後に、回帰問題に対して、$d_s+1$のトレーニング環境で不変機能部分空間を識別できるISR-Regressionを提案する。 実験では,合成ベンチマークにおけるisrの優れた性能を示す。 さらに、ISRはニューラルネットなどの特徴抽出器の処理後方法として使用できる。

関連論文リスト

• Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
  大規模未ラベルデータから学ぶための2つの戦略を提案する。 第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。 第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
  論文  参考訳（メタデータ） (2023-07-26T16:19:19Z)
• Coping with Change: Learning Invariant and Minimum Sufficient Representations for Fine-Grained Visual Categorization [26.254072665916155]
  細粒度視覚分類(FGVC)は、様々な種間の類似した視覚的外観のために難しい課題である。 以前の研究では、トレーニングデータとテストデータは、同じ基礎的な分布を持ち、現代のバックボーンアーキテクチャによって抽出された特徴は差別的であり、見つからないテストデータによく当てはまると仮定されている。 我々は、FGVCにおける不変リスク最小化(IRM)と情報ボトルネック(IB)の原則を組み合わせて、不変性と最小限のIMS表現を学習する。
  論文  参考訳（メタデータ） (2023-06-08T02:45:15Z)
• Improved Regret for Efficient Online Reinforcement Learning with Linear Function Approximation [69.0695698566235]
  線形関数近似による強化学習と,コスト関数の逆変化について検討した。 本稿では,未知のダイナミクスと帯域幅フィードバックの一般設定に挑戦する,計算効率のよいポリシ最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-01-30T17:26:39Z)
• Counterfactual Supervision-based Information Bottleneck for Out-of-Distribution Generalization [40.94431121318241]
  線形分類問題において, 不変リスク最小化アルゴリズム (IB-IRM) は不変特徴を学習するのに十分でないことを示す。 我々は,その不変性を良好に回復する,textitCounterfactual Supervision-based Information Bottleneck (CSIB) 学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-08-16T15:26:00Z)
• A Relational Intervention Approach for Unsupervised Dynamics Generalization in Model-Based Reinforcement Learning [113.75991721607174]
  同じ環境に属する2つの推定$hatz_i, hatz_j$の確率を推定するための介入予測モジュールを導入する。 提案手法により推定される$hatZ$は,従来の方法よりも冗長な情報が少ないことを実証的に示す。
  論文  参考訳（メタデータ） (2022-06-09T15:01:36Z)
• Federated Reinforcement Learning with Environment Heterogeneity [30.797692838836277]
  我々は,フェデレート強化学習(FedRL)問題について検討し,エージェントと環境相互作用の過程で収集した軌跡を共有せずに,$n$エージェントがひとつの方針を協調的に学習する。 本稿では,2つの連合RLアルゴリズム, textttQAvg と textttPAvg を提案する。
  論文  参考訳（メタデータ） (2022-04-06T07:21:00Z)
• Provable Domain Generalization via Invariant-Feature Subspace Recovery [18.25619572103648]
  本稿では,不変部分空間回復(ISR)を用いた領域一般化を提案する。 トレーニングIRMとは異なり、アルゴリズムは非変分問題をバイパスし、グローバルコンバージェンスを楽しむ。 さらに、実世界の3つの画像データセットにおいて、ISR-は単純で効果的な後処理法として利用できることを示す。
  論文  参考訳（メタデータ） (2022-01-30T21:22:47Z)
• Iterative Feature Matching: Toward Provable Domain Generalization with Logarithmic Environments [55.24895403089543]
  ドメインの一般化は、限られた数のトレーニング環境からのデータで、目に見えないテスト環境でうまく機能することを目的としています。 我々は,O(logd_s)$環境のみを見た後に一般化する予測器を高確率で生成することを保証する反復的特徴マッチングに基づく新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-18T04:39:19Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。