論文の概要: Decorr: Environment Partitioning for Invariant Learning and OOD Generalization

• arxiv url: http://arxiv.org/abs/2211.10054v1
• Date: Fri, 18 Nov 2022 06:49:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 15:27:35.656564
• Title: Decorr: Environment Partitioning for Invariant Learning and OOD Generalization
• Title（参考訳）: Decorr: 不変学習とOOD一般化のための環境分割
• Authors: Yufan Liao, Qi Wu, Xing Yan
• Abstract要約: 不変学習法は、様々な環境にわたって不変予測器を見つけようとする。 トレーニングデータセット全体をアルゴリズムによって環境に分割することで、パフォーマンスに大きな影響を与える。 低相関なデータサブセットを見つけることによって,データセットを複数の環境に分割することを提案する。
• 参考スコア（独自算出の注目度）: 15.8264774383576
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Invariant learning methods try to find an invariant predictor across several environments and have become popular in OOD generalization. However, in situations where environments do not naturally exist in the data, they have to be decided by practitioners manually. Environment partitioning, which splits the whole training dataset into environments by algorithms, will significantly influence the performance of invariant learning and has been left undiscussed. A good environment partitioning method can bring invariant learning to applications with more general settings and improve its performance. We propose to split the dataset into several environments by finding low-correlated data subsets. Theoretical interpretations and algorithm details are both introduced in the paper. Through experiments on both synthetic and real data, we show that our Decorr method can achieve outstanding performance, while some other partitioning methods may lead to bad, even below-ERM results using the same training scheme of IRM.
• Abstract（参考訳）: 不変学習法は様々な環境にまたがって不変な予測器を見つけようと試み、OOD一般化で人気を博した。 しかし、自然にデータの中に環境が存在しない状況では、実践者が手動で決める必要がある。 トレーニングデータセット全体をアルゴリズムによって環境に分割する環境分割は、不変学習のパフォーマンスに大きく影響し、未発表のままである。 優れた環境分割手法は、より一般的な設定でアプリケーションに不変な学習をもたらし、性能を向上させる。 低相関なデータサブセットを見つけることによって,データセットを複数の環境に分割することを提案する。 理論的解釈とアルゴリズムの詳細はどちらも論文で紹介されている。 合成データと実データの両方を用いた実験により、Decorr法は優れた性能を達成できる一方で、他の分割手法では、IRMと同じトレーニング手法を用いて、ERM以下の結果も悪い結果をもたらす可能性があることを示す。

関連論文リスト

• CGLearn: Consistent Gradient-Based Learning for Out-of-Distribution Generalization [0.7366405857677226]
  本研究では,様々な環境における勾配の一致に依存する,単純だが強力なアプローチCGLearnを提案する。 提案手法は, 線形および非線形の条件下での最先端手法と比較して, 優れた性能を示す。 合成データセットと実世界のデータセットの総合的な実験は、様々なシナリオにおけるその有効性を強調している。
  論文  参考訳（メタデータ） (2024-11-09T02:36:39Z)
• The Implicit Bias of Heterogeneity towards Invariance: A Study of Multi-Environment Matrix Sensing [9.551225697705199]
  本稿では,不均一なデータに対するグラディエント・ディキセント(SGD)の暗黙バイアスについて検討し,その暗黙バイアスがモデル学習を不変解へと導くことを示す。 具体的には、各環境において、信号が(i)全環境間で共有される低ランク不変部分と(ii)環境依存のスプリアス成分とを含む多環境低ランク行列センシング問題について理論的に検討する。 重要な洞察は、明示的な正規化を伴わずに各環境で大きなステップサイズの大バッチSGDを逐次使用するだけで、不均一性に起因する振動は、モデル学習の急激なシグナルを確実に阻止することができることである。
  論文  参考訳（メタデータ） (2024-03-03T07:38:24Z)
• Graph Invariant Learning with Subgraph Co-mixup for Out-Of-Distribution Generalization [51.913685334368104]
  本稿では,変分パターンと変分パターンの混合戦略に基づく新しいグラフ不変学習手法を提案する。 本手法は, 各種分布シフト下での最先端性能を著しく向上させる。
  論文  参考訳（メタデータ） (2023-12-18T07:26:56Z)
• Conformal Inference for Invariant Risk Minimization [12.049545417799125]
  機械学習モデルの応用は、分布シフトの発生によって著しく阻害される可能性がある。 この問題を解決する一つの方法は、不変リスク最小化(IRM)のような不変学習を用いて不変表現を取得することである。 本稿では,不変表現に対する不確実性推定を記述するために,分布自由予測領域を得る手法を提案する。
  論文  参考訳（メタデータ） (2023-05-22T03:48:38Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Unleashing the Power of Graph Data Augmentation on Covariate Distribution Shift [50.98086766507025]
  本稿では,AIA(Adversarial Invariant Augmentation)という,シンプルで効率の良いデータ拡張戦略を提案する。 AIAは、拡張プロセス中に元の安定した特徴を同時に保存しながら、新しい環境をエクスポーレーションし、生成することを目的としている。
  論文  参考訳（メタデータ） (2022-11-05T07:55:55Z)
• Differentiable Invariant Causal Discovery [106.87950048845308]
  観測データから因果構造を学ぶことは、機械学習の基本的な課題である。 本稿では,不特定変分因果解法(DICD)を提案する。 合成および実世界のデータセットに関する大規模な実験は、DICDがSHDの36%まで最先端の因果発見手法より優れていることを検証している。
  論文  参考訳（メタデータ） (2022-05-31T09:29:07Z)
• ZIN: When and How to Learn Invariance by Environment Inference? [24.191152823045385]
  環境分割に基づく頑健で不変なモデルを学ぶための不変学習法が提案されている。 この状況下での学習の不変性は、帰納的バイアスや追加情報なしでは基本的に不可能であることを示す。 本稿では,環境分割と不変表現を協調的に学習するフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-11T10:00:33Z)
• Learning Conditional Invariance through Cycle Consistency [60.85059977904014]
  本稿では,データセットの変動の有意義な要因と独立な要因を識別する新しい手法を提案する。 提案手法は,対象プロパティと残りの入力情報に対する2つの別個の潜在部分空間を含む。 我々は,より意味のある因子を同定し,よりスペーサーや解釈可能なモデルに導く合成および分子データについて実証する。
  論文  参考訳（メタデータ） (2021-11-25T17:33:12Z)
• Predict then Interpolate: A Simple Algorithm to Learn Stable Classifiers [59.06169363181417]
  Predict then Interpolate (PI) は環境全体にわたって安定な相関関係を学習するためのアルゴリズムである。 正しい予測と間違った予測の分布を補間することにより、不安定な相関が消えるオラクル分布を明らかにすることができる。
  論文  参考訳（メタデータ） (2021-05-26T15:37:48Z)
• Environment Inference for Invariant Learning [9.63004099102596]
  環境推論を組み込んだドメイン不変学習フレームワークであるEIILを提案する。 EIILは環境ラベルを使わずにCMNISTベンチマークの不変学習法より優れていることを示す。 また、EIILとアルゴリズムフェアネスの接続を確立することにより、公平な予測問題において、EIILは精度とキャリブレーションを改善することができる。
  論文  参考訳（メタデータ） (2020-10-14T17:11:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。