論文の概要: Decorr: Environment Partitioning for Invariant Learning and OOD
Generalization
- arxiv url: http://arxiv.org/abs/2211.10054v1
- Date: Fri, 18 Nov 2022 06:49:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-21 15:27:35.656564
- Title: Decorr: Environment Partitioning for Invariant Learning and OOD
Generalization
- Title(参考訳): Decorr: 不変学習とOOD一般化のための環境分割
- Authors: Yufan Liao, Qi Wu, Xing Yan
- Abstract要約: 不変学習法は、様々な環境にわたって不変予測器を見つけようとする。
トレーニングデータセット全体をアルゴリズムによって環境に分割することで、パフォーマンスに大きな影響を与える。
低相関なデータサブセットを見つけることによって,データセットを複数の環境に分割することを提案する。
- 参考スコア(独自算出の注目度): 15.8264774383576
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Invariant learning methods try to find an invariant predictor across several
environments and have become popular in OOD generalization. However, in
situations where environments do not naturally exist in the data, they have to
be decided by practitioners manually. Environment partitioning, which splits
the whole training dataset into environments by algorithms, will significantly
influence the performance of invariant learning and has been left undiscussed.
A good environment partitioning method can bring invariant learning to
applications with more general settings and improve its performance. We propose
to split the dataset into several environments by finding low-correlated data
subsets. Theoretical interpretations and algorithm details are both introduced
in the paper. Through experiments on both synthetic and real data, we show that
our Decorr method can achieve outstanding performance, while some other
partitioning methods may lead to bad, even below-ERM results using the same
training scheme of IRM.
- Abstract(参考訳): 不変学習法は様々な環境にまたがって不変な予測器を見つけようと試み、OOD一般化で人気を博した。
しかし、自然にデータの中に環境が存在しない状況では、実践者が手動で決める必要がある。
トレーニングデータセット全体をアルゴリズムによって環境に分割する環境分割は、不変学習のパフォーマンスに大きく影響し、未発表のままである。
優れた環境分割手法は、より一般的な設定でアプリケーションに不変な学習をもたらし、性能を向上させる。
低相関なデータサブセットを見つけることによって,データセットを複数の環境に分割することを提案する。
理論的解釈とアルゴリズムの詳細はどちらも論文で紹介されている。
合成データと実データの両方を用いた実験により、Decorr法は優れた性能を達成できる一方で、他の分割手法では、IRMと同じトレーニング手法を用いて、ERM以下の結果も悪い結果をもたらす可能性があることを示す。
関連論文リスト
- Graph Invariant Learning with Subgraph Co-mixup for Out-Of-Distribution
Generalization [51.913685334368104]
本稿では,変分パターンと変分パターンの混合戦略に基づく新しいグラフ不変学習手法を提案する。
本手法は, 各種分布シフト下での最先端性能を著しく向上させる。
論文 参考訳(メタデータ) (2023-12-18T07:26:56Z) - Winning Prize Comes from Losing Tickets: Improve Invariant Learning by
Exploring Variant Parameters for Out-of-Distribution Generalization [76.27711056914168]
Out-of-Distribution (OOD) 一般化は、分散固有の特徴に適合することなく、様々な環境によく適応する堅牢なモデルを学ぶことを目的としている。
LTH(Lottery Ticket hypothesis)に基づく最近の研究は、学習目標を最小化し、タスクに重要なパラメータのいくつかを見つけることでこの問題に対処している。
Invariant Learning (EVIL) における変数探索手法を提案する。
論文 参考訳(メタデータ) (2023-10-25T06:10:57Z) - State Regularized Policy Optimization on Data with Dynamics Shift [25.412472472457324]
多くの実世界のシナリオでは、強化学習(RL)アルゴリズムは、動的シフトを持つデータ、すなわち、異なる環境ダイナミクスを持つデータに基づいて訓練される。
本稿では, 同様の構造と動的に異なる多くの環境において, 最適ポリシが定常状態分布と類似していることを見出した。
このような分布は、新しい環境で訓練されたポリシーを規則化するために使用され、SRPO(textbfS textbfRegularized textbfPolicy textbfOptimization)アルゴリズムにつながる。
論文 参考訳(メタデータ) (2023-06-06T10:06:09Z) - A step towards the applicability of algorithms based on invariant causal
learning on observational data [0.0]
本稿では、因果発見手法と効率よく統合された不変因果予測(ICP)を適用する方法について述べる。
また,本手法とICPを効果的に統合して因果発見を行う方法について述べる。
論文 参考訳(メタデータ) (2023-04-05T08:15:57Z) - Meta-Causal Feature Learning for Out-of-Distribution Generalization [71.38239243414091]
本稿では,協調タスク生成モジュール (BTG) とメタ因果特徴学習モジュール (MCFL) を含む,バランス付きメタ因果学習器 (BMCL) を提案する。
BMCLは、分類のためのクラス不変の視覚領域を効果的に識別し、最先端の手法の性能を向上させるための一般的なフレームワークとして機能する。
論文 参考訳(メタデータ) (2022-08-22T09:07:02Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳(メタデータ) (2022-04-16T08:08:29Z) - ZIN: When and How to Learn Invariance by Environment Inference? [24.191152823045385]
環境分割に基づく頑健で不変なモデルを学ぶための不変学習法が提案されている。
この状況下での学習の不変性は、帰納的バイアスや追加情報なしでは基本的に不可能であることを示す。
本稿では,環境分割と不変表現を協調的に学習するフレームワークを提案する。
論文 参考訳(メタデータ) (2022-03-11T10:00:33Z) - Environment Inference for Invariant Learning [9.63004099102596]
環境推論を組み込んだドメイン不変学習フレームワークであるEIILを提案する。
EIILは環境ラベルを使わずにCMNISTベンチマークの不変学習法より優れていることを示す。
また、EIILとアルゴリズムフェアネスの接続を確立することにより、公平な予測問題において、EIILは精度とキャリブレーションを改善することができる。
論文 参考訳(メタデータ) (2020-10-14T17:11:46Z) - Invariant Causal Prediction for Block MDPs [106.63346115341862]
環境全体にわたる一般化は、実世界の課題への強化学習アルゴリズムの適用の成功に不可欠である。
本稿では,多環境環境における新しい観測を一般化するモデル不適合状態抽象化(MISA)を学習するための不変予測法を提案する。
論文 参考訳(メタデータ) (2020-03-12T21:03:01Z) - Unshuffling Data for Improved Generalization [65.57124325257409]
トレーニングディストリビューションを越えた一般化は、マシンラーニングにおける中核的な課題である。
本研究では,複数の学習環境として扱われる非d.d.サブセットにデータを分割することで,アウト・オブ・ディストリビューションの一般化を向上したモデル学習を導出できることを示す。
論文 参考訳(メタデータ) (2020-02-27T03:07:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。