論文の概要: ZIN: When and How to Learn Invariance by Environment Inference?

• arxiv url: http://arxiv.org/abs/2203.05818v1
• Date: Fri, 11 Mar 2022 10:00:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-14 12:26:29.552549
• Title: ZIN: When and How to Learn Invariance by Environment Inference?
• Title（参考訳）: ZIN:環境推論による不変性学習の時期と方法
• Authors: Yong Lin, Shengyu Zhu, Peng Cui
• Abstract要約: 環境分割に基づく頑健で不変なモデルを学ぶための不変学習法が提案されている。 この状況下での学習の不変性は、帰納的バイアスや追加情報なしでは基本的に不可能であることを示す。 本稿では,環境分割と不変表現を協調的に学習するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 24.191152823045385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is commonplace to encounter heterogeneous data, of which some aspects of the data distribution may vary but the underlying causal mechanisms remain constant. When data are divided into distinct environments according to the heterogeneity, recent invariant learning methods have proposed to learn robust and invariant models based on this environment partition. It is hence tempting to utilize the inherent heterogeneity even when environment partition is not provided. Unfortunately, in this work, we show that learning invariant features under this circumstance is fundamentally impossible without further inductive biases or additional information. Then, we propose a framework to jointly learn environment partition and invariant representation, assisted by additional auxiliary information. We derive sufficient and necessary conditions for our framework to provably identify invariant features under a fairly general setting. Experimental results on both synthetic and real world datasets validate our analysis and demonstrate an improved performance of the proposed framework over existing methods. Finally, our results also raise the need of making the role of inductive biases more explicit in future works, when considering learning invariant models without environment partition.
• Abstract（参考訳）: 異種データに遭遇することは一般的であり、データ分布のいくつかの側面は異なるが、根底にある因果機構は一定である。 データが異質性に応じて異なる環境に分割された場合、この環境分割に基づいて頑健で不変なモデルを学ぶための最近の不変学習法が提案されている。 したがって、環境分割が提供されていない場合でも、固有の不均一性を利用する傾向にある。 残念ながら、この研究において、この状況下での学習不変性は、さらなる帰納バイアスや追加情報なしでは、基本的に不可能であることを示す。 そこで本稿では,環境分割と不変表現を協調的に学習するフレームワークを提案する。 フレームワークが比較的一般的な設定の下で不変な特徴を確実に識別するために必要な条件を導出する。 合成と実世界の両方のデータセットによる実験結果から,既存の手法よりも提案フレームワークの性能が向上したことを示す。 最後に,環境分割を伴わずに不変モデルを学ぶことを考える場合,帰納的バイアスの役割をより明示する必要性も生ずる。

関連論文リスト

• Mining Invariance from Nonlinear Multi-Environment Data: Binary Classification [2.0528878959274883]
  本稿では,一般的な非線形データ生成機構に光を放つバイナリ分類に着目する。 環境上で不変なモデルをトレーニングできるような、バイナリ設定にのみ存在するユニークな不変性の形式を特定します。 本稿では,実データと合成データを用いた予測手法の提案と実験を行う。
  論文  参考訳（メタデータ） (2024-04-23T17:26:59Z)
• The Implicit Bias of Heterogeneity towards Invariance: A Study of Multi-Environment Matrix Sensing [9.551225697705199]
  本稿では,不均一なデータに対するグラディエント・ディキセント(SGD)の暗黙バイアスについて検討し,その暗黙バイアスがモデル学習を不変解へと導くことを示す。 具体的には、各環境において、信号が(i)全環境間で共有される低ランク不変部分と(ii)環境依存のスプリアス成分とを含む多環境低ランク行列センシング問題について理論的に検討する。 重要な洞察は、明示的な正規化を伴わずに各環境で大きなステップサイズの大バッチSGDを逐次使用するだけで、不均一性に起因する振動は、モデル学習の急激なシグナルを確実に阻止することができることである。
  論文  参考訳（メタデータ） (2024-03-03T07:38:24Z)
• Flow Factorized Representation Learning [109.51947536586677]
  本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。 本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
  論文  参考訳（メタデータ） (2023-09-22T20:15:37Z)
• Conformal Inference for Invariant Risk Minimization [12.049545417799125]
  機械学習モデルの応用は、分布シフトの発生によって著しく阻害される可能性がある。 この問題を解決する一つの方法は、不変リスク最小化(IRM)のような不変学習を用いて不変表現を取得することである。 本稿では,不変表現に対する不確実性推定を記述するために,分布自由予測領域を得る手法を提案する。
  論文  参考訳（メタデータ） (2023-05-22T03:48:38Z)
• Decorr: Environment Partitioning for Invariant Learning and OOD Generalization [10.799855921851332]
  不変学習手法は、複数の環境にまたがる一貫した予測器を特定することを目的としている。 データに固有の環境がなければ、実践者はそれらを手動で定義しなければならない。 この環境分割は不変学習の有効性に影響を及ぼすが、いまだ過小評価されていない。 本稿では,低相関データサブセットを分離することで,データセットを複数の環境に分割することを提案する。
  論文  参考訳（メタデータ） (2022-11-18T06:49:35Z)
• Equivariant Disentangled Transformation for Domain Generalization under Combination Shift [91.38796390449504]
  ドメインとラベルの組み合わせは、トレーニング中に観察されるのではなく、テスト環境に現れる。 我々は、同型の概念、同値性、および整合性の定義に基づく結合シフト問題の一意的な定式化を提供する。
  論文  参考訳（メタデータ） (2022-08-03T12:31:31Z)
• Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
  局所変換近傍における分類器の出力不変性の尺度を提案する。 私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。 画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
  論文  参考訳（メタデータ） (2022-07-05T14:55:16Z)
• Differentiable Invariant Causal Discovery [106.87950048845308]
  観測データから因果構造を学ぶことは、機械学習の基本的な課題である。 本稿では,不特定変分因果解法(DICD)を提案する。 合成および実世界のデータセットに関する大規模な実験は、DICDがSHDの36%まで最先端の因果発見手法より優れていることを検証している。
  論文  参考訳（メタデータ） (2022-05-31T09:29:07Z)
• Equivariance Allows Handling Multiple Nuisance Variables When Analyzing Pooled Neuroimaging Datasets [53.34152466646884]
  本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。 いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
  論文  参考訳（メタデータ） (2022-03-29T04:54:06Z)
• Learning Conditional Invariance through Cycle Consistency [60.85059977904014]
  本稿では,データセットの変動の有意義な要因と独立な要因を識別する新しい手法を提案する。 提案手法は,対象プロパティと残りの入力情報に対する2つの別個の潜在部分空間を含む。 我々は,より意味のある因子を同定し,よりスペーサーや解釈可能なモデルに導く合成および分子データについて実証する。
  論文  参考訳（メタデータ） (2021-11-25T17:33:12Z)
• Environment Inference for Invariant Learning [9.63004099102596]
  環境推論を組み込んだドメイン不変学習フレームワークであるEIILを提案する。 EIILは環境ラベルを使わずにCMNISTベンチマークの不変学習法より優れていることを示す。 また、EIILとアルゴリズムフェアネスの接続を確立することにより、公平な予測問題において、EIILは精度とキャリブレーションを改善することができる。
  論文  参考訳（メタデータ） (2020-10-14T17:11:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。