論文の概要: Counterfactual Supervision-based Information Bottleneck for Out-of-Distribution Generalization

• arxiv url: http://arxiv.org/abs/2208.07798v1
• Date: Tue, 16 Aug 2022 15:26:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-17 12:49:54.073971
• Title: Counterfactual Supervision-based Information Bottleneck for Out-of-Distribution Generalization
• Title（参考訳）: アウト・オブ・ディストリビューション・ジェネライゼーションのための反事実的監督に基づく情報ボトルネック
• Authors: Bin Deng and Kui Jia
• Abstract要約: 線形分類問題において, 不変リスク最小化アルゴリズム (IB-IRM) は不変特徴を学習するのに十分でないことを示す。 我々は,その不変性を良好に回復する,textitCounterfactual Supervision-based Information Bottleneck (CSIB) 学習アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 40.94431121318241
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning invariant (causal) features for out-of-distribution (OOD) generalization has attracted extensive attention recently, and among the proposals invariant risk minimization (IRM) (Arjovsky et al., 2019) is a notable solution. In spite of its theoretical promise for linear regression, the challenges of using IRM in linear classification problems yet remain (Rosenfeld et al.,2020, Nagarajan et al., 2021). Along this line, a recent study (Arjovsky et al., 2019) has made a first step and proposes a learning principle of information bottleneck based invariant risk minimization (IB-IRM). In this paper, we first show that the key assumption of support overlap of invariant features used in (Arjovsky et al., 2019) is rather strong for the guarantee of OOD generalization and it is still possible to achieve the optimal solution without such assumption. To further answer the question of whether IB-IRM is sufficient for learning invariant features in linear classification problems, we show that IB-IRM would still fail in two cases whether or not the invariant features capture all information about the label. To address such failures, we propose a \textit{Counterfactual Supervision-based Information Bottleneck (CSIB)} learning algorithm that provably recovers the invariant features. The proposed algorithm works even when accessing data from a single environment, and has theoretically consistent results for both binary and multi-class problems. We present empirical experiments on three synthetic datasets that verify the efficacy of our proposed method.
• Abstract（参考訳）: アウト・オブ・ディストリビューション(OOD)一般化のための不変性(因果性)の学習は近年広く注目されており、不変リスク最小化(IRM)の提案(Arjovsky et al., 2019)は注目すべき解決策である。 線形回帰の理論的な約束にもかかわらず、線形分類問題にIRMを使うことの課題はまだ残っている(Rosenfeld et al.,2020, Nagarajan et al., 2021)。 この線に沿って、最近の研究(Arjovsky et al., 2019)が第一歩を踏み出し、情報ボトルネックに基づく不変リスク最小化(IB-IRM)の学習原則を提案する。 本稿では,まず, (arjovsky et al., 2019) で使用される不変特徴の重なりサポートの鍵となる仮定が, ood一般化の保証にかなり強く, それらの仮定を伴わずに最適解を実現できることを示す。 IB-IRMが線形分類問題における不変特徴を学習するのに十分であるかどうかという疑問にさらに答えるために、IB-IRMがラベルに関する全ての情報を捉えているかどうかの2つのケースで失敗することを示した。 このような障害に対処するため,本稿では,その不変性を良好に回復する,CSIB学習アルゴリズムを提案する。 提案アルゴリズムは,単一環境からのデータにアクセスしても動作し,理論的には二進問題と多進問題の両方に対して一貫した結果が得られる。 提案手法の有効性を検証する3つの合成データセットについて実験を行った。

関連論文リスト

• Invariant-Feature Subspace Recovery: A New Class of Provable Domain Generalization Algorithms [14.248005245508432]
  ドメインの一般化は、目に見えないテスト環境でうまく一般化するために、一連のトレーニング環境上でトレーニングされたモデルを要求する。 証明可能な回帰問題を実現するための新しいアルゴリズムであるサブスペースリカバリ(ISR)を提案する。 ISRはニューラルネットなどのニューラルネットのポストプロセッシング手法として使用できる。
  論文  参考訳（メタデータ） (2023-11-02T03:24:55Z)
• Coping with Change: Learning Invariant and Minimum Sufficient Representations for Fine-Grained Visual Categorization [26.254072665916155]
  細粒度視覚分類(FGVC)は、様々な種間の類似した視覚的外観のために難しい課題である。 以前の研究では、トレーニングデータとテストデータは、同じ基礎的な分布を持ち、現代のバックボーンアーキテクチャによって抽出された特徴は差別的であり、見つからないテストデータによく当てはまると仮定されている。 我々は、FGVCにおける不変リスク最小化(IRM)と情報ボトルネック(IB)の原則を組み合わせて、不変性と最小限のIMS表現を学習する。
  論文  参考訳（メタデータ） (2023-06-08T02:45:15Z)
• Mutual Information Learned Regressor: an Information-theoretic Viewpoint of Training Regression Systems [10.314518385506007]
  回帰問題を解くための既存の慣習は平均二乗誤差(MSE)最小化アプローチである。 近年,Yiらは相互情報に基づく教師あり学習フレームワークを提案し,ラベルエントロピー正規化を導入した。 本稿では,相互情報に基づく教師あり学習フレームワークにおける回帰について検討する。
  論文  参考訳（メタデータ） (2022-11-23T03:43:22Z)
• GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP, and Beyond [101.5329678997916]
  対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。 本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。 低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
  論文  参考訳（メタデータ） (2022-11-03T16:42:40Z)
• Kernelized Heterogeneous Risk Minimization [25.5458915855661]
  我々はカーネル空間における潜伏探索と不変学習の両方を実現するカーネル化不均一リスク最小化(KerHRM)アルゴリズムを提案する。 理論的にアルゴリズムを正当化し、広範囲な実験でアルゴリズムの有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2021-10-24T12:26:50Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• A Generic First-Order Algorithmic Framework for Bi-Level Programming Beyond Lower-Level Singleton [49.23948907229656]
  Bi-level Descent Aggregationは、汎用的な双方向最適化のためのフレキシブルでモジュール化されたアルゴリズムフレームワークである。 LLS条件なしでBDAの収束を証明する新しい手法を導出する。 我々の研究は、BDAが特定の一階計算モジュールの検証と互換性があることも示している。
  論文  参考訳（メタデータ） (2020-06-07T05:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。