論文の概要: Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal Approach

• arxiv url: http://arxiv.org/abs/2312.09758v1
• Date: Fri, 15 Dec 2023 12:58:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 15:52:17.838518
• Title: Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal Approach
• Title（参考訳）: 偽OOD異常の診断と定量化 : 再構成因果アプローチ
• Authors: Ziliang Chen, Yongsen Zheng, Zhao-Rong Lai, Quanlong Guan, Liang Lin
• Abstract要約: 不変表現学習(IRL)は、不変因果的特徴から環境から切り離されたラベルへの予測を促進する。 最近の理論的結果は、IRLによって回復されたいくつかの因果的特徴は、訓練環境ではドメイン不変のふりをするが、目に見えない領域では失敗する。 本研究では,RS-SCMに関する条件付き相互情報に基づく手法を開発し,その効果を巧みに補正する。
• 参考スコア（独自算出の注目度）: 51.012396632595554
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Invariant representation learning (IRL) encourages the prediction from invariant causal features to labels de-confounded from the environments, advancing the technical roadmap of out-of-distribution (OOD) generalization. Despite spotlights around, recent theoretical results verified that some causal features recovered by IRLs merely pretend domain-invariantly in the training environments but fail in unseen domains. The \emph{fake invariance} severely endangers OOD generalization since the trustful objective can not be diagnosed and existing causal surgeries are invalid to rectify. In this paper, we review a IRL family (InvRat) under the Partially and Fully Informative Invariant Feature Structural Causal Models (PIIF SCM /FIIF SCM) respectively, to certify their weaknesses in representing fake invariant features, then, unify their causal diagrams to propose ReStructured SCM (RS-SCM). RS-SCM can ideally rebuild the spurious and the fake invariant features simultaneously. Given this, we further develop an approach based on conditional mutual information with respect to RS-SCM, then rigorously rectify the spurious and fake invariant effects. It can be easily implemented by a small feature selection subnet introduced in the IRL family, which is alternatively optimized to achieve our goal. Experiments verified the superiority of our approach to fight against the fake invariant issue across a variety of OOD generalization benchmarks.
• Abstract（参考訳）: 不変表現学習(irl)は、不変因果的特徴から環境から分離されたラベルへの予測を奨励し、ood(out-of-distribution)一般化の技術ロードマップを前進させる。 近年の理論的結果は、IRLによって回復されたいくつかの因果的特徴は、トレーニング環境ではドメイン不変のふりをするが、目に見えない領域では失敗する。 emph{fake invariance} は、信頼できる目的を診断できず、既存の因果的手術が無効であるため、oodの一般化を危険にさらす。 本稿では, 部分的および完全不変な特徴因果モデル (PIIF SCM/FIIF SCM) の下でIRLファミリ(InvRat) をレビューし, 偽不変特徴を表す際の弱点を検証し, 因果図を統一してReStructured SCM(RS-SCM)を提案する。 rs-scmは、スプリアスと偽の不変な特徴を同時に再構築できる。 そこで我々は, RS-SCMに関する条件付き相互情報に基づくアプローチをさらに発展させ, 突発的で偽の不変な効果を厳格に補正する。 IRLファミリーで導入された小さな特徴選択サブネットによって容易に実装できる。 実験により、様々なOOD一般化ベンチマークで偽不変問題と戦うアプローチの優位性を検証した。

関連論文リスト

• Dissecting the Failure of Invariant Learning on Graphs [36.11431280689549]
  本研究では、2つの顕著な不変学習法の性能を理論的に判別する構造因果モデル(SCM)を開発した。 我々は,同じクラスに設定されたクロス環境表現をアライメントすることで,突発的特徴を明示的に排除する,クロス環境内アライメント(CIA)を提案する。 さらに、隣接ラベルの分布を利用してノード表現を選択的に整列させるCIA-LRA(Localized Reweighting Alignment)を提案する。
  論文  参考訳（メタデータ） (2024-11-05T06:36:48Z)
• Enlarging Feature Support Overlap for Domain Generalization [9.227839292188346]
  不変リスク最小化(IRM)は、不変機能を学び、異なるドメインにわたるリスクを最小限にすることでこの問題に対処する。 本稿では,ドメイン一般化のための機能サポートオーバーラップを拡大する新しい手法を提案する。 具体的には、サンプルの多様性を高め、IRMの欠如を克服するためにベイズランダムデータ拡張を導入する。
  論文  参考訳（メタデータ） (2024-07-08T09:16:42Z)
• Winning Prize Comes from Losing Tickets: Improve Invariant Learning by Exploring Variant Parameters for Out-of-Distribution Generalization [76.27711056914168]
  Out-of-Distribution (OOD) 一般化は、分散固有の特徴に適合することなく、様々な環境によく適応する堅牢なモデルを学ぶことを目的としている。 LTH(Lottery Ticket hypothesis)に基づく最近の研究は、学習目標を最小化し、タスクに重要なパラメータのいくつかを見つけることでこの問題に対処している。 Invariant Learning (EVIL) における変数探索手法を提案する。
  論文  参考訳（メタデータ） (2023-10-25T06:10:57Z)
• Out-of-distribution Generalization with Causal Invariant Transformations [17.18953986654873]
  本研究では,因果的特徴を明示的に回復することなく,OOD問題に対処する。 不変因果機構の設定の下で、理論的には、そのような変換がすべて利用可能であれば、最小限の最適モデルを学ぶことができる。 これらの因果不変変換の完全な集合が非現実的であることを知ることは、これらの変換のサブセットのみを知るのに十分であることを示す。
  論文  参考訳（メタデータ） (2022-03-22T08:04:38Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• CC-Cert: A Probabilistic Approach to Certify General Robustness of Neural Networks [58.29502185344086]
  安全クリティカルな機械学習アプリケーションでは、モデルを敵の攻撃から守ることが不可欠である。 意味的に意味のある入力変換に対して、ディープラーニングモデルの証明可能な保証を提供することが重要である。 我々はChernoff-Cramer境界に基づく新しい普遍確率的証明手法を提案する。
  論文  参考訳（メタデータ） (2021-09-22T12:46:04Z)
• Nonlinear Invariant Risk Minimization: A Causal Approach [5.63479133344366]
  非線形環境下での分布外一般化を可能にする学習パラダイムを提案する。 我々は、非常に単純な変換までデータ表現の識別性を示す。 合成データと実世界のデータセットの両方に関する広範な実験は、我々のアプローチが様々なベースラインメソッドを大きく上回っていることを示している。
  論文  参考訳（メタデータ） (2021-02-24T15:38:41Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。