論文の概要: Revisiting Spurious Correlation in Domain Generalization

• arxiv url: http://arxiv.org/abs/2406.11517v1
• Date: Mon, 17 Jun 2024 13:22:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 14:42:04.960632
• Title: Revisiting Spurious Correlation in Domain Generalization
• Title（参考訳）: 領域一般化における純粋相関の再考
• Authors: Bin Qin, Jiangmeng Li, Yi Li, Xuesong Wu, Yupeng Wang, Wenwen Qiang, Jianwen Cao,
• Abstract要約: データ生成プロセスにおける因果関係を記述するために,構造因果モデル(SCM)を構築した。 さらに、スプリアス相関に基づくメカニズムを徹底的に分析する。 そこで本研究では,OOD一般化における共起バイアスの制御について,相対性スコア重み付き推定器を導入して提案する。
• 参考スコア（独自算出の注目度）: 12.745076668687748
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Without loss of generality, existing machine learning techniques may learn spurious correlation dependent on the domain, which exacerbates the generalization of models in out-of-distribution (OOD) scenarios. To address this issue, recent works build a structural causal model (SCM) to describe the causality within data generation process, thereby motivating methods to avoid the learning of spurious correlation by models. However, from the machine learning viewpoint, such a theoretical analysis omits the nuanced difference between the data generation process and representation learning process, resulting in that the causal analysis based on the former cannot well adapt to the latter. To this end, we explore to build a SCM for representation learning process and further conduct a thorough analysis of the mechanisms underlying spurious correlation. We underscore that adjusting erroneous covariates introduces bias, thus necessitating the correct selection of spurious correlation mechanisms based on practical application scenarios. In this regard, we substantiate the correctness of the proposed SCM and further propose to control confounding bias in OOD generalization by introducing a propensity score weighted estimator, which can be integrated into any existing OOD method as a plug-and-play module. The empirical results comprehensively demonstrate the effectiveness of our method on synthetic and large-scale real OOD datasets.
• Abstract（参考訳）: 一般性を失うことなく、既存の機械学習技術はドメインに依存した急激な相関関係を学習し、アウト・オブ・ディストリビューション(OOD)シナリオにおけるモデルの一般化を悪化させる可能性がある。 この問題に対処するため、近年の研究では、データ生成プロセスにおける因果関係を記述する構造因果モデル(SCM)を構築し、モデルによる素因果関係の学習を避けるための動機付け手法を開発した。 しかし、機械学習の観点からは、このような理論解析は、データ生成プロセスと表現学習プロセスとのニュアンスの違いを省略するので、前者に基づく因果解析は後者にうまく適応できない。 そこで本研究では,表現学習プロセスのためのSCMの構築と,その基盤となるメカニズムの詳細な分析について検討する。 誤った共変量を調整することはバイアスを生じさせ、実用的な応用シナリオに基づいてスプリアス相関機構を正しく選択する必要があることを強調する。 本稿では,提案したSCMの正しさを検証し,既存のOODメソッドにプラグイン・アンド・プレイモジュールとして組み込むことができる確率スコア重み付き推定器を導入することにより,OOD一般化における共起バイアスを制御することを提案する。 実験結果は,本手法が合成および大規模実OODデータセットに与える影響を包括的に示すものである。

関連論文リスト

• Preventing Model Collapse in Deep Canonical Correlation Analysis by Noise Regularization [10.216526425377149]
  MVRL(Multi-View Representation Learning)は、オブジェクトの統一表現を多視点データから学習することを目的としている。 ディープ・カノニカル相関解析(DCCA)とその変種は単純な定式化を共有し、最先端の性能を示す。 モデル崩壊の問題,すなわちDCCAに基づく手法の性能が,トレーニングが進むと劇的に低下するのを観察する。 モデル崩壊防止のための新しいノイズ正規化手法を備えたNR-DCCAを開発した。
  論文  参考訳（メタデータ） (2024-11-01T06:02:30Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Less is More: Mitigate Spurious Correlations for Open-Domain Dialogue Response Generation Models by Causal Discovery [52.95935278819512]
  本研究で得られたCGDIALOGコーパスに基づくオープンドメイン応答生成モデルのスプリアス相関に関する最初の研究を行った。 因果探索アルゴリズムに着想を得て,反応生成モデルの学習と推論のための新しいモデル非依存手法を提案する。
  論文  参考訳（メタデータ） (2023-03-02T06:33:48Z)
• How robust are pre-trained models to distribution shift? [82.08946007821184]
  自己教師付き学習(SSL)と自己エンコーダベースモデル(AE)の相互関係が相互関係に与える影響を示す。 本研究では, 線形ヘッドの潜在バイアスから事前学習したモデルの性能を分離するために, アウト・オブ・ディストリビューション(OOD)データに基づいて訓練された線形ヘッドを用いた新しい評価手法を開発した。
  論文  参考訳（メタデータ） (2022-06-17T16:18:28Z)
• Generalizable Information Theoretic Causal Representation [37.54158138447033]
  本稿では,観測データから因果表現を学習するために,仮説因果グラフに基づいて相互情報量で学習手順を規則化することを提案する。 この最適化は、因果性に着想を得た学習がサンプルの複雑さを減らし、一般化能力を向上させるという理論的保証を導出する反ファクト的損失を伴う。
  論文  参考訳（メタデータ） (2022-02-17T00:38:35Z)
• Estimation of Bivariate Structural Causal Models by Variational Gaussian Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
  因果機構は構造因果モデルによって記述できる。 最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
  論文  参考訳（メタデータ） (2021-09-06T14:52:58Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• Learning Causal Semantic Representation for Out-of-Distribution Prediction [125.38836464226092]
  因果推論に基づく因果意味生成モデル(CSG)を提案し,その2つの要因を別々にモデル化する。 CSGはトレーニングデータに適合させることで意味的因子を識別できることを示し、この意味的識別はOOD一般化誤差の有界性を保証する。
  論文  参考訳（メタデータ） (2020-11-03T13:16:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。