論文の概要: Out-of-distribution robustness for multivariate analysis via causal regularisation

• arxiv url: http://arxiv.org/abs/2403.01865v3
• Date: Tue, 11 Mar 2025 15:03:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:40:07.500944
• Title: Out-of-distribution robustness for multivariate analysis via causal regularisation
• Title（参考訳）: 因果正則化による多変量解析のための分布外ロバスト性
• Authors: Homer Durand, Gherardo Varando, Nathan Mankovich, Gustau Camps-Valls,
• Abstract要約: 本稿では,分散シフトに対するロバスト性を確保するために,因果性に根ざした正規化戦略を提案する。 アンカー回帰フレームワークに基づいて、古典アルゴリズムの損失関数に単純な正規化項を組み込む方法を示す。 本フレームワークでは,損失関数と正規化戦略との整合性を効率よく検証することができる。
• 参考スコア（独自算出の注目度）: 4.487663958743944
• License:
• Abstract: We propose a regularisation strategy of classical machine learning algorithms rooted in causality that ensures robustness against distribution shifts. Building upon the anchor regression framework, we demonstrate how incorporating a straightforward regularisation term into the loss function of classical multivariate analysis algorithms, such as (orthonormalized) partial least squares, reduced-rank regression, and multiple linear regression, enables out-of-distribution generalisation. Our framework allows users to efficiently verify the compatibility of a loss function with the regularisation strategy. Estimators for selected algorithms are provided, showcasing consistency and efficacy in synthetic and real-world climate science problems. The empirical validation highlights the versatility of anchor regularisation, emphasizing its compatibility with multivariate analysis approaches and its role in enhancing replicability while guarding against distribution shifts. The extended anchor framework advances causal inference methodologies, addressing the need for reliable out-of-distribution generalisation.
• Abstract（参考訳）: 本稿では,分散シフトに対するロバスト性を確保するために,因果性に根ざした古典的機械学習アルゴリズムの正規化戦略を提案する。 アンカー回帰フレームワークを基盤として、古典的多変量解析アルゴリズムの損失関数に直列正規化項を組み込むことで、(正規化)部分最小二乗、縮小ランク回帰、多重線形回帰がアウト・オブ・ディストリビューションの一般化を可能にすることを示す。 本フレームワークでは,損失関数と正規化戦略との整合性を効率よく検証することができる。 合成および実世界の気候科学問題において、一貫性と有効性を示す、選択されたアルゴリズムのエミュレータが提供される。 経験的検証は、アンカー正則化の汎用性を強調し、多変量解析アプローチとの互換性を強調し、分散シフトを防ぎながら複製性を高める役割を強調している。 拡張アンカーフレームワークは因果推論手法を進化させ、信頼性の高いアウト・オブ・ディストリビューションの一般化の必要性に対処する。

関連論文リスト

• A Meta-learner for Heterogeneous Effects in Difference-in-Differences [17.361857058902494]
  条件付き平均処理効果(CATT)の評価のための二重頑健なメタラーナを提案する。 我々のフレームワークは、汎用機械学習を用いて、興味のある変数の任意のサブセットを条件付ける際に、CATTの柔軟な推定を可能にする。
  論文  参考訳（メタデータ） (2025-02-07T07:04:37Z)
• Benign Overfitting in Out-of-Distribution Generalization of Linear Models [19.203753135860016]
  我々は、アウト・オブ・ディストリビューション(OOD)体制における良心過剰の理解に向けて、最初の一歩を踏み出した。 我々は、標準的な隆起回帰において良性過剰適合が生じることを証明する非漸近保証を提供する。 また、より一般的な目標共分散行列の族についても理論的結果を示す。
  論文  参考訳（メタデータ） (2024-12-19T02:47:39Z)
• From Robustness to Improved Generalization and Calibration in Pre-trained Language Models [0.0]
  本稿では,前訓練言語モデル(PLM)の性能向上において,ジャコビアン正規化とヘッセン正規化によって達成される表現の滑らかさの役割について検討する。 PLM中間表現におけるヤコビ行列とヘッセン行列のノルムを最小化する新しい二相正規化手法であるジャコビウスを導入する。 GLUEベンチマークを用いて評価したところ, JacHess は PLM の領域内一般化とキャリブレーションを大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2024-03-31T18:08:37Z)
• Towards Robust Out-of-Distribution Generalization Bounds via Sharpness [41.65692353665847]
  モデルがドメインシフトにおけるデータ変化を許容する方法にシャープさが及ぼす影響について検討する。 強靭性を考慮したシャープネスに基づくOOD一般化を提案する。
  論文  参考訳（メタデータ） (2024-03-11T02:57:27Z)
• Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal Approach [51.012396632595554]
  不変表現学習(IRL)は、不変因果的特徴から環境から切り離されたラベルへの予測を促進する。 最近の理論的結果は、IRLによって回復されたいくつかの因果的特徴は、訓練環境ではドメイン不変のふりをするが、目に見えない領域では失敗する。 本研究では,RS-SCMに関する条件付き相互情報に基づく手法を開発し,その効果を巧みに補正する。
  論文  参考訳（メタデータ） (2023-12-15T12:58:05Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Posterior Differential Regularization with f-divergence for Improving Model Robustness [95.05725916287376]
  クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。 後微分正則化を$f$-divergencesの族に一般化する。 実験の結果, 後方微分を$f$-divergenceで正規化することで, モデルロバスト性の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2020-10-23T19:58:01Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)
• Target-Embedding Autoencoders for Supervised Representation Learning [111.07204912245841]
  本稿では,対象空間が高次元な純粋教師付き環境における一般化の枠組みを解析する。 我々は、教師付き予測のための目標埋め込みオートエンコーダ(TEA)の一般的なフレームワークのモチベーションと形式化を行い、特徴とターゲットの予測の両方から予測可能なように最適化された中間潜在表現を学習する。
  論文  参考訳（メタデータ） (2020-01-23T02:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。