論文の概要: CASTLE: Regularization via Auxiliary Causal Graph Discovery

• arxiv url: http://arxiv.org/abs/2009.13180v1
• Date: Mon, 28 Sep 2020 09:49:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 21:05:51.659035
• Title: CASTLE: Regularization via Auxiliary Causal Graph Discovery
• Title（参考訳）: CASTLE: Auxiliary Causal Graph Discoveryによる正規化
• Authors: Trent Kyono, Yao Zhang, Mihaela van der Schaar
• Abstract要約: 因果構造学習(CASTLE)の正規化を導入し,変数間の因果関係を共同学習することでニューラルネットワークの正規化を提案する。 CASTLEは因果的隣り合いを持つ因果的DAGの特徴のみを効率的に再構成する一方、再構成ベース正規化器は全ての入力特徴を過度に再構成する。
• 参考スコア（独自算出の注目度）: 89.74800176981842
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Regularization improves generalization of supervised models to out-of-sample data. Prior works have shown that prediction in the causal direction (effect from cause) results in lower testing error than the anti-causal direction. However, existing regularization methods are agnostic of causality. We introduce Causal Structure Learning (CASTLE) regularization and propose to regularize a neural network by jointly learning the causal relationships between variables. CASTLE learns the causal directed acyclical graph (DAG) as an adjacency matrix embedded in the neural network's input layers, thereby facilitating the discovery of optimal predictors. Furthermore, CASTLE efficiently reconstructs only the features in the causal DAG that have a causal neighbor, whereas reconstruction-based regularizers suboptimally reconstruct all input features. We provide a theoretical generalization bound for our approach and conduct experiments on a plethora of synthetic and real publicly available datasets demonstrating that CASTLE consistently leads to better out-of-sample predictions as compared to other popular benchmark regularizers.
• Abstract（参考訳）: 正規化は教師付きモデルのサンプル外データへの一般化を改善する。 先行研究では、因果方向の予測(原因による影響)が反因果方向よりもテスト誤差が低いことが示されている。 しかし、既存の正規化法は因果関係を知らない。 因果構造学習(CASTLE)の正規化を導入し,変数間の因果関係を共同学習することでニューラルネットワークの正規化を提案する。 CASTLEは、因果方向の非循環グラフ(DAG)をニューラルネットワークの入力層に埋め込まれた隣接行列として学習し、最適な予測器の発見を容易にする。 さらに、CASTLEは因果的隣り合う因果的DAGの特徴のみを効率的に再構成する一方、再構成ベース正規化器は全ての入力特徴を過度に再構成する。 我々は、我々のアプローチに縛られた理論的一般化を提供し、CASTLEが他の人気のあるベンチマーク正則化器と比較して、一貫してサンプル外予測に結びつくことを示す、合成および実際の公開データセットの多元的実験を行う。

関連論文リスト

• An In-depth Investigation of Sparse Rate Reduction in Transformer-like Models [32.04194224236952]
  スパースレートリダクション(SRR)と呼ばれる情報理論目的関数を提案する。 SRRは正の相関係数を持ち、パスノルムやシャープネスベースなど他の基準値よりも優れていることを示す。 ベンチマーク画像分類データセットの正規化として,SRRを用いて一般化を改善することができることを示す。
  論文  参考訳（メタデータ） (2024-11-26T07:44:57Z)
• Induced Covariance for Causal Discovery in Linear Sparse Structures [55.2480439325792]
  因果モデルでは、観測データから変数間の因果関係を解き明かそうとしている。 本稿では,変数が線形に疎結合な関係を示す設定のための新しい因果探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-02T04:01:38Z)
• Sample, estimate, aggregate: A recipe for causal discovery foundation models [28.116832159265964]
  我々は、古典因果探索アルゴリズムの出力からより大きな因果グラフを予測することを学ぶ教師付きモデルを訓練する。 我々のアプローチは、古典的手法の出力における典型的なエラーがデータセット間で比較できるという観察によって実現されている。 実データおよび合成データに関する実験では、このモデルが不特定性や分布シフトに直面して高い精度を維持することを示した。
  論文  参考訳（メタデータ） (2024-02-02T21:57:58Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• dotears: Scalable, consistent DAG estimation using observational and interventional data [1.220743263007369]
  因果性遺伝子制御ネットワークはDAG(direct acyclic graph)によって表現できる 単一の因果構造を推論する継続的最適化フレームワークであるtexttdotears$[doo-tairs]を提示する。 我々は、$texttdotears$は、軽度の仮定の下で真DAGの証明可能な一貫した推定量であることを示した。
  論文  参考訳（メタデータ） (2023-05-30T17:03:39Z)
• Spot The Odd One Out: Regularized Complete Cycle Consistent Anomaly Detector GAN [4.5123329001179275]
  本研究では,GAN(Generative Adversarial Neural Network)のパワーを活用した,現実の応用における異常検出のための逆方向検出手法を提案する。 従来の手法は、あらゆる種類の異常に適用できないような、クラス単位での精度のばらつきに悩まされていた。 RCALADという手法は,この構造に新たな識別器を導入し,より効率的な学習プロセスを実現することで,この問題を解決しようとするものである。
  論文  参考訳（メタデータ） (2023-04-16T13:05:39Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• When Does Preconditioning Help or Hurt Generalization? [74.25170084614098]
  本稿では,第1次および第2次手法のテキスト単純バイアスが一般化特性の比較にどのように影響するかを示す。 本稿では、バイアス分散トレードオフを管理するためのいくつかのアプローチと、GDとNGDを補間する可能性について論じる。
  論文  参考訳（メタデータ） (2020-06-18T17:57:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。