論文の概要: Learning Identifiable Structures Helps Avoid Bias in DNN-based Supervised Causal Learning

• arxiv url: http://arxiv.org/abs/2502.10883v1
• Date: Sat, 15 Feb 2025 19:10:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:13:46.605274
• Title: Learning Identifiable Structures Helps Avoid Bias in DNN-based Supervised Causal Learning
• Title（参考訳）: DNNによる教師付き因果学習におけるバイアス回避を支援する学習構造
• Authors: Jiaru Zhang, Rui Ding, Qiang Fu, Bojun Huang, Zizhen Deng, Yang Hua, Haibing Guan, Shi Han, Dongmei Zhang,
• Abstract要約: Supervised Causal Learning (SCL)はこの分野で新興パラダイムである。 既存のディープニューラルネットワーク(DNN)ベースの手法では、"Node-Edgeアプローチ"が一般的である。
• 参考スコア（独自算出の注目度）: 56.22841701016295
• License:
• Abstract: Causal discovery is a structured prediction task that aims to predict causal relations among variables based on their data samples. Supervised Causal Learning (SCL) is an emerging paradigm in this field. Existing Deep Neural Network (DNN)-based methods commonly adopt the "Node-Edge approach", in which the model first computes an embedding vector for each variable-node, then uses these variable-wise representations to concurrently and independently predict for each directed causal-edge. In this paper, we first show that this architecture has some systematic bias that cannot be mitigated regardless of model size and data size. We then propose SiCL, a DNN-based SCL method that predicts a skeleton matrix together with a v-tensor (a third-order tensor representing the v-structures). According to the Markov Equivalence Class (MEC) theory, both the skeleton and the v-structures are identifiable causal structures under the canonical MEC setting, so predictions about skeleton and v-structures do not suffer from the identifiability limit in causal discovery, thus SiCL can avoid the systematic bias in Node-Edge architecture, and enable consistent estimators for causal discovery. Moreover, SiCL is also equipped with a specially designed pairwise encoder module with a unidirectional attention layer to model both internal and external relationships of pairs of nodes. Experimental results on both synthetic and real-world benchmarks show that SiCL significantly outperforms other DNN-based SCL approaches.
• Abstract（参考訳）: 因果発見はデータサンプルに基づいて変数間の因果関係を予測することを目的とした構造化された予測タスクである。 Supervised Causal Learning (SCL)はこの分野で新興パラダイムである。 既存のディープニューラルネットワーク(DNN)ベースの手法は一般的に"Node-Edgeアプローチ"を採用しており、モデルがまず各変数ノードの埋め込みベクトルを計算し、次にこれらの変数ワイズ表現を使用して、各方向の因果エッジを並列かつ独立に予測する。 本稿では,このアーキテクチャがモデルのサイズやデータサイズに関わらず緩和できない体系的バイアスを持つことを示す。 次に、DNNベースのSCL法であるSiCLを提案し、Vテンソル(v構造を表す3階テンソル)とともに骨格行列を予測する。 マルコフ等価クラス(MEC)理論によれば、骨格とv構造の両方が標準MEC設定の下で因果構造を識別できるので、骨格とv構造に関する予測は因果発見の識別可能性限界に支障をきたさないため、SiCLはNode-Edgeアーキテクチャの体系的バイアスを回避でき、因果発見のための一貫した推定器を可能にすることができる。 さらに、SiCLは、一方向の注意層を持つ特別な設計のペアワイズエンコーダモジュールを備えており、一対のノードの内部および外部の関係をモデル化している。 合成および実世界のベンチマークによる実験結果から、SiCLは他のDNNベースのSCLアプローチよりも優れた性能を示した。

関連論文リスト

• Induced Covariance for Causal Discovery in Linear Sparse Structures [55.2480439325792]
  因果モデルでは、観測データから変数間の因果関係を解き明かそうとしている。 本稿では,変数が線形に疎結合な関係を示す設定のための新しい因果探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-02T04:01:38Z)
• Enhancing the Performance of Neural Networks Through Causal Discovery and Integration of Domain Knowledge [28.584218874973274]
  本研究では,観測変数間の階層的因果構造をニューラルネットワークに符号化し,予測性能を向上させる手法を開発した。 提案手法は、因果性インフォームドニューラルネットワーク(CINN)と呼ばれ、構造因果的知識をニューラルネットワークの層間設計にマッピングする3つのコヒーレントなステップを活用する。
  論文  参考訳（メタデータ） (2023-11-29T01:25:00Z)
• Initial Guessing Bias: How Untrained Networks Favor Some Classes [0.09103230894909536]
  深層ニューラルネットワーク(DNN)の構造は、トレーニング開始前であっても、全ての予測を同じクラスに割り当てるようにモデルを条件付けることができることを示す。 この現象の存在は,データセット前処理手法を含むモデル選択の影響を受けていることを実証する。 ノード置換対称性の分解や自己回避の違反など理論的な結果を強調した。
  論文  参考訳（メタデータ） (2023-06-01T15:37:32Z)
• What and How does In-Context Learning Learn? Bayesian Model Averaging, Parameterization, and Generalization [111.55277952086155]
  In-Context Learning (ICL) をいくつかのオープンな質問に答えることによって研究する。 ニューラルネットワークパラメータを更新せずに、ICLはベイズモデル平均化アルゴリズムを暗黙的に実装している。 事前学習されたモデルの誤差は近似誤差と一般化誤差の和で有界であることを示す。
  論文  参考訳（メタデータ） (2023-05-30T21:23:47Z)
• On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
  近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。 スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。 この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
  論文  参考訳（メタデータ） (2022-06-21T09:42:30Z)
• Orthogonal Stochastic Configuration Networks with Adaptive Construction Parameter for Data Analytics [6.940097162264939]
  ランダム性により、SCNは冗長で品質の低い近似線形相関ノードを生成する可能性が高まる。 機械学習の基本原理、すなわち、パラメータが少ないモデルでは、一般化が向上する。 本稿では,ネットワーク構造低減のために,低品質な隠れノードをフィルタする直交SCN(OSCN)を提案する。
  論文  参考訳（メタデータ） (2022-05-26T07:07:26Z)
• Relating Graph Neural Networks to Structural Causal Models [17.276657786213015]
  因果関係は、興味のある変数とその力学関係に関する情報を伝達する構造因果モデル(SCM)によって記述することができる。 本稿では,GNNとSCMの新たな接続を確立する理論解析について述べる。 次に、GNNに基づく因果推論のための新しいモデルクラスを構築し、因果効果の同定に十分である。
  論文  参考訳（メタデータ） (2021-09-09T11:16:31Z)
• CASTLE: Regularization via Auxiliary Causal Graph Discovery [89.74800176981842]
  因果構造学習(CASTLE)の正規化を導入し,変数間の因果関係を共同学習することでニューラルネットワークの正規化を提案する。 CASTLEは因果的隣り合いを持つ因果的DAGの特徴のみを効率的に再構成する一方、再構成ベース正規化器は全ての入力特徴を過度に再構成する。
  論文  参考訳（メタデータ） (2020-09-28T09:49:38Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Generalising Recursive Neural Models by Tensor Decomposition [12.069862650316262]
  テンソル型定式化を利用した構造文脈のモデルアグリゲーションに対する一般的なアプローチを提案する。 パラメータ空間の大きさの指数関数的成長は、タッカー分解に基づく近似によって制御できることを示す。 これにより、隠れたサイズ、計算複雑性、モデル一般化によって制御される符号化の表現性の間のトレードオフを効果的に制御できる。
  論文  参考訳（メタデータ） (2020-06-17T17:28:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。