論文の概要: Enhancing the Performance of Neural Networks Through Causal Discovery and Integration of Domain Knowledge

• arxiv url: http://arxiv.org/abs/2311.17303v1
• Date: Wed, 29 Nov 2023 01:25:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 22:50:15.382850
• Title: Enhancing the Performance of Neural Networks Through Causal Discovery and Integration of Domain Knowledge
• Title（参考訳）: 因果的発見とドメイン知識の統合によるニューラルネットワークの性能向上
• Authors: Xiaoge Zhang, Xiao-Lin Wang, Fenglei Fan, Yiu-Ming Cheung, Indranil Bose
• Abstract要約: 本研究では,観測変数間の階層的因果構造をニューラルネットワークに符号化し,予測性能を向上させる手法を開発した。 提案手法は、因果性インフォームドニューラルネットワーク(CINN)と呼ばれ、構造因果的知識をニューラルネットワークの層間設計にマッピングする3つのコヒーレントなステップを活用する。
• 参考スコア（独自算出の注目度）: 30.666463571510242
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we develop a generic methodology to encode hierarchical causality structure among observed variables into a neural network in order to improve its predictive performance. The proposed methodology, called causality-informed neural network (CINN), leverages three coherent steps to systematically map the structural causal knowledge into the layer-to-layer design of neural network while strictly preserving the orientation of every causal relationship. In the first step, CINN discovers causal relationships from observational data via directed acyclic graph (DAG) learning, where causal discovery is recast as a continuous optimization problem to avoid the combinatorial nature. In the second step, the discovered hierarchical causality structure among observed variables is systematically encoded into neural network through a dedicated architecture and customized loss function. By categorizing variables in the causal DAG as root, intermediate, and leaf nodes, the hierarchical causal DAG is translated into CINN with a one-to-one correspondence between nodes in the causal DAG and units in the CINN while maintaining the relative order among these nodes. Regarding the loss function, both intermediate and leaf nodes in the DAG graph are treated as target outputs during CINN training so as to drive co-learning of causal relationships among different types of nodes. As multiple loss components emerge in CINN, we leverage the projection of conflicting gradients to mitigate gradient interference among the multiple learning tasks. Computational experiments across a broad spectrum of UCI data sets demonstrate substantial advantages of CINN in predictive performance over other state-of-the-art methods. In addition, an ablation study underscores the value of integrating structural and quantitative causal knowledge in enhancing the neural network's predictive performance incrementally.
• Abstract（参考訳）: 本稿では,観測変数間の階層的因果構造をニューラルネットワークに符号化し,予測性能を向上させるための汎用手法を開発する。 提案手法はcausality-informed neural network (cinn)と呼ばれ、構造的因果知識をニューラルネットワークの層間設計に体系的にマッピングし、すべての因果関係の方向性を厳密に保ちながら、3つのコヒーレントなステップを活用する。 最初のステップでは、CINNは、有向非巡回グラフ(DAG)学習を通じて観測データから因果関係を発見し、因果発見を連続最適化問題として再キャストし、組み合わせの性質を回避する。 第2のステップでは、観測された変数間の階層的因果構造が、専用のアーキテクチャとカスタマイズされた損失関数によってニューラルネットワークに体系的に符号化される。 因果DAGの変数を根、中間、葉ノードとして分類することにより、階層因果DAGは、因果DAGのノードとCINNのユニットの1対1対応でCINNに変換される。 損失関数に関して、DAGグラフの中間ノードと葉ノードをCINNトレーニング中にターゲット出力として扱い、異なるタイプのノード間の因果関係のコラーニングを行う。 CINNで複数の損失成分が出現するにつれて、矛盾する勾配の予測を利用して、複数の学習タスク間の勾配干渉を軽減する。 UCIデータセットの幅広い範囲にわたる計算実験は、他の最先端手法に比べて予測性能においてCINNのかなりの利点を示している。 さらに、アブレーション研究は、ニューラルネットワークの予測性能を段階的に向上させる上で、構造的および定量的因果知識を統合する価値を強調する。

関連論文リスト

• Fractional-order spike-timing-dependent gradient descent for multi-layer spiking neural networks [18.142378139047977]
  本稿では,数次スパイクタイピング依存勾配勾配(FOSTDGD)学習モデルを提案する。 TheNISTとDVS128 Gestureデータセットでテストし、その精度を異なるネットワーク構造と分数順序で分析する。
  論文  参考訳（メタデータ） (2024-10-20T05:31:34Z)
• Neural Networks Decoded: Targeted and Robust Analysis of Neural Network Decisions via Causal Explanations and Reasoning [9.947555560412397]
  本稿では、因果推論理論に基づく新しい手法TRACERを紹介し、DNN決定の根底にある因果ダイナミクスを推定する。 提案手法は入力特徴に系統的に介入し,特定の変化がネットワークを介してどのように伝播するかを観察し,内部の活性化と最終的な出力に影響を与える。 TRACERはさらに、モデルバイアスの可能性のある反ファクトを生成することで説明可能性を高め、誤分類に対する対照的な説明を提供する。
  論文  参考訳（メタデータ） (2024-10-07T20:44:53Z)
• DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
  グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。 BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。 半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
  論文  参考訳（メタデータ） (2024-06-04T07:24:51Z)
• Rethinking Causal Relationships Learning in Graph Neural Networks [24.7962807148905]
  本稿では,GNNの因果学習能力を高めるために,軽量で適応可能なGNNモジュールを提案する。 提案モジュールの有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-12-15T08:54:32Z)
• On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
  近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。 スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。 この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
  論文  参考訳（メタデータ） (2022-06-21T09:42:30Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Tackling Oversmoothing of GNNs with Contrastive Learning [35.88575306925201]
  グラフニューラルネットワーク(GNN)は、グラフデータと表現学習能力の包括的な関係を統合する。 オーバースムーシングはノードの最終的な表現を識別不能にし、ノード分類とリンク予測性能を劣化させる。 本稿では,TGCL(Topology-Guided Graph Contrastive Layer)を提案する。
  論文  参考訳（メタデータ） (2021-10-26T15:56:16Z)
• Learning Neural Causal Models with Active Interventions [83.44636110899742]
  本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。 本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。 シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-06T13:10:37Z)
• Stochastic Graph Neural Networks [123.39024384275054]
  グラフニューラルネットワーク(GNN)は、分散エージェント調整、制御、計画に応用したグラフデータの非線形表現をモデル化する。 現在のGNNアーキテクチャは理想的なシナリオを前提として,環境やヒューマンファクタ,あるいは外部攻撃によるリンク変動を無視している。 これらの状況において、GNNは、トポロジカルなランダム性を考慮していない場合、その分散タスクに対処することができない。
  論文  参考訳（メタデータ） (2020-06-04T08:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。