論文の概要: CaTs and DAGs: Integrating Directed Acyclic Graphs with Transformers and Fully-Connected Neural Networks for Causally Constrained Predictions

• arxiv url: http://arxiv.org/abs/2410.14485v3
• Date: Mon, 28 Oct 2024 12:35:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:17:58.411088
• Title: CaTs and DAGs: Integrating Directed Acyclic Graphs with Transformers and Fully-Connected Neural Networks for Causally Constrained Predictions
• Title（参考訳）: CaTsとDAGs:因果拘束予測のための変換器と完全連結ニューラルネットワークとの直接非巡回グラフの統合
• Authors: Matthew J. Vowels, Mathieu Rochat, Sina Akbari,
• Abstract要約: CFCN(Causal Fully-Connected Neural Networks)とCaT(Causal Transformers)を紹介する。 CFCNsとCaTsは、DAG(Directed Acyclic Graph)によって規定された、予め定義された因果制約の下で動作する これらのモデルは、基盤となる構造的制約に固執しながら、従来のニューラルネットワークの強力な関数近似能力を保持します。
• 参考スコア（独自算出の注目度）: 6.745494093127968
• License:
• Abstract: Artificial Neural Networks (ANNs), including fully-connected networks and transformers, are highly flexible and powerful function approximators, widely applied in fields like computer vision and natural language processing. However, their inability to inherently respect causal structures can limit their robustness, making them vulnerable to covariate shift and difficult to interpret/explain. This poses significant challenges for their reliability in real-world applications. In this paper, we introduce Causal Fully-Connected Neural Networks (CFCNs) and Causal Transformers (CaTs), two general model families designed to operate under predefined causal constraints, as specified by a Directed Acyclic Graph (DAG). These models retain the powerful function approximation abilities of traditional neural networks while adhering to the underlying structural constraints, improving robustness, reliability, and interpretability at inference time. This approach opens new avenues for deploying neural networks in more demanding, real-world scenarios where robustness and explainability is critical.
• Abstract（参考訳）: 完全に接続されたネットワークやトランスフォーマーを含む人工ニューラルネットワーク(ANN)は、コンピュータビジョンや自然言語処理といった分野に広く応用されている、非常に柔軟で強力な関数近似器である。 しかし、因果構造を本質的に尊重できないことは、その頑丈さを制限し、共変量シフトに脆弱であり、解釈や説明が困難である。 これは、現実世界のアプリケーションにおける信頼性に重大な課題をもたらす。 本稿では,CFCN (Causal Fully-Connected Neural Networks) とCaT (Causal Transformers) を紹介する。 これらのモデルは、基盤となる構造的制約に固執し、推論時の堅牢性、信頼性、解釈可能性を改善しながら、従来のニューラルネットワークの強力な機能近似能力を保持します。 このアプローチは、堅牢性と説明責任が不可欠である、より要求の多い実世界のシナリオにニューラルネットワークをデプロイするための新たな道を開く。

関連論文リスト

• Beyond Pruning Criteria: The Dominant Role of Fine-Tuning and Adaptive Ratios in Neural Network Robustness [7.742297876120561]
  ディープニューラルネットワーク(DNN)は、画像認識や自然言語処理といったタスクに優れています。 従来のプルーニング手法は、微妙な摂動に耐えるネットワークの能力を損なう。 本稿では,プライドネットワークの性能決定要因として,従来の重み付け重み付けの重視に挑戦する。
  論文  参考訳（メタデータ） (2024-10-19T18:35:52Z)
• Neural Networks Decoded: Targeted and Robust Analysis of Neural Network Decisions via Causal Explanations and Reasoning [9.947555560412397]
  本稿では、因果推論理論に基づく新しい手法TRACERを紹介し、DNN決定の根底にある因果ダイナミクスを推定する。 提案手法は入力特徴に系統的に介入し,特定の変化がネットワークを介してどのように伝播するかを観察し,内部の活性化と最終的な出力に影響を与える。 TRACERはさらに、モデルバイアスの可能性のある反ファクトを生成することで説明可能性を高め、誤分類に対する対照的な説明を提供する。
  論文  参考訳（メタデータ） (2024-10-07T20:44:53Z)
• TDNetGen: Empowering Complex Network Resilience Prediction with Generative Augmentation of Topology and Dynamics [14.25304439234864]
  本稿では,ネットワークトポロジとダイナミックスの生成的データ拡張を通じてこの問題に対処するために設計された,複雑なネットワークに対する新しいレジリエンス予測フレームワークを提案する。 3つのネットワークデータセットの実験結果から,提案するフレームワークであるTDNetGenは,最大85%～95%の精度で高い予測精度を達成可能であることが示された。
  論文  参考訳（メタデータ） (2024-08-19T09:20:31Z)
• Equivariant Matrix Function Neural Networks [1.8717045355288808]
  解析行列同変関数を通じて非局所的相互作用をパラメータ化する新しいアーキテクチャであるマトリックス関数ニューラルネットワーク(MFNs)を導入する。 MFNは量子系の複雑な非局所的な相互作用を捉えることができ、新しい最先端の力場への道を歩むことができる。
  論文  参考訳（メタデータ） (2023-10-16T14:17:00Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• Causal Reasoning: Charting a Revolutionary Course for Next-Generation AI-Native Wireless Networks [63.246437631458356]
  次世代無線ネットワーク(例:6G)は人工知能(AI)ネイティブである。 本稿では、新たな因果推論分野を基盤として、AIネイティブな無線ネットワークを構築するための新しいフレームワークを紹介する。 因果発見と表現によって対処できる無線ネットワークの課題をいくつか挙げる。
  論文  参考訳（メタデータ） (2023-09-23T00:05:39Z)
• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• Building Compact and Robust Deep Neural Networks with Toeplitz Matrices [93.05076144491146]
  この論文は、コンパクトで、訓練が容易で、信頼性があり、敵の例に対して堅牢なニューラルネットワークを訓練する問題に焦点を当てている。 Toeplitzファミリーの構造化行列の特性を利用して、コンパクトでセキュアなニューラルネットワークを構築する。
  論文  参考訳（メタデータ） (2021-09-02T13:58:12Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。