論文の概要: Causal Deep Learning

• arxiv url: http://arxiv.org/abs/2301.00314v2
• Date: Mon, 23 Dec 2024 16:48:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:53:24.029509
• Title: Causal Deep Learning
• Title（参考訳）: 因果深層学習
• Authors: M. Alex O. Vasilescu,
• Abstract要約: 逆因果質問は、マルチ線形投影アルゴリズムを実装するニューラルネットワークで対処される。 計算にスケーラブルな解に対しては、ブロック代数を利用してディープニューラルネットワークの集合を導出する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We derive a set of causal deep neural networks whose architectures are a consequence of tensor (multilinear) factor analysis, a framework that facilitates forward and inverse causal inference. Forward causal questions are addressed with a neural architecture composed of causal capsules and a tensor transformer. Causal capsules compute a set of invariant causal factor representations, whose interactions are governed by a tensor transformation. Inverse causal questions are addressed with a neural network that implements the multilinear projection algorithm. The architecture reverses the order of the operations of a forward neural network and estimates the causes of effects. As an alternative to aggressive bottleneck dimension reduction or regularized regression that may camouflage an inherently underdetermined inverse problem, we prescribe modeling different aspects of the mechanism of data formation with piecewise tensor models whose multilinear projections produce multiple candidate solutions. Our forward and inverse questions may be addressed with shallow architectures, but for computationally scalable solutions, we derive a set of deep neural networks by taking advantage of block algebra. An interleaved kernel hierarchy results in a doubly non-linear tensor factor models. The causal neural networks that are a consequence of tensor factor analysis are data agnostic, but are illustrated with facial images. Sequential, parallel and asynchronous parallel computation strategies are described.
• Abstract（参考訳）: 本研究では,前後の因果推論を促進するフレームワークであるテンソル(マルチ線形)因子分析の結果となる,因果深いニューラルネットワークの集合を導出する。 因果的疑問は、因果的カプセルとテンソル変換器からなるニューラルアーキテクチャによって解決される。 因果カプセルは、相互作用がテンソル変換によって制御される一連の不変因果因子表現を計算する。 逆因果質問は、マルチ線形投影アルゴリズムを実装するニューラルネットワークで対処される。 このアーキテクチャは、フォワードニューラルネットワークの操作の順序を逆転させ、影響の原因を推定する。 積極的ボトルネック次元の減少や正則化回帰の代替として、本質的に過小評価される逆問題として、多重線型射影が複数の候補解を生成する断片的テンソルモデルを用いて、データ形成のメカニズムの異なる側面をモデル化する。 我々の前方および逆の質問は、浅いアーキテクチャで対処することができるが、計算にスケーラブルなソリューションでは、ブロック代数を利用してディープニューラルネットワークの集合を導出する。 インターリーブされたカーネル階層は、二重に非線形なテンソル因子モデルをもたらす。 テンソル因子分析の結果である因果神経ネットワークは、データに依存しないが、顔画像で示される。 逐次並列並列並列計算戦略について述べる。

関連論文リスト

• Using Degeneracy in the Loss Landscape for Mechanistic Interpretability [0.0]
  機械的解釈可能性(Mechanistic Interpretability)は、ニューラルネットワークによって実装されたアルゴリズムを、その重みとアクティベーションを研究することによってリバースエンジニアリングすることを目的としている。 逆エンジニアリングニューラルネットワークの障害は、ネットワーク内の多くのパラメータが、ネットワークによって実装されている計算に関与していないことである。
  論文  参考訳（メタデータ） (2024-05-17T17:26:33Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Centered Self-Attention Layers [89.21791761168032]
  変圧器の自己保持機構とグラフニューラルネットワークのメッセージ通過機構を繰り返し適用する。 我々は、このアプリケーションが必然的に、より深い層での同様の表現に過剰なスムーシングをもたらすことを示す。 これらの機構の集約演算子に補正項を提示する。
  論文  参考訳（メタデータ） (2023-06-02T15:19:08Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• A predictive physics-aware hybrid reduced order model for reacting flows [65.73506571113623]
  反応流問題の解法として,新しいハイブリッド型予測次数モデル (ROM) を提案する。 自由度は、数千の時間的点から、対応する時間的係数を持ついくつかのPODモードへと減少する。 時間係数を予測するために、2つの異なるディープラーニングアーキテクチャがテストされている。
  論文  参考訳（メタデータ） (2023-01-24T08:39:20Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Modeling Structure with Undirected Neural Networks [20.506232306308977]
  任意の順序で実行できる計算を指定するためのフレキシブルなフレームワークである、非指向型ニューラルネットワークを提案する。 さまざまなタスクにおいて、非構造的かつ構造化された非指向型ニューラルアーキテクチャの有効性を実証する。
  論文  参考訳（メタデータ） (2022-02-08T10:06:51Z)
• A Sparse Coding Interpretation of Neural Networks and Theoretical Implications [0.0]
  深層畳み込みニューラルネットワークは、様々なコンピュータビジョンタスクにおいて前例のない性能を達成した。 本稿では、ReLUアクティベーションを持つニューラルネットワークのスパース符号化解釈を提案する。 正規化やプーリングなしに完全な畳み込みニューラルネットワークを導出する。
  論文  参考訳（メタデータ） (2021-08-14T21:54:47Z)
• Non-asymptotic Excess Risk Bounds for Classification with Deep Convolutional Neural Networks [6.051520664893158]
  本稿では,一般の深層畳み込みニューラルネットワークを用いたバイナリ分類の問題を考える。 我々は、入力データ次元と他のモデルパラメータの観点から、リスク境界の要素を定義する。 CNNを用いた分類手法は次元の呪いを回避できることを示す。
  論文  参考訳（メタデータ） (2021-05-01T15:55:04Z)
• Deep Neural-Kernel Machines [4.213427823201119]
  本章では,近年のディープ・ニューラル・カーネル・アーキテクチャの進展に関する文献について概説する。 我々は、異なるプーリング層を備えたより深いモデルのためのコアモジュールとして機能するニューラルカーネルアーキテクチャを導入する。 特に,平均,最大,畳み込み層を有する3つのニューラルカーネルマシンについて検討した。
  論文  参考訳（メタデータ） (2020-07-13T19:46:29Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。