論文の概要: Structured Neural Networks for Density Estimation and Causal Inference

• arxiv url: http://arxiv.org/abs/2311.02221v1
• Date: Fri, 3 Nov 2023 20:15:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 19:01:47.180959
• Title: Structured Neural Networks for Density Estimation and Causal Inference
• Title（参考訳）: 密度推定と因果推論のための構造化ニューラルネットワーク
• Authors: Asic Q. Chen, Ruian Shi, Xiang Gao, Ricardo Baptista, Rahul G. Krishnan
• Abstract要約: ニューラルネットワークに構造を注入することで、入力のサブセットに関する不変性を満たす学習機能を実現することができる。 本稿では,ニューラルネットワークのマスキング経路を通じて構造を注入する構造ニューラルネットワーク(StrNN)を提案する。
• 参考スコア（独自算出の注目度）: 15.63518195860946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Injecting structure into neural networks enables learning functions that satisfy invariances with respect to subsets of inputs. For instance, when learning generative models using neural networks, it is advantageous to encode the conditional independence structure of observed variables, often in the form of Bayesian networks. We propose the Structured Neural Network (StrNN), which injects structure through masking pathways in a neural network. The masks are designed via a novel relationship we explore between neural network architectures and binary matrix factorization, to ensure that the desired independencies are respected. We devise and study practical algorithms for this otherwise NP-hard design problem based on novel objectives that control the model architecture. We demonstrate the utility of StrNN in three applications: (1) binary and Gaussian density estimation with StrNN, (2) real-valued density estimation with Structured Autoregressive Flows (StrAFs) and Structured Continuous Normalizing Flows (StrCNF), and (3) interventional and counterfactual analysis with StrAFs for causal inference. Our work opens up new avenues for learning neural networks that enable data-efficient generative modeling and the use of normalizing flows for causal effect estimation.
• Abstract（参考訳）: ニューラルネットワークに構造を注入することで、入力のサブセットに関して不変性を満たす学習関数が可能になる。 例えば、ニューラルネットワークを用いて生成モデルを学習する場合、しばしばベイズネットワークの形で、観測変数の条件付き独立構造を符号化することが有利である。 本稿では,ニューラルネットワークのマスキング経路を通じて構造を注入する構造ニューラルネットワーク(StrNN)を提案する。 マスクは、我々がニューラルネットワークアーキテクチャとバイナリ行列分解の間で探求する新しい関係を通して設計され、所望の非依存が尊重されることを保証する。 我々は、モデルアーキテクチャを制御する新しい目的に基づいたnpハード設計問題に対して、実用的なアルゴリズムを考案し、研究する。 我々は,(1) StrNNを用いた二分法とガウス密度推定,(2) 構造化自己回帰流(StrAF)と構造化連続正規化流(StrCNF)による実数値密度推定,(3) 因果推論のためのStrAFによる干渉および反ファクト解析の3つの応用において,StrNNの有用性を実証する。 我々の研究は、データ効率の良い生成モデルを可能にするニューラルネットワーク学習のための新しい道を開き、因果効果推定に正規化フローを使用する。

関連論文リスト

• Convergence Analysis for Deep Sparse Coding via Convolutional Neural Networks [7.956678963695681]
  本稿では,Deep Sparse Coding(DSC)モデルについて紹介する。 スパース特徴を抽出する能力において,CNNの収束率を導出する。 スパースコーディングとCNNの強いつながりにインスパイアされた私たちは、ニューラルネットワークがよりスパースな機能を学ぶように促すトレーニング戦略を探求する。
  論文  参考訳（メタデータ） (2024-08-10T12:43:55Z)
• Motif distribution and function of sparse deep neural networks [3.538505670919954]
  我々は,ネットワークモチーフ理論を用いて,フィードフォワード,ディープニューラルネットワーク(DNN)の接続構造を特徴付ける。 そこで本研究では,DNNが,そのモチーフ分布によって特徴付けられる類似の接続パターンに収束することを示す。
  論文  参考訳（メタデータ） (2024-03-01T20:51:10Z)
• Neural Network with Local Converging Input (NNLCI) for Supersonic Flow Problems with Unstructured Grids [0.9152133607343995]
  非構造データを用いた高忠実度予測のための局所収束入力(NNLCI)を用いたニューラルネットワークを開発した。 また, NNLCI法を用いて, バンプを有するチャネル内の超音速流の可視化を行った。
  論文  参考訳（メタデータ） (2023-10-23T19:03:37Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Modeling Structure with Undirected Neural Networks [20.506232306308977]
  任意の順序で実行できる計算を指定するためのフレキシブルなフレームワークである、非指向型ニューラルネットワークを提案する。 さまざまなタスクにおいて、非構造的かつ構造化された非指向型ニューラルアーキテクチャの有効性を実証する。
  論文  参考訳（メタデータ） (2022-02-08T10:06:51Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。