論文の概要: Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach

• arxiv url: http://arxiv.org/abs/2007.01290v3
• Date: Tue, 20 Oct 2020 16:56:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 13:24:29.211975
• Title: Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach
• Title（参考訳）: 構造方程式モデルの効率的な神経推定--敵対的アプローチ
• Authors: Luofeng Liao, You-Lin Chen, Zhuoran Yang, Bo Dai, Zhaoran Wang, Mladen Kolar
• Abstract要約: 一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
• 参考スコア（独自算出の注目度）: 144.21892195917758
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Structural equation models (SEMs) are widely used in sciences, ranging from economics to psychology, to uncover causal relationships underlying a complex system under consideration and estimate structural parameters of interest. We study estimation in a class of generalized SEMs where the object of interest is defined as the solution to a linear operator equation. We formulate the linear operator equation as a min-max game, where both players are parameterized by neural networks (NNs), and learn the parameters of these neural networks using the stochastic gradient descent. We consider both 2-layer and multi-layer NNs with ReLU activation functions and prove global convergence in an overparametrized regime, where the number of neurons is diverging. The results are established using techniques from online learning and local linearization of NNs, and improve in several aspects the current state-of-the-art. For the first time we provide a tractable estimation procedure for SEMs based on NNs with provable convergence and without the need for sample splitting.
• Abstract（参考訳）: 構造方程式モデル(SEM)は、経済学から心理学まで、複雑なシステムの根底にある因果関係を解明し、関心の構造的パラメータを推定するために広く用いられている。 対象が線形作用素方程式の解として定義される一般化されたSEMのクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、確率勾配勾配を用いてこれらのニューラルネットワークのパラメータを学習する。 reluアクティベーション機能を持つ2層および多層nnを考察し,ニューロン数が分岐する過パラメータ領域において大域収束を証明した。 結果は、オンライン学習とNNの局所線形化の技術を用いて構築され、現状のいくつかの面で改善されている。 提案手法は,サンプル分割を必要とせず,確固とした収束性を備えたNNに基づくSEMの抽出可能な推定手順を初めて提供する。

関連論文リスト

• Generalized Neural Closure Models with Interpretability [28.269731698116257]
  我々は、統合された神経部分遅延微分方程式の新規で汎用的な方法論を開発した。 マルコフ型および非マルコフ型ニューラルネットワーク(NN)の閉包パラメータ化を用いて, 偏微分方程式(PDE)における既存/低忠実度力学モデルを直接拡張する。 本研究では, 非線形波動, 衝撃波, 海洋酸性化モデルに基づく4つの実験セットを用いて, 新しい一般化ニューラルクロージャモデル(gnCMs)の枠組みを実証する。
  論文  参考訳（メタデータ） (2023-01-15T21:57:43Z)
• A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
  本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。 既成のディープラーニングアプローチとは対照的に、情報生成のためのモジュールと、それに続くソリューションへの情報の組み立てのためのモジュールの分離が特徴である。 本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
  論文  参考訳（メタデータ） (2022-11-22T16:30:33Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Network [57.06026574261203]
  長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 この結果は、グラディエント・Descentがある種のバランス性を維持するために努力していることを示す力学的な特徴に依拠している。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Mean-Field Analysis of Two-Layer Neural Networks: Global Optimality with Linear Convergence Rates [7.094295642076582]
  平均場体制はNTK(lazy training)体制の理論的に魅力的な代替手段である。 平均場状態における連続ノイズ降下により訓練された2層ニューラルネットワークに対する線形収束結果を確立した。
  論文  参考訳（メタデータ） (2022-05-19T21:05:40Z)
• Deep neural networks for smooth approximation of physics with higher order and continuity B-spline base functions [0.4588028371034407]
  伝統的に、ニューラルネットワークは、与えられた物理現象を近似するために非線形活性化関数を使用する。 そこで本研究では, 物理量を滑らかなB-スプライン基底関数の線形結合として近似する手法を提案する。 物理場を近似する場合,我々のアプローチはより安価で正確であることを示す。
  論文  参考訳（メタデータ） (2022-01-03T23:02:39Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。