論文の概要: Designing Universal Causal Deep Learning Models: The Case of Infinite-Dimensional Dynamical Systems from Stochastic Analysis

• arxiv url: http://arxiv.org/abs/2210.13300v2
• Date: Tue, 9 May 2023 13:06:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-10 20:39:24.499976
• Title: Designing Universal Causal Deep Learning Models: The Case of Infinite-Dimensional Dynamical Systems from Stochastic Analysis
• Title（参考訳）: 普遍因果深層学習モデルの設計:確率解析による無限次元力学系の場合
• Authors: Luca Galimberti, Anastasis Kratsios, Giulia Livieri
• Abstract要約: 因果作用素(COs)は、現代の分析において中心的な役割を果たす。 COを近似できるディープラーニング(DL)モデルを設計するための標準的なフレームワークはまだ存在しない。 本稿では、DLモデル設計フレームワークを導入することにより、このオープンな問題に対する「幾何学的認識」ソリューションを提案する。
• 参考スコア（独自算出の注目度）: 3.5450828190071655
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Causal operators (CO), such as various solution operators to stochastic differential equations, play a central role in contemporary stochastic analysis; however, there is still no canonical framework for designing Deep Learning (DL) models capable of approximating COs. This paper proposes a "geometry-aware'" solution to this open problem by introducing a DL model-design framework that takes suitable infinite-dimensional linear metric spaces as inputs and returns a universal sequential DL model adapted to these linear geometries. We call these models Causal Neural Operators (CNOs). Our main result states that the models produced by our framework can uniformly approximate on compact sets and across arbitrarily finite-time horizons H\"older or smooth trace class operators, which causally map sequences between given linear metric spaces. Our analysis uncovers new quantitative relationships on the latent state-space dimension of CNOs which even have new implications for (classical) finite-dimensional Recurrent Neural Networks (RNNs). We find that a linear increase of the CNO's (or RNN's) latent parameter space's dimension and of its width, and a logarithmic increase of its depth imply an exponential increase in the number of time steps for which its approximation remains valid. A direct consequence of our analysis shows that RNNs can approximate causal functions using exponentially fewer parameters than ReLU networks.
• Abstract（参考訳）: 確率微分方程式に対する様々な解演算子(CO)は、現代の確率解析において中心的な役割を果たすが、COを近似できるディープラーニング(DL)モデルを設計するための標準的な枠組みはいまだ存在しない。 本稿では, 任意の無限次元線型距離空間を入力とし, それらの線形幾何に適応した普遍逐次dlモデルを返すdlモデル設計フレームワークを導入することにより, このオープン問題に対する「ジオメトリ・アウェア」な解法を提案する。 これらのモデルをCausal Neural Operators (CNO)と呼ぶ。 我々の主な結果は、我々のフレームワークが生成したモデルがコンパクトな集合や任意の有限時間地平線 H\"older あるいは滑らかなトレースクラス作用素に均一に近似できることを示している。 解析により, 有限次元リカレントニューラルネットワーク(RNN)の新しい意味を持つCNOの潜在状態空間次元に関する新しい定量的関係が明らかになった。 CNO(またはRNN)潜在パラメータ空間の次元とその幅の線形増加と、その深さの対数的増加は、その近似が有効である時間ステップの数が指数関数的に増加することを意味する。 解析の結果,RNNはReLUネットワークよりも指数的に少ないパラメータで因果関数を近似できることがわかった。

関連論文リスト

• A graph convolutional autoencoder approach to model order reduction for parametrized PDEs [0.8192907805418583]
  本稿では,グラフ畳み込みオートエンコーダ(GCA-ROM)に基づく非線形モデルオーダー削減のためのフレームワークを提案する。 我々は、GNNを利用して、圧縮された多様体を符号化し、パラメタライズされたPDEの高速な評価を可能にする、非侵襲的でデータ駆動の非線形還元手法を開発した。
  論文  参考訳（メタデータ） (2023-05-15T12:01:22Z)
• Learning Discretized Neural Networks under Ricci Flow [51.36292559262042]
  低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。 DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
  論文  参考訳（メタデータ） (2023-02-07T10:51:53Z)
• Generalized Neural Closure Models with Interpretability [28.269731698116257]
  我々は、統合された神経部分遅延微分方程式の新規で汎用的な方法論を開発した。 マルコフ型および非マルコフ型ニューラルネットワーク(NN)の閉包パラメータ化を用いて, 偏微分方程式(PDE)における既存/低忠実度力学モデルを直接拡張する。 本研究では, 非線形波動, 衝撃波, 海洋酸性化モデルに基づく4つの実験セットを用いて, 新しい一般化ニューラルクロージャモデル(gnCMs)の枠組みを実証する。
  論文  参考訳（メタデータ） (2023-01-15T21:57:43Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• A Deep Learning approach to Reduced Order Modelling of Parameter Dependent Partial Differential Equations [0.2148535041822524]
  パラメーター対解写像の効率的な近似法として,Deep Neural Networks に基づく構築的アプローチを開発した。 特に, パラメタライズド・アドベクション拡散PDEについて検討し, 強輸送場の存在下で方法論を検証した。
  論文  参考訳（メタデータ） (2021-03-10T17:01:42Z)
• A Differential Geometry Perspective on Orthogonal Recurrent Models [56.09491978954866]
  我々は微分幾何学からのツールと洞察を用いて、直交rnnの新しい視点を提供する。 直交RNNは、発散自由ベクトル場の空間における最適化と見なすことができる。 この観測に動機づけられて、ベクトル場全体の空間にまたがる新しいリカレントモデルの研究を行う。
  論文  参考訳（メタデータ） (2021-02-18T19:39:22Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。