論文の概要: Designing Universal Causal Deep Learning Models: The Case of Infinite-Dimensional Dynamical Systems from Stochastic Analysis

• arxiv url: http://arxiv.org/abs/2210.13300v3
• Date: Thu, 10 Apr 2025 13:41:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-11 12:19:16.417426
• Title: Designing Universal Causal Deep Learning Models: The Case of Infinite-Dimensional Dynamical Systems from Stochastic Analysis
• Title（参考訳）: 普遍因果深層学習モデルの設計:確率解析による無限次元力学系の場合
• Authors: Luca Galimberti, Anastasis Kratsios, Giulia Livieri,
• Abstract要約: 解析におけるいくつかの非線形作用素は、現代のニューラル作用素によって利用されていない時間構造に依存している。 本稿では,無限次元線形距離空間を適切に扱うディープラーニングモデル設計フレームワークを提案する。 我々のフレームワークはコンパクトな集合や任意の有限時間地平線 H" や滑らかなトレースクラス作用素に対して均一に近似できることを示す。
• 参考スコア（独自算出の注目度）: 7.373617024876726
• License:
• Abstract: Several non-linear operators in stochastic analysis, such as solution maps to stochastic differential equations, depend on a temporal structure which is not leveraged by contemporary neural operators designed to approximate general maps between Banach space. This paper therefore proposes an operator learning solution to this open problem by introducing a deep learning model-design framework that takes suitable infinite-dimensional linear metric spaces, e.g. Banach spaces, as inputs and returns a universal \textit{sequential} deep learning model adapted to these linear geometries specialized for the approximation of operators encoding a temporal structure. We call these models \textit{Causal Neural Operators}. Our main result states that the models produced by our framework can uniformly approximate on compact sets and across arbitrarily finite-time horizons H\"older or smooth trace class operators, which causally map sequences between given linear metric spaces. Our analysis uncovers new quantitative relationships on the latent state-space dimension of Causal Neural Operators, which even have new implications for (classical) finite-dimensional Recurrent Neural Networks. In addition, our guarantees for recurrent neural networks are tighter than the available results inherited from feedforward neural networks when approximating dynamical systems between finite-dimensional spaces.
• Abstract（参考訳）: 解写像から確率微分方程式への解写像のような確率解析におけるいくつかの非線形作用素は、バナッハ空間間の一般写像を近似するために設計された現代のニューラル作用素によって利用されない時間構造に依存している。 そこで本稿では, 時間構造を符号化する演算子の近似に特化して, 任意の無限次元線形距離空間(例えばバナッハ空間)を入力とし, これらの線形測度に適応した普遍的‘textit{sequential} ディープラーニングモデルを返すディープラーニングモデル設計フレームワークを導入することにより, このオープンな問題に対する演算子学習ソリューションを提案する。 これらのモデルをtextit{Causal Neural Operators} と呼ぶ。 我々の主な結果は、我々のフレームワークが生成したモデルがコンパクトな集合や任意の有限時間地平線 H\"older あるいは滑らかなトレースクラス作用素に対して一様に近似可能であることを示し、与えられた線型距離空間間の列を因果的にマッピングする。 解析により,有限次元リカレントニューラルネットワークに新たな意味を持つ因果神経オペレータの潜在状態空間次元に関する新しい定量的関係が明らかになった。 さらに, 有限次元空間間の力学系を近似する場合, フィードフォワード型ニューラルネットワークから得られる結果よりも, 再帰型ニューラルネットワークの保証が厳密である。

関連論文リスト

• Random Sparse Lifts: Construction, Analysis and Convergence of finite sparse networks [17.487761710665968]
  本稿では,パラメータの数が増えると,勾配流による学習が任意に低損失に達するような,ニューラルネットワークの大規模クラスを定義する枠組みを提案する。
  論文  参考訳（メタデータ） (2025-01-10T12:52:00Z)
• A graph convolutional autoencoder approach to model order reduction for parametrized PDEs [0.8192907805418583]
  本稿では,グラフ畳み込みオートエンコーダ(GCA-ROM)に基づく非線形モデルオーダー削減のためのフレームワークを提案する。 我々は、GNNを利用して、圧縮された多様体を符号化し、パラメタライズされたPDEの高速な評価を可能にする、非侵襲的でデータ駆動の非線形還元手法を開発した。
  論文  参考訳（メタデータ） (2023-05-15T12:01:22Z)
• Generalized Neural Closure Models with Interpretability [28.269731698116257]
  我々は、統合された神経部分遅延微分方程式の新規で汎用的な方法論を開発した。 マルコフ型および非マルコフ型ニューラルネットワーク(NN)の閉包パラメータ化を用いて, 偏微分方程式(PDE)における既存/低忠実度力学モデルを直接拡張する。 本研究では, 非線形波動, 衝撃波, 海洋酸性化モデルに基づく4つの実験セットを用いて, 新しい一般化ニューラルクロージャモデル(gnCMs)の枠組みを実証する。
  論文  参考訳（メタデータ） (2023-01-15T21:57:43Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Neural Operator with Regularity Structure for Modeling Dynamics Driven by SPDEs [70.51212431290611]
  偏微分方程式 (SPDE) は、大気科学や物理学を含む多くの分野において、力学をモデル化するための重要なツールである。 本研究では,SPDEによって駆動されるダイナミクスをモデル化するための特徴ベクトルを組み込んだニューラル演算子(NORS)を提案する。 動的Phi41モデルと2d Navier-Stokes方程式を含む様々なSPDE実験を行った。
  論文  参考訳（メタデータ） (2022-04-13T08:53:41Z)
• A Differential Geometry Perspective on Orthogonal Recurrent Models [56.09491978954866]
  我々は微分幾何学からのツールと洞察を用いて、直交rnnの新しい視点を提供する。 直交RNNは、発散自由ベクトル場の空間における最適化と見なすことができる。 この観測に動機づけられて、ベクトル場全体の空間にまたがる新しいリカレントモデルの研究を行う。
  論文  参考訳（メタデータ） (2021-02-18T19:39:22Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。