論文の概要: Designing Universal Causal Deep Learning Models: The Case of Infinite-Dimensional Dynamical Systems from Stochastic Analysis

• arxiv url: http://arxiv.org/abs/2210.13300v3
• Date: Thu, 10 Apr 2025 13:41:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-19 02:53:36.150646
• Title: Designing Universal Causal Deep Learning Models: The Case of Infinite-Dimensional Dynamical Systems from Stochastic Analysis
• Title（参考訳）: 普遍因果深層学習モデルの設計:確率解析による無限次元力学系の場合
• Authors: Luca Galimberti, Anastasis Kratsios, Giulia Livieri,
• Abstract要約: 解析におけるいくつかの非線形作用素は、現代のニューラル作用素によって利用されていない時間構造に依存している。 本稿では,無限次元線形距離空間を適切に扱うディープラーニングモデル設計フレームワークを提案する。 我々のフレームワークはコンパクトな集合や任意の有限時間地平線 H" や滑らかなトレースクラス作用素に対して均一に近似できることを示す。
• 参考スコア（独自算出の注目度）: 7.373617024876726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Several non-linear operators in stochastic analysis, such as solution maps to stochastic differential equations, depend on a temporal structure which is not leveraged by contemporary neural operators designed to approximate general maps between Banach space. This paper therefore proposes an operator learning solution to this open problem by introducing a deep learning model-design framework that takes suitable infinite-dimensional linear metric spaces, e.g. Banach spaces, as inputs and returns a universal \textit{sequential} deep learning model adapted to these linear geometries specialized for the approximation of operators encoding a temporal structure. We call these models \textit{Causal Neural Operators}. Our main result states that the models produced by our framework can uniformly approximate on compact sets and across arbitrarily finite-time horizons H\"older or smooth trace class operators, which causally map sequences between given linear metric spaces. Our analysis uncovers new quantitative relationships on the latent state-space dimension of Causal Neural Operators, which even have new implications for (classical) finite-dimensional Recurrent Neural Networks. In addition, our guarantees for recurrent neural networks are tighter than the available results inherited from feedforward neural networks when approximating dynamical systems between finite-dimensional spaces.
• Abstract（参考訳）: 解写像から確率微分方程式への解写像のような確率解析におけるいくつかの非線形作用素は、バナッハ空間間の一般写像を近似するために設計された現代のニューラル作用素によって利用されない時間構造に依存している。 そこで本稿では, 時間構造を符号化する演算子の近似に特化して, 任意の無限次元線形距離空間(例えばバナッハ空間)を入力とし, これらの線形測度に適応した普遍的‘textit{sequential} ディープラーニングモデルを返すディープラーニングモデル設計フレームワークを導入することにより, このオープンな問題に対する演算子学習ソリューションを提案する。 これらのモデルをtextit{Causal Neural Operators} と呼ぶ。 我々の主な結果は、我々のフレームワークが生成したモデルがコンパクトな集合や任意の有限時間地平線 H\"older あるいは滑らかなトレースクラス作用素に対して一様に近似可能であることを示し、与えられた線型距離空間間の列を因果的にマッピングする。 解析により,有限次元リカレントニューラルネットワークに新たな意味を持つ因果神経オペレータの潜在状態空間次元に関する新しい定量的関係が明らかになった。 さらに, 有限次元空間間の力学系を近似する場合, フィードフォワード型ニューラルネットワークから得られる結果よりも, 再帰型ニューラルネットワークの保証が厳密である。

関連論文リスト

• A Mathematical Analysis of Neural Operator Behaviors [0.0]
  本稿では,ニューラルネットワークの動作を分析するための厳密な枠組みを提案する。 我々はそれらの安定性、収束性、クラスタリングダイナミクス、普遍性、一般化誤差に焦点を当てる。 我々は,ニューラル演算子に基づく手法の今後の設計のために,単一設定で明確かつ統一的なガイダンスを提供することを目指している。
  論文  参考訳（メタデータ） (2024-10-28T19:38:53Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• The Parametric Complexity of Operator Learning [5.756283466216181]
  本稿では、Cr$-あるいはLipschitz-regularityのみによって特徴づけられる作用素の一般クラスに対して、演算子学習が「パラメトリック複雑性の帰結」に苦しむことを証明する。 この論文の第二の貢献は、ハミルトン・ヤコビ方程式で定義される解作用素に対して、この一般的な呪いが克服可能であることを証明することである。 HJ-Netと呼ばれる新しいニューラル演算子アーキテクチャが導入され、基礎となるハミルトン系の特性情報を明示的に考慮している。
  論文  参考訳（メタデータ） (2023-06-28T05:02:03Z)
• A graph convolutional autoencoder approach to model order reduction for parametrized PDEs [0.8192907805418583]
  本稿では,グラフ畳み込みオートエンコーダ(GCA-ROM)に基づく非線形モデルオーダー削減のためのフレームワークを提案する。 我々は、GNNを利用して、圧縮された多様体を符号化し、パラメタライズされたPDEの高速な評価を可能にする、非侵襲的でデータ駆動の非線形還元手法を開発した。
  論文  参考訳（メタデータ） (2023-05-15T12:01:22Z)
• Learning Discretized Neural Networks under Ricci Flow [51.36292559262042]
  低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。 DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
  論文  参考訳（メタデータ） (2023-02-07T10:51:53Z)
• Generalized Neural Closure Models with Interpretability [28.269731698116257]
  我々は、統合された神経部分遅延微分方程式の新規で汎用的な方法論を開発した。 マルコフ型および非マルコフ型ニューラルネットワーク(NN)の閉包パラメータ化を用いて, 偏微分方程式(PDE)における既存/低忠実度力学モデルを直接拡張する。 本研究では, 非線形波動, 衝撃波, 海洋酸性化モデルに基づく4つの実験セットを用いて, 新しい一般化ニューラルクロージャモデル(gnCMs)の枠組みを実証する。
  論文  参考訳（メタデータ） (2023-01-15T21:57:43Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Discretization Invariant Networks for Learning Maps between Neural Fields [3.09125960098955]
  離散化不変ニューラルネットワーク(DI-Net)の理解と設計のための新しいフレームワークを提案する。 我々の分析は、異なる有限離散化の下でのモデル出力の偏差の上限を確立する。 構成により、DI-Netsは可積分函数空間間の大きな写像のクラスを普遍的に近似することが証明される。
  論文  参考訳（メタデータ） (2022-06-02T17:44:03Z)
• A Deep Learning approach to Reduced Order Modelling of Parameter Dependent Partial Differential Equations [0.2148535041822524]
  パラメーター対解写像の効率的な近似法として,Deep Neural Networks に基づく構築的アプローチを開発した。 特に, パラメタライズド・アドベクション拡散PDEについて検討し, 強輸送場の存在下で方法論を検証した。
  論文  参考訳（メタデータ） (2021-03-10T17:01:42Z)
• A Differential Geometry Perspective on Orthogonal Recurrent Models [56.09491978954866]
  我々は微分幾何学からのツールと洞察を用いて、直交rnnの新しい視点を提供する。 直交RNNは、発散自由ベクトル場の空間における最適化と見なすことができる。 この観測に動機づけられて、ベクトル場全体の空間にまたがる新しいリカレントモデルの研究を行う。
  論文  参考訳（メタデータ） (2021-02-18T19:39:22Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Neural Operator: Graph Kernel Network for Partial Differential Equations [57.90284928158383]
  この作業はニューラルネットワークを一般化し、無限次元空間(演算子)間の写像を学習できるようにすることである。 非線形活性化関数と積分作用素のクラスを構成することにより、無限次元写像の近似を定式化する。 実験により,提案したグラフカーネルネットワークには所望の特性があり,最先端技術と比較した場合の競合性能を示すことが確認された。
  論文  参考訳（メタデータ） (2020-03-07T01:56:20Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。