論文の概要: Embedding Capabilities of Neural ODEs

• arxiv url: http://arxiv.org/abs/2308.01213v2
• Date: Thu, 28 Sep 2023 08:52:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-29 20:06:55.048790
• Title: Embedding Capabilities of Neural ODEs
• Title（参考訳）: 神経odeの埋め込み機能
• Authors: Christian Kuehn and Sara-Viola Kuntz
• Abstract要約: 動的システム理論を用いたニューラルODEの入出力関係について検討する。 我々は,低次元および高次元の異なるニューラルODEアーキテクチャにおける写像の正確な埋め込みについて,いくつかの結果を証明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A class of neural networks that gained particular interest in the last years are neural ordinary differential equations (neural ODEs). We study input-output relations of neural ODEs using dynamical systems theory and prove several results about the exact embedding of maps in different neural ODE architectures in low and high dimension. The embedding capability of a neural ODE architecture can be increased by adding, for example, a linear layer, or augmenting the phase space. Yet, there is currently no systematic theory available and our work contributes towards this goal by developing various embedding results as well as identifying situations, where no embedding is possible. The mathematical techniques used include as main components iterative functional equations, Morse functions and suspension flows, as well as several further ideas from analysis. Although practically, mainly universal approximation theorems are used, our geometric dynamical systems viewpoint on universal embedding provides a fundamental understanding, why certain neural ODE architectures perform better than others.
• Abstract（参考訳）: 過去数年間に特に注目されたニューラルネットワークのクラスは、ニューラル常微分方程式(ニューラルODE)である。 動的システム理論を用いてニューラルODEの入出力関係を解析し、低次元および高次元の異なるニューラルODEアーキテクチャにおけるマップの正確な埋め込みに関するいくつかの結果を示す。 ニューラルODEアーキテクチャの埋め込み能力は、例えば線形層の追加や位相空間の増大によって向上することができる。 しかし、現在では体系的な理論は存在せず、組込みが不可能な状況の特定だけでなく、様々な組込み結果を開発することで、この目標に貢献する。 用いられる数学的手法には、主成分反復関数方程式、モース関数、懸垂流、解析からのさらなるアイデアなどが含まれる。 実際、主に普遍近似定理が用いられるが、我々の普遍埋め込みに関する幾何学力学系の視点は、なぜある種のニューラルODEアーキテクチャが他よりも優れているのかという根本的な理解を与える。

関連論文リスト

• Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
  本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。 次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。 このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
  論文  参考訳（メタデータ） (2024-05-21T20:37:07Z)
• Neural Fractional Differential Equations [2.812395851874055]
  FDE(Fractional Differential Equations)は、科学や工学において複雑なシステムをモデル化するための重要なツールである。 我々は、FDEをデータのダイナミックスに調整する新しいディープニューラルネットワークアーキテクチャであるNeural FDEを提案する。
  論文  参考訳（メタデータ） (2024-03-05T07:45:29Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• Uncertainty and Structure in Neural Ordinary Differential Equations [28.12033356095061]
  ラプラス近似のような基礎的で軽量なベイズ深層学習技術がニューラルネットワークに適用可能であることを示す。 我々は、最近提案された2つのニューラルODEフレームワークにおいて、機械的知識と不確実性量子化がどのように相互作用するかを考察する。
  論文  参考訳（メタデータ） (2023-05-22T17:50:42Z)
• Interpretable Polynomial Neural Ordinary Differential Equations [3.04585143845864]
  本稿では,ニューラルODEフレームワーク内のディープニューラルネットワークであるニューラルODEを紹介する。 我々は、SINDyのような追加ツールを使わずに、トレーニング領域外を予測し、直接的シンボル回帰を行うニューラルODEの能力を実証する。
  論文  参考訳（メタデータ） (2022-08-09T23:23:37Z)
• Reachability Analysis of a General Class of Neural Ordinary Differential Equations [7.774796410415387]
  連続的なディープラーニングモデル(Neural Ordinary Differential Equations (Neural ODEs)と呼ばれる)は、ここ数年でかなりの注目を集めている。 その衝撃にもかかわらず、これらのシステムには公式な分析技術が欠如している。 我々は,それらの行動の形式的分析を可能にする,新しい到達可能性フレームワークを導入する。
  論文  参考訳（メタデータ） (2022-07-13T22:05:52Z)
• Neural Laplace: Learning diverse classes of differential equations in the Laplace domain [86.52703093858631]
  本稿では,これらすべてを含む多種多様な微分方程式(DE)を学習するための統一的な枠組みを提案する。 時間領域の力学をモデル化する代わりに、ラプラス領域でモデル化する。 The experiment, Neural Laplace shows excellent performance in modelling and extrapolating the trajectories of various class of DEs。
  論文  参考訳（メタデータ） (2022-06-10T02:14:59Z)
• Neuromorphic Artificial Intelligence Systems [58.1806704582023]
  フォン・ノイマンアーキテクチャと古典的ニューラルネットワークに基づく現代のAIシステムは、脳と比較して多くの基本的な制限がある。 この記事では、そのような制限と、それらが緩和される方法について論じる。 これは、これらの制限が克服されている現在利用可能なニューロモーフィックAIプロジェクトの概要を示す。
  論文  参考訳（メタデータ） (2022-05-25T20:16:05Z)
• Realization Theory Of Recurrent Neural ODEs Using Polynomial System Embeddings [0.802904964931021]
  本稿では,リカレント(RNN)と長期記憶(ODE-LSTM)ネットワークのニューラルODEアナログを,アルゴリズム的にシステムのクラスに組み込むことができることを示す。 このインプット・アウトプットの動作を埋め込み、他のDE-LSTMアーキテクチャにも拡張できる。 次に、システムの実現理論を用いて、ODE-LSTMによって実現可能な入力出力と、そのようなシステムの最小化のための十分な条件を提供する。
  論文  参考訳（メタデータ） (2022-05-24T11:36:18Z)
• Universal approximation property of invertible neural networks [76.95927093274392]
  Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。 その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
  論文  参考訳（メタデータ） (2022-04-15T10:45:26Z)
• On Second Order Behaviour in Augmented Neural ODEs [69.8070643951126]
  第二次ニューラルノード(ソノド)を考える 副次感度法がSONODEにどのように拡張できるかを示す。 我々は拡張NODE(Augmented NODEs)のより広範なクラスの理論的理解を拡張した。
  論文  参考訳（メタデータ） (2020-06-12T14:25:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。