論文の概要: Dissecting Neural ODEs
- arxiv url: http://arxiv.org/abs/2002.08071v4
- Date: Mon, 11 Jan 2021 14:40:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 12:42:05.876074
- Title: Dissecting Neural ODEs
- Title(参考訳): 神経オデムの解剖
- Authors: Stefano Massaroli, Michael Poli, Jinkyoo Park, Atsushi Yamashita,
Hajime Asama
- Abstract要約: 継続的ディープラーニングアーキテクチャは、最近ニューラル正規微分方程式 (Neural ODEs) として再登場した。
本研究は, 設計選択が基礎となる力学に与える影響を明らかにすることを目的として, 連続深度定式化(continuous-deepth formulation)をさらに発展させるものである。
- 参考スコア(独自算出の注目度): 16.434391404640035
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continuous deep learning architectures have recently re-emerged as Neural
Ordinary Differential Equations (Neural ODEs). This infinite-depth approach
theoretically bridges the gap between deep learning and dynamical systems,
offering a novel perspective. However, deciphering the inner working of these
models is still an open challenge, as most applications apply them as generic
black-box modules. In this work we "open the box", further developing the
continuous-depth formulation with the aim of clarifying the influence of
several design choices on the underlying dynamics.
- Abstract(参考訳): 継続的ディープラーニングアーキテクチャは、最近Neural Ordinary Differential Equations (Neural ODE)として再登場した。
この無限深度アプローチは理論上、ディープラーニングと力学システムのギャップを埋め、新しい視点を提供する。
しかし、ほとんどのアプリケーションはそれらを一般的なブラックボックスモジュールとして適用するため、これらのモデルの内部動作を解読することは依然としてオープンな課題である。
この作業では、いくつかの設計選択が基盤となるダイナミクスに与える影響を明確にするために、より詳細な定式化をさらに発展させます。
関連論文リスト
- A Bridge between Dynamical Systems and Machine Learning: Engineered
Ordinary Differential Equations as Classification Algorithm (EODECA) [1.0499611180329806]
本研究は,機械学習と動的システムを橋渡しすることを目的とする。
連続常微分方程式を基盤とするニューラルネットワークとして設計されたEODECAは、力学系のよく確立されたツールキットを活用することを目的としている。
しばしば不透明感に悩まされる従来のディープラーニングモデルとは異なり、EODECAは高い分類性能と本質的な解釈性の両方を約束する。
論文 参考訳(メタデータ) (2023-11-17T08:30:41Z) - From NeurODEs to AutoencODEs: a mean-field control framework for
width-varying Neural Networks [68.8204255655161]
本稿では,動的に駆動する制御フィールドをベースとした,AutoencODEと呼ばれる新しいタイプの連続時間制御システムを提案する。
損失関数が局所凸な領域では,多くのアーキテクチャが復元可能であることを示す。
論文 参考訳(メタデータ) (2023-07-05T13:26:17Z) - Neural Delay Differential Equations: System Reconstruction and Image
Classification [14.59919398960571]
我々はニューラル遅延微分方程式 (Neural Delay Differential Equations, NDDEs) という,遅延を伴う連続深度ニューラルネットワークの新しいクラスを提案する。
NODE と比較して、NDDE はより強い非線形表現能力を持つ。
我々は、合成されたデータだけでなく、よく知られた画像データセットであるCIFAR10に対しても、損失の低減と精度の向上を実現している。
論文 参考訳(メタデータ) (2023-04-11T16:09:28Z) - Neural Laplace: Learning diverse classes of differential equations in
the Laplace domain [86.52703093858631]
本稿では,これらすべてを含む多種多様な微分方程式(DE)を学習するための統一的な枠組みを提案する。
時間領域の力学をモデル化する代わりに、ラプラス領域でモデル化する。
The experiment, Neural Laplace shows excellent performance in modelling and extrapolating the trajectories of various class of DEs。
論文 参考訳(メタデータ) (2022-06-10T02:14:59Z) - Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。
また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
論文 参考訳(メタデータ) (2021-06-24T01:40:17Z) - DyNODE: Neural Ordinary Differential Equations for Dynamics Modeling in
Continuous Control [0.0]
本稿では,ニューラル常微分方程式の枠組みに制御を組み込むことにより,システムの基盤となる力学を捉える新しい手法を提案する。
以上の結果から,アクター批判強化学習アルゴリズムと組み合わせた単純なDyNODEアーキテクチャが,標準ニューラルネットワークより優れていることが示唆された。
論文 参考訳(メタデータ) (2020-09-09T12:56:58Z) - Developing Constrained Neural Units Over Time [81.19349325749037]
本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。
ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。
提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
論文 参考訳(メタデータ) (2020-09-01T09:07:25Z) - Hypersolvers: Toward Fast Continuous-Depth Models [16.43439140464003]
オーバヘッドが低く、精度が理論的に保証されているODEを解くために設計されたニューラルネットワークであるハイパーソルバを導入する。
ハイパーゾルバとニューラルODEの相乗的組み合わせにより、安上がりな推論が可能となり、連続深度モデルの実用的な応用のための新しいフロンティアが解放される。
論文 参考訳(メタデータ) (2020-07-19T06:31:31Z) - An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。
この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文 参考訳(メタデータ) (2020-06-19T22:05:19Z) - Go with the Flow: Adaptive Control for Neural ODEs [10.265713480189484]
ニューラル制御ODE(N-CODE)と呼ばれる新しいモジュールについて述べる。
N-CODEモジュールは、初期または現在のアクティベーション状態からトレーニング可能なマップによって制御される動的変数である。
単一モジュールは、適応的に神経表現を駆動する非自律フロー上の分布を学ぶのに十分である。
論文 参考訳(メタデータ) (2020-06-16T22:21:15Z) - On Second Order Behaviour in Augmented Neural ODEs [69.8070643951126]
第二次ニューラルノード(ソノド)を考える
副次感度法がSONODEにどのように拡張できるかを示す。
我々は拡張NODE(Augmented NODEs)のより広範なクラスの理論的理解を拡張した。
論文 参考訳(メタデータ) (2020-06-12T14:25:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。