Fugu-MT 論文翻訳(概要): Dissecting Neural ODEs

論文の概要: Dissecting Neural ODEs

arxiv url: http://arxiv.org/abs/2002.08071v4
Date: Mon, 11 Jan 2021 14:40:32 GMT
ステータス: 処理完了
システム内更新日: 2022-12-30 12:42:05.876074
Title: Dissecting Neural ODEs
Title（参考訳）: 神経オデムの解剖
Authors: Stefano Massaroli, Michael Poli, Jinkyoo Park, Atsushi Yamashita, Hajime Asama
Abstract要約: 継続的ディープラーニングアーキテクチャは、最近ニューラル正規微分方程式 (Neural ODEs) として再登場した。本研究は, 設計選択が基礎となる力学に与える影響を明らかにすることを目的として, 連続深度定式化(continuous-deepth formulation)をさらに発展させるものである。
参考スコア（独自算出の注目度）: 16.434391404640035
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Continuous deep learning architectures have recently re-emerged as Neural Ordinary Differential Equations (Neural ODEs). This infinite-depth approach theoretically bridges the gap between deep learning and dynamical systems, offering a novel perspective. However, deciphering the inner working of these models is still an open challenge, as most applications apply them as generic black-box modules. In this work we "open the box", further developing the continuous-depth formulation with the aim of clarifying the influence of several design choices on the underlying dynamics.
Abstract（参考訳）: 継続的ディープラーニングアーキテクチャは、最近Neural Ordinary Differential Equations (Neural ODE)として再登場した。この無限深度アプローチは理論上、ディープラーニングと力学システムのギャップを埋め、新しい視点を提供する。しかし、ほとんどのアプリケーションはそれらを一般的なブラックボックスモジュールとして適用するため、これらのモデルの内部動作を解読することは依然としてオープンな課題である。この作業では、いくつかの設計選択が基盤となるダイナミクスに与える影響を明確にするために、より詳細な定式化をさらに発展させます。

関連論文リスト

Training Stiff Neural Ordinary Differential Equations with Implicit Single-Step Methods [3.941173292703699]
通常の微分方程式(ODE)の剛系は多くの科学や工学の分野で普及している。標準的なニューラルODEアプローチは、それらを学ぶのに苦労する。本稿では,1ステップの暗黙的スキームに基づくニューラルネットワークによる剛性処理手法を提案する。
論文参考訳（メタデータ） (2024-10-08T01:08:17Z)
Understanding the differences in Foundation Models: Attention, State Space Models, and Recurrent Neural Networks [50.29356570858905]
本稿では,これらすべてのアーキテクチャの共通表現に関する原則的な調査を可能にする動的システムフレームワーク(DSF)について紹介する。ソフトマックスアテンションと他のモデルクラスとの原理的比較を行い、ソフトマックスアテンションを近似できる理論条件について議論する。このことは、DSFが将来のより効率的でスケーラブルな基盤モデルの体系的な開発を導く可能性を示している。
論文参考訳（メタデータ） (2024-05-24T17:19:57Z)
Continuous Learned Primal Dual [10.111901389604423]
ニューラルネットワークの階層列は、単にODEの離散化であり、パラメータ化されたODEによって直接モデル化できるという考えを提唱する。本研究では,ニューラルネットワークを用いた逆問題,特によく知られたLearned Primal Dualアルゴリズムについて検討し,CT(Computerd tomography)再構成に適用する。
論文参考訳（メタデータ） (2024-05-03T20:40:14Z)
From NeurODEs to AutoencODEs: a mean-field control framework for width-varying Neural Networks [68.8204255655161]
本稿では,動的に駆動する制御フィールドをベースとした,AutoencODEと呼ばれる新しいタイプの連続時間制御システムを提案する。損失関数が局所凸な領域では,多くのアーキテクチャが復元可能であることを示す。
論文参考訳（メタデータ） (2023-07-05T13:26:17Z)
Neural Delay Differential Equations: System Reconstruction and Image Classification [14.59919398960571]
我々はニューラル遅延微分方程式 (Neural Delay Differential Equations, NDDEs) という,遅延を伴う連続深度ニューラルネットワークの新しいクラスを提案する。 NODE と比較して、NDDE はより強い非線形表現能力を持つ。我々は、合成されたデータだけでなく、よく知られた画像データセットであるCIFAR10に対しても、損失の低減と精度の向上を実現している。
論文参考訳（メタデータ） (2023-04-11T16:09:28Z)
Neural Laplace: Learning diverse classes of differential equations in the Laplace domain [86.52703093858631]
本稿では,これらすべてを含む多種多様な微分方程式(DE)を学習するための統一的な枠組みを提案する。時間領域の力学をモデル化する代わりに、ラプラス領域でモデル化する。 The experiment, Neural Laplace shows excellent performance in modelling and extrapolating the trajectories of various class of DEs。
論文参考訳（メタデータ） (2022-06-10T02:14:59Z)
Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
論文参考訳（メタデータ） (2021-06-24T01:40:17Z)
Developing Constrained Neural Units Over Time [81.19349325749037]
本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
論文参考訳（メタデータ） (2020-09-01T09:07:25Z)
Hypersolvers: Toward Fast Continuous-Depth Models [16.43439140464003]
オーバヘッドが低く、精度が理論的に保証されているODEを解くために設計されたニューラルネットワークであるハイパーソルバを導入する。ハイパーゾルバとニューラルODEの相乗的組み合わせにより、安上がりな推論が可能となり、連続深度モデルの実用的な応用のための新しいフロンティアが解放される。
論文参考訳（メタデータ） (2020-07-19T06:31:31Z)
An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文参考訳（メタデータ） (2020-06-19T22:05:19Z)
Go with the Flow: Adaptive Control for Neural ODEs [10.265713480189484]
ニューラル制御ODE(N-CODE)と呼ばれる新しいモジュールについて述べる。 N-CODEモジュールは、初期または現在のアクティベーション状態からトレーニング可能なマップによって制御される動的変数である。単一モジュールは、適応的に神経表現を駆動する非自律フロー上の分布を学ぶのに十分である。
論文参考訳（メタデータ） (2020-06-16T22:21:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。