論文の概要: Go with the Flow: Adaptive Control for Neural ODEs

• arxiv url: http://arxiv.org/abs/2006.09545v3
• Date: Thu, 15 Apr 2021 10:03:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-20 20:28:58.799392
• Title: Go with the Flow: Adaptive Control for Neural ODEs
• Title（参考訳）: go with the flow: ニューラルネットワークodeの適応制御
• Authors: Mathieu Chalvidal, Matthew Ricci, Rufin VanRullen, Thomas Serre
• Abstract要約: ニューラル制御ODE(N-CODE)と呼ばれる新しいモジュールについて述べる。 N-CODEモジュールは、初期または現在のアクティベーション状態からトレーニング可能なマップによって制御される動的変数である。 単一モジュールは、適応的に神経表現を駆動する非自律フロー上の分布を学ぶのに十分である。
• 参考スコア（独自算出の注目度）: 10.265713480189484
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite their elegant formulation and lightweight memory cost, neural ordinary differential equations (NODEs) suffer from known representational limitations. In particular, the single flow learned by NODEs cannot express all homeomorphisms from a given data space to itself, and their static weight parameterization restricts the type of functions they can learn compared to discrete architectures with layer-dependent weights. Here, we describe a new module called neurally controlled ODE (N-CODE) designed to improve the expressivity of NODEs. The parameters of N-CODE modules are dynamic variables governed by a trainable map from initial or current activation state, resulting in forms of open-loop and closed-loop control, respectively. A single module is sufficient for learning a distribution on non-autonomous flows that adaptively drive neural representations. We provide theoretical and empirical evidence that N-CODE circumvents limitations of previous NODEs models and show how increased model expressivity manifests in several supervised and unsupervised learning problems. These favorable empirical results indicate the potential of using data- and activity-dependent plasticity in neural networks across numerous domains.
• Abstract（参考訳）: エレガントな定式化と軽量メモリコストにもかかわらず、ニューラル常微分方程式(NODE)は既知の表現制限に悩まされる。 特に、ノードが学習する単一フローは、与えられたデータ空間からそれ自身へのすべての同相写像を表現できないし、静的重みパラメータ化は、層依存の重みを持つ離散的アーキテクチャと比較して学習できる関数の種類を制限する。 本稿では,NODEの表現性向上を目的としたニューラル制御ODE (N-CODE) と呼ばれる新しいモジュールについて述べる。 N-CODEモジュールのパラメータは、初期および現在のアクティベーション状態からトレーニング可能なマップによって制御される動的変数であり、それぞれ開ループと閉ループ制御の形式となる。 単一モジュールは、適応的に神経表現を駆動する非自律フロー上の分布を学ぶのに十分である。 我々は,N-CODEが従来のNODEモデルの限界を回避し,教師なしおよび教師なしの学習問題においてモデル表現率がいかに増加するかを示す理論的および実証的な証拠を提供する。 これらの好ましい実験結果は、多くのドメインにわたるニューラルネットワークにおいて、データおよびアクティビティに依存した可塑性を使用する可能性を示している。

関連論文リスト

• Projected Neural Differential Equations for Learning Constrained Dynamics [3.570367665112327]
  本稿では,学習ベクトル場の射影を制約多様体の接空間に向けることで,ニューラル微分方程式を制約する新しい手法を提案する。 PNDEは、ハイパーパラメータを少なくしながら、既存のメソッドよりも優れています。 提案手法は、制約付き力学系のモデリングを強化する重要な可能性を示す。
  論文  参考訳（メタデータ） (2024-10-31T06:32:43Z)
• On Tuning Neural ODE for Stability, Consistency and Faster Convergence [0.0]
  本研究では,Nesterov'sAccelerated gradient (NAG) を用いたODE-solverを提案する。 我々は、より速くトレーニングし、より優れた、または同等のパフォーマンスをニューラルダイオードに対して達成し、アプローチの有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2023-12-04T06:18:10Z)
• Learning Neural Constitutive Laws From Motion Observations for Generalizable PDE Dynamics [97.38308257547186]
  多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。 PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。 そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-04-27T17:42:24Z)
• Generalized Neural Closure Models with Interpretability [28.269731698116257]
  我々は、統合された神経部分遅延微分方程式の新規で汎用的な方法論を開発した。 マルコフ型および非マルコフ型ニューラルネットワーク(NN)の閉包パラメータ化を用いて, 偏微分方程式(PDE)における既存/低忠実度力学モデルを直接拡張する。 本研究では, 非線形波動, 衝撃波, 海洋酸性化モデルに基づく4つの実験セットを用いて, 新しい一般化ニューラルクロージャモデル(gnCMs)の枠組みを実証する。
  論文  参考訳（メタデータ） (2023-01-15T21:57:43Z)
• Neural Laplace: Learning diverse classes of differential equations in the Laplace domain [86.52703093858631]
  本稿では,これらすべてを含む多種多様な微分方程式(DE)を学習するための統一的な枠組みを提案する。 時間領域の力学をモデル化する代わりに、ラプラス領域でモデル化する。 The experiment, Neural Laplace shows excellent performance in modelling and extrapolating the trajectories of various class of DEs。
  論文  参考訳（メタデータ） (2022-06-10T02:14:59Z)
• Neural Operator with Regularity Structure for Modeling Dynamics Driven by SPDEs [70.51212431290611]
  偏微分方程式 (SPDE) は、大気科学や物理学を含む多くの分野において、力学をモデル化するための重要なツールである。 本研究では,SPDEによって駆動されるダイナミクスをモデル化するための特徴ベクトルを組み込んだニューラル演算子(NORS)を提案する。 動的Phi41モデルと2d Navier-Stokes方程式を含む様々なSPDE実験を行った。
  論文  参考訳（メタデータ） (2022-04-13T08:53:41Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Neural Flows: Efficient Alternative to Neural ODEs [8.01886971335823]
  本稿では,ORのフローである解曲線を直接ニューラルネットワークでモデル化する手法を提案する。 これにより、ニューラルネットワークのモデリング能力を維持しながら、高価な数値解法の必要性はすぐに解消される。
  論文  参考訳（メタデータ） (2021-10-25T15:24:45Z)
• Accelerating Neural ODEs Using Model Order Reduction [0.0]
  本稿では,ニューラルネットワークの圧縮と高速化に数学的モデルオーダー削減法が利用できることを示す。 我々は,ニューラルネットワークの層として必要な部分空間投影と操作を統合するニューラルODEを開発することで,新しい圧縮手法を実装した。
  論文  参考訳（メタデータ） (2021-05-28T19:27:09Z)
• Neural ODE Processes [64.10282200111983]
  NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。 我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
  論文  参考訳（メタデータ） (2021-03-23T09:32:06Z)
• Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
  ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。 トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。 しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
  論文  参考訳（メタデータ） (2020-02-22T22:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。