論文の概要: Neural Context Flows for Meta-Learning of Dynamical Systems
- arxiv url: http://arxiv.org/abs/2405.02154v3
- Date: Wed, 02 Oct 2024 15:18:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-03 15:16:34.117415
- Title: Neural Context Flows for Meta-Learning of Dynamical Systems
- Title（参考訳）: 動的システムのメタラーニングのためのニューラルネットワーク
- Authors: Roussel Desmond Nzoyem, David A. W. Barton, Tom Deakin,
- Abstract要約: 本稿では,不確実性推定を含むメタラーニングフレームワークであるNeural Context Flow (NCF)を紹介する。
NCFは6つの線形および非線形ベンチマーク問題のうち5つで最先端のOut-of-Distribution性能を達成する。
本研究は,NCFが物理科学の基礎モデルにもたらす影響を明らかにするものである。
- 参考スコア（独自算出の注目度）: 0.7373617024876724
- License:
- Abstract: Neural Ordinary Differential Equations (NODEs) often struggle to adapt to new dynamic behaviors caused by parameter changes in the underlying system, even when these dynamics are similar to previously observed behaviors. This problem becomes more challenging when the changing parameters are unobserved, meaning their value or influence cannot be directly measured when collecting data. To address this issue, we introduce Neural Context Flow (NCF), a robust and interpretable Meta-Learning framework that includes uncertainty estimation. NCF uses higher-order Taylor expansion to enable contextual self-modulation, allowing context vectors to influence dynamics from other domains while also modulating themselves. After establishing convergence guarantees, we empirically test NCF and compare it to related adaptation methods. Our results show that NCF achieves state-of-the-art Out-of-Distribution performance on 5 out of 6 linear and non-linear benchmark problems. Through extensive experiments, we explore the flexible model architecture of NCF and the encoded representations within the learned context vectors. Our findings highlight the potential implications of NCF for foundational models in the physical sciences, offering a promising approach to improving the adaptability and generalization of NODEs in various scientific applications. Our code is openly available at \url{https://github.com/ddrous/ncflow}.
- Abstract（参考訳）: ニューラル常微分方程式(NODE)は、たとえこれらの力学が以前観察された挙動と似ているとしても、基礎システムのパラメータ変化に起因する新しい動的挙動に適応するのにしばしば苦労する。
この問題は、変化パラメータが観測されていない場合、すなわちデータ収集時にその値や影響を直接測定できない場合、さらに困難になる。
この問題に対処するために、不確実性推定を含む堅牢で解釈可能なメタラーニングフレームワークであるNeural Context Flow (NCF)を導入する。
NCFは、コンテキストの自己変調を可能にするために高階テイラー展開を使用し、コンテキストベクトルは他のドメインからのダイナミクスに影響を与えると同時に、自分自身を変調することができる。
収束保証を確立した後、NCFを経験的にテストし、関連する適応法と比較する。
その結果,NCFは線形および非線形の6つのベンチマーク問題のうち5つにおいて,最先端のアウト・オブ・ディストリビューション性能を達成できた。
広範にわたる実験を通じて,NCFのフレキシブルモデルアーキテクチャと学習コンテキストベクトル内の符号化表現について検討する。
本研究は,NODEの適応性と一般化性を改善するための有望なアプローチとして,物理科学の基礎モデルにおけるNCFの可能性を明らかにするものである。
私たちのコードは、 \url{https://github.com/ddrous/ncflow} で公開されています。
関連論文リスト
- Modeling Spatio-temporal Dynamical Systems with Neural Discrete Learning
and Levels-of-Experts [33.335735613579914]
本稿では,ビデオフレームなどの観測結果に基づいて,時間・動的システムの状態変化をモデル化し,推定することの課題に対処する。
本稿では、一般的な物理プロセスの法則をデータ駆動方式で捉えるために、ユニバーサルエキスパートモジュール、すなわち光フロー推定コンポーネントを提案する。
我々は、既存のSOTAベースラインと比較して、提案フレームワークが大きなパフォーマンスマージンを達成することを示すため、広範囲な実験と改善を実施している。
論文 参考訳（メタデータ） (2024-02-06T06:27:07Z) - Learning Neural Constitutive Laws From Motion Observations for
Generalizable PDE Dynamics [97.38308257547186]
多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。
PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。
そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
論文 参考訳（メタデータ） (2023-04-27T17:42:24Z) - Identifying Equivalent Training Dynamics [3.793387630509845]
共役および非共役のトレーニングダイナミクスを識別するフレームワークを開発する。
クープマン作用素理論の進歩を利用して、クープマン固有値を比較することで、オンラインミラー降下とオンライン勾配降下の既知同値を正しく同定できることを実証する。
a)浅層ニューラルネットワークと広層ニューラルネットワークの間の非共役トレーニングダイナミクスの同定、(b)畳み込みニューラルネットワークにおけるトレーニングダイナミクスの初期段階の特徴付け、(c)グルーキングを行わないトランスフォーマーにおける非共役トレーニングダイナミクスの発見。
論文 参考訳（メタデータ） (2023-02-17T22:15:20Z) - ConCerNet: A Contrastive Learning Based Framework for Automated
Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。
本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2023-02-11T21:07:30Z) - Physics-guided Deep Markov Models for Learning Nonlinear Dynamical
Systems with Uncertainty [6.151348127802708]
我々は物理誘導型Deep Markov Model(PgDMM)という物理誘導型フレームワークを提案する。
提案手法は,動的システムの駆動物理を維持しながら,ディープラーニングの表現力を利用する。
論文 参考訳（メタデータ） (2021-10-16T16:35:12Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Meta-learning using privileged information for dynamics [66.32254395574994]
Neural ODE Processモデルを拡張して、Learning Using Privileged Information設定内の追加情報を使用します。
シミュレーション動的タスクの精度とキャリブレーションを向上した実験により拡張性を検証する。
論文 参考訳（メタデータ） (2021-04-29T12:18:02Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。
この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文 参考訳（メタデータ） (2020-06-19T22:05:19Z) - Go with the Flow: Adaptive Control for Neural ODEs [10.265713480189484]
ニューラル制御ODE(N-CODE)と呼ばれる新しいモジュールについて述べる。
N-CODEモジュールは、初期または現在のアクティベーション状態からトレーニング可能なマップによって制御される動的変数である。
単一モジュールは、適応的に神経表現を駆動する非自律フロー上の分布を学ぶのに十分である。
論文 参考訳（メタデータ） (2020-06-16T22:21:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。