論文の概要: Neural Context Flows for Meta-Learning of Dynamical Systems
- arxiv url: http://arxiv.org/abs/2405.02154v3
- Date: Wed, 02 Oct 2024 15:18:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-03 15:16:34.117415
- Title: Neural Context Flows for Meta-Learning of Dynamical Systems
- Title(参考訳): 動的システムのメタラーニングのためのニューラルネットワーク
- Authors: Roussel Desmond Nzoyem, David A. W. Barton, Tom Deakin,
- Abstract要約: 本稿では,不確実性推定を含むメタラーニングフレームワークであるNeural Context Flow (NCF)を紹介する。
NCFは6つの線形および非線形ベンチマーク問題のうち5つで最先端のOut-of-Distribution性能を達成する。
本研究は,NCFが物理科学の基礎モデルにもたらす影響を明らかにするものである。
- 参考スコア(独自算出の注目度): 0.7373617024876724
- License:
- Abstract: Neural Ordinary Differential Equations (NODEs) often struggle to adapt to new dynamic behaviors caused by parameter changes in the underlying system, even when these dynamics are similar to previously observed behaviors. This problem becomes more challenging when the changing parameters are unobserved, meaning their value or influence cannot be directly measured when collecting data. To address this issue, we introduce Neural Context Flow (NCF), a robust and interpretable Meta-Learning framework that includes uncertainty estimation. NCF uses higher-order Taylor expansion to enable contextual self-modulation, allowing context vectors to influence dynamics from other domains while also modulating themselves. After establishing convergence guarantees, we empirically test NCF and compare it to related adaptation methods. Our results show that NCF achieves state-of-the-art Out-of-Distribution performance on 5 out of 6 linear and non-linear benchmark problems. Through extensive experiments, we explore the flexible model architecture of NCF and the encoded representations within the learned context vectors. Our findings highlight the potential implications of NCF for foundational models in the physical sciences, offering a promising approach to improving the adaptability and generalization of NODEs in various scientific applications. Our code is openly available at \url{https://github.com/ddrous/ncflow}.
- Abstract(参考訳): ニューラル常微分方程式(NODE)は、たとえこれらの力学が以前観察された挙動と似ているとしても、基礎システムのパラメータ変化に起因する新しい動的挙動に適応するのにしばしば苦労する。
この問題は、変化パラメータが観測されていない場合、すなわちデータ収集時にその値や影響を直接測定できない場合、さらに困難になる。
この問題に対処するために、不確実性推定を含む堅牢で解釈可能なメタラーニングフレームワークであるNeural Context Flow (NCF)を導入する。
NCFは、コンテキストの自己変調を可能にするために高階テイラー展開を使用し、コンテキストベクトルは他のドメインからのダイナミクスに影響を与えると同時に、自分自身を変調することができる。
収束保証を確立した後、NCFを経験的にテストし、関連する適応法と比較する。
その結果,NCFは線形および非線形の6つのベンチマーク問題のうち5つにおいて,最先端のアウト・オブ・ディストリビューション性能を達成できた。
広範にわたる実験を通じて,NCFのフレキシブルモデルアーキテクチャと学習コンテキストベクトル内の符号化表現について検討する。
本研究は,NODEの適応性と一般化性を改善するための有望なアプローチとして,物理科学の基礎モデルにおけるNCFの可能性を明らかにするものである。
私たちのコードは、 \url{https://github.com/ddrous/ncflow} で公開されています。
関連論文リスト
- Tilt your Head: Activating the Hidden Spatial-Invariance of Classifiers [0.7704032792820767]
ディープニューラルネットワークは、日々の生活の多くの領域に適用されている。
これらは、空間的に変換された入力信号に頑健に対処するなど、依然として必須の能力が欠如している。
本稿では,ニューラルネットの推論過程をエミュレートする新しい手法を提案する。
論文 参考訳(メタデータ) (2024-05-06T09:47:29Z) - Equivariant Graph Neural Operator for Modeling 3D Dynamics [148.98826858078556]
我々は,次のステップの予測ではなく,ダイナミックスを直接トラジェクトリとしてモデル化するために,Equivariant Graph Neural Operator (EGNO)を提案する。
EGNOは3次元力学の時間的進化を明示的に学習し、時間とともに関数として力学を定式化し、それを近似するためにニューラル演算子を学習する。
粒子シミュレーション、人間のモーションキャプチャー、分子動力学を含む複数の領域における総合的な実験は、既存の手法と比較して、EGNOの極めて優れた性能を示す。
論文 参考訳(メタデータ) (2024-01-19T21:50:32Z) - Transformer Neural Autoregressive Flows [48.68932811531102]
正規化フロー(NF)を用いて密度推定を行う。
我々はトランスフォーマーニューラルオートレグレッシブフロー(T-NAF)と呼ばれる新しいタイプのニューラルフローを定義するためにトランスフォーマーを利用する新しい解を提案する。
論文 参考訳(メタデータ) (2024-01-03T17:51:16Z) - On the Initialization of Graph Neural Networks [10.153841274798829]
グラフニューラルネットワーク層間の前方・後方伝播のばらつきを解析する。
GNN最適化(Virgo)における可変不安定化のための新しい手法を提案する。
15のデータセットで包括的な実験を行い、Virgoが優れたモデルパフォーマンスをもたらすことを示す。
論文 参考訳(メタデータ) (2023-12-05T09:55:49Z) - Dynamic Tensor Decomposition via Neural Diffusion-Reaction Processes [24.723536390322582]
テンソル分解は マルチウェイデータ解析の 重要なツールです
動的EMbedIngs fOr Dynamic Algorithm dEcomposition (DEMOTE)を提案する。
シミュレーション研究と実世界の応用の両方において,本手法の利点を示す。
論文 参考訳(メタデータ) (2023-10-30T15:49:45Z) - Resolution-Invariant Image Classification based on Fourier Neural
Operators [1.3190581566723918]
画像分類における一般化ニューラルネットワーク (FNO) の利用について, 標準畳み込みニューラルネットワーク (CNN) と比較して検討した。
我々は、ルベーグ空間上の連続およびFr'echet微分可能なニューラル作用素の例としてFNOアーキテクチャを導出する。
論文 参考訳(メタデータ) (2023-04-02T10:23:36Z) - Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。
本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
論文 参考訳(メタデータ) (2022-03-23T12:52:49Z) - Mitigating Generation Shifts for Generalized Zero-Shot Learning [52.98182124310114]
一般化ゼロショット学習(英: Generalized Zero-Shot Learning、GZSL)は、学習中に見知らぬクラスが観察できない、見つからないサンプルを認識するために意味情報(属性など)を活用するタスクである。
本稿では,未知のデータ合成を効率よく,効率的に学習するための新しい生成シフト緩和フローフレームワークを提案する。
実験結果から,GSMFlowは従来のゼロショット設定と一般化されたゼロショット設定の両方において,最先端の認識性能を実現することが示された。
論文 参考訳(メタデータ) (2021-07-07T11:43:59Z) - Deep Parametric Continuous Convolutional Neural Networks [92.87547731907176]
Parametric Continuous Convolutionは、非グリッド構造化データ上で動作する、新たな学習可能な演算子である。
室内および屋外シーンの点雲セグメンテーションにおける最先端技術よりも顕著な改善が見られた。
論文 参考訳(メタデータ) (2021-01-17T18:28:23Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z) - Go with the Flow: Adaptive Control for Neural ODEs [10.265713480189484]
ニューラル制御ODE(N-CODE)と呼ばれる新しいモジュールについて述べる。
N-CODEモジュールは、初期または現在のアクティベーション状態からトレーニング可能なマップによって制御される動的変数である。
単一モジュールは、適応的に神経表現を駆動する非自律フロー上の分布を学ぶのに十分である。
論文 参考訳(メタデータ) (2020-06-16T22:21:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。