論文の概要: Balanced Neural ODEs: nonlinear model order reduction and Koopman operator approximations
- arxiv url: http://arxiv.org/abs/2410.10174v2
- Date: Tue, 15 Oct 2024 10:15:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-30 02:34:41.233485
- Title: Balanced Neural ODEs: nonlinear model order reduction and Koopman operator approximations
- Title（参考訳）: 平衡ニューラルネットワーク:非線形モデル秩序の低減とクープマン作用素近似
- Authors: Julius Aka, Johannes Brunnemann, Jörg Eiden, Arne Speerforck, Lars Mikelsons,
- Abstract要約: 変分オートエンコーダ(VAE)はコンパクトな潜在表現を学習するための強力なフレームワークである。
ニューラルネットワークは過渡系力学の学習において優れている。
この研究は両者の強みを組み合わせることで、高速な代理モデルと調整可能な複雑さを生み出す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Variational Autoencoders (VAEs) are a powerful framework for learning compact latent representations, while NeuralODEs excel in learning transient system dynamics. This work combines the strengths of both to create fast surrogate models with adjustable complexity. By leveraging the VAE's dimensionality reduction using a non-hierarchical prior, our method adaptively assigns stochastic noise, naturally complementing known NeuralODE training enhancements and enabling probabilistic time series modeling. We show that standard Latent ODEs struggle with dimensionality reduction in systems with time-varying inputs. Our approach mitigates this by continuously propagating variational parameters through time, establishing fixed information channels in latent space. This results in a flexible and robust method that can learn different system complexities, e.g. deep neural networks or linear matrices. Hereby, it enables efficient approximation of the Koopman operator without the need for predefining its dimensionality. As our method balances dimensionality reduction and reconstruction accuracy, we call it Balanced Neural ODE (B-NODE). We demonstrate the effectiveness of this method on academic test cases and apply it to a real-world example of a thermal power plant.
- Abstract（参考訳）: 変分オートエンコーダ(VAE)はコンパクトな潜在表現を学習するための強力なフレームワークである。
この研究は両者の強みを組み合わせることで、高速な代理モデルと調整可能な複雑さを生み出す。
提案手法は,非階層的事前手法を用いて,VAEの次元性低減を活用し,確率的雑音を適応的に割り当て,既知のニューラルドトレーニングの強化を自然に補完し,確率的時系列モデリングを可能にする。
標準ラテントODEは時変入力を持つシステムにおいて次元還元に苦しむことを示す。
提案手法は,時間的変化パラメータを連続的に伝播し,潜時空間に固定情報チャネルを確立することによってこれを緩和する。
これにより、フレキシブルでロバストな方法で、例えばディープニューラルネットワークや線形行列など、さまざまなシステムの複雑さを学習することができる。
これにより、その次元を事前に定義することなく、クープマン作用素の効率的な近似が可能になる。
本手法は,次元の低減と復元の精度のバランスをとるため,B-NODE ( Balanced Neural ODE) と呼ぶ。
本研究では,本手法の有効性を学術試験事例に適用し,実例を熱発電プラントに適用する。
関連論文リスト
- On Tuning Neural ODE for Stability, Consistency and Faster Convergence [0.0]
本研究では,Nesterov'sAccelerated gradient (NAG) を用いたODE-solverを提案する。
我々は、より速くトレーニングし、より優れた、または同等のパフォーマンスをニューラルダイオードに対して達成し、アプローチの有効性を実証的に実証した。
論文 参考訳（メタデータ） (2023-12-04T06:18:10Z) - Accelerating Toeplitz Neural Network with Constant-time Inference
Complexity [21.88774274472737]
Toeplitz Neural Networks (TNN) は、様々なシーケンスモデリングタスクにおいて優れた性能を示した。
それらは、ログ線形の時空複雑さの恩恵を受けながら、Transformerベースのモデルよりも優れていた。
本稿では、TNNと状態空間モデル(SSM)の長所を、推論中にTNNをSSMに変換することで組み合わせることを目的とする。
論文 参考訳（メタデータ） (2023-11-15T07:50:57Z) - ConCerNet: A Contrastive Learning Based Framework for Automated
Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。
本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2023-02-11T21:07:30Z) - Neural ODEs with Irregular and Noisy Data [8.349349605334316]
ノイズや不規則なサンプル測定を用いて微分方程式を学習する手法について議論する。
我々の方法論では、ディープニューラルネットワークとニューラル常微分方程式(ODE)アプローチの統合において、大きな革新が見られる。
ベクトル場を記述するモデルを学習するためのフレームワークは,雑音測定において非常に効果的である。
論文 参考訳（メタデータ） (2022-05-19T11:24:41Z) - Learning and Inference in Sparse Coding Models with Langevin Dynamics [3.0600309122672726]
本稿では確率的潜在変数モデルで推論と学習が可能なシステムについて述べる。
ランゲヴィン力学を用いて潜伏変数を推論する連続時間方程式を導出することにより、スパース符号化モデルのこのアイデアを実証する。
ランゲヴィン力学は、L1ノルムが小さいのに対して、潜伏変数をゼロにすることを推奨する'L0スパース'系において、後続分布からサンプリングする効率的な手順をもたらすことを示す。
論文 参考訳（メタデータ） (2022-04-23T23:16:47Z) - Accelerating Neural ODEs Using Model Order Reduction [0.0]
本稿では,ニューラルネットワークの圧縮と高速化に数学的モデルオーダー削減法が利用できることを示す。
我々は,ニューラルネットワークの層として必要な部分空間投影と操作を統合するニューラルODEを開発することで,新しい圧縮手法を実装した。
論文 参考訳（メタデータ） (2021-05-28T19:27:09Z) - Neural ODE Processes [64.10282200111983]
NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。
我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
論文 参考訳（メタデータ） (2021-03-23T09:32:06Z) - Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。
解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
論文 参考訳（メタデータ） (2021-03-15T17:26:34Z) - STEER: Simple Temporal Regularization For Neural ODEs [80.80350769936383]
トレーニング中のODEの終了時刻をランダムにサンプリングする新しい正規化手法を提案する。
提案された正規化は実装が簡単で、オーバーヘッドを無視でき、様々なタスクで有効である。
本稿では,フローの正規化,時系列モデル,画像認識などの実験を通じて,提案した正規化がトレーニング時間を大幅に短縮し,ベースラインモデルよりも性能を向上できることを示す。
論文 参考訳（メタデータ） (2020-06-18T17:44:50Z) - Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
時変重みを持つニューラルODEの新しいファミリーを提案する。
我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
論文 参考訳（メタデータ） (2020-05-05T01:41:46Z) - Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。
トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。
しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
論文 参考訳（メタデータ） (2020-02-22T22:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。