論文の概要: Semi-Supervised Learning of Dynamical Systems with Neural Ordinary Differential Equations: A Teacher-Student Model Approach

• arxiv url: http://arxiv.org/abs/2310.13110v1
• Date: Thu, 19 Oct 2023 19:17:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 01:25:28.264461
• Title: Semi-Supervised Learning of Dynamical Systems with Neural Ordinary Differential Equations: A Teacher-Student Model Approach
• Title（参考訳）: 神経常微分方程式を持つ力学系の半教師付き学習--教師・学生モデルによるアプローチ
• Authors: Yu Wang, Yuxuan Yin, Karthik Somayaji Nanjangud Suryanarayana, Jan Drgona, Malachi Schram, Mahantesh Halappanavar, Frank Liu, Peng Li
• Abstract要約: TS-NODEは、NODEで動的システムのモデリングを行うための、最初の半教師付きアプローチである。 複数の動的システムモデリングタスクにおいて,ベースラインのNeural ODEモデルよりも優れた性能を示す。
• 参考スコア（独自算出の注目度）: 10.20098335268973
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modeling dynamical systems is crucial for a wide range of tasks, but it remains challenging due to complex nonlinear dynamics, limited observations, or lack of prior knowledge. Recently, data-driven approaches such as Neural Ordinary Differential Equations (NODE) have shown promising results by leveraging the expressive power of neural networks to model unknown dynamics. However, these approaches often suffer from limited labeled training data, leading to poor generalization and suboptimal predictions. On the other hand, semi-supervised algorithms can utilize abundant unlabeled data and have demonstrated good performance in classification and regression tasks. We propose TS-NODE, the first semi-supervised approach to modeling dynamical systems with NODE. TS-NODE explores cheaply generated synthetic pseudo rollouts to broaden exploration in the state space and to tackle the challenges brought by lack of ground-truth system data under a teacher-student model. TS-NODE employs an unified optimization framework that corrects the teacher model based on the student's feedback while mitigating the potential false system dynamics present in pseudo rollouts. TS-NODE demonstrates significant performance improvements over a baseline Neural ODE model on multiple dynamical system modeling tasks.
• Abstract（参考訳）: 力学系のモデリングは幅広いタスクにおいて不可欠であるが、複雑な非線形力学、限られた観測、事前知識の欠如などにより依然として困難である。 近年,ニューラルネットワークの表現力を利用して未知のダイナミクスをモデル化することで,ニューラル正規微分方程式(NODE)のようなデータ駆動型アプローチが有望な結果を示している。 しかし、これらのアプローチはしばしばラベル付きトレーニングデータに悩まされ、一般化や準最適予測が不十分になる。 一方、半教師付きアルゴリズムは豊富なラベル付きデータを利用することができ、分類や回帰作業において優れた性能を示した。 NODE を用いた動的システムのモデリングのための,最初の半教師付きアプローチである TS-NODE を提案する。 TS-NODEは、低コストで生成された擬似ロールアウトを探索し、州空間における探索を拡大し、教師-学生モデルの下での地中構造データ不足による課題に対処する。 TS-NODEは、学生のフィードバックに基づいて教師モデルを修正し、擬似ロールアウトに存在する潜在的な偽システムダイナミクスを緩和する統一最適化フレームワークを採用している。 TS-NODEは、複数の動的システムモデリングタスクのベースラインであるNeural ODEモデルに対して、大幅なパフォーマンス向上を示す。

関連論文リスト

• Learning System Dynamics without Forgetting [60.08612207170659]
  未知の力学を持つ系の軌道予測は、物理学や生物学を含む様々な研究分野において重要である。 本稿では,モードスイッチンググラフODE (MS-GODE) の新たなフレームワークを提案する。 生体力学の異なる多様な系を特徴とする生体力学システムの新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-06-30T14:55:18Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• Learning PDE Solution Operator for Continuous Modeling of Time-Series [1.39661494747879]
  この研究は、動的モデリング能力を改善する偏微分方程式(PDE)に基づくフレームワークを提案する。 時間的離散化の反復的操作や特定のグリッドを必要とせずに連続的に処理できるニューラル演算子を提案する。 我々のフレームワークは、現実世界のアプリケーションに容易に適用可能な、ニューラルネットワークの継続的な表現のための新しい方法を開く。
  論文  参考訳（メタデータ） (2023-02-02T03:47:52Z)
• Stretched and measured neural predictions of complex network dynamics [2.1024950052120417]
  微分方程式のデータ駆動近似は、力学系のモデルを明らかにする従来の方法に代わる有望な方法である。 最近、ダイナミックスを研究する機械学習ツールとしてニューラルネットワークが採用されている。これは、データ駆動型ソリューションの検出や微分方程式の発見に使用できる。 従来の統計学習理論の限界を超えてモデルの一般化可能性を拡張することは可能であることを示す。
  論文  参考訳（メタデータ） (2023-01-12T09:44:59Z)
• Decomposed Linear Dynamical Systems (dLDS) for learning the latent components of neural dynamics [6.829711787905569]
  本稿では,時系列データの非定常および非線形の複雑なダイナミクスを表現した新しい分解力学系モデルを提案する。 我々のモデルは辞書学習によって訓練され、最近の結果を利用してスパースベクトルを時間とともに追跡する。 連続時間と離散時間の両方の指導例において、我々のモデルは元のシステムによく近似できることを示した。
  論文  参考訳（メタデータ） (2022-06-07T02:25:38Z)
• Physics guided neural networks for modelling of non-linear dynamics [0.0]
  この研究は、ディープニューラルネットワークの中間層に部分的に既知の情報を注入することで、モデルの精度を向上し、モデルの不確実性を低減し、トレーニング中に収束性を向上させることを実証する。 これらの物理誘導ニューラルネットワークの価値は、非線形系理論においてよく知られた5つの方程式で表される様々な非線形力学系の力学を学習することによって証明されている。
  論文  参考訳（メタデータ） (2022-05-13T19:06:36Z)
• Capturing Actionable Dynamics with Structured Latent Ordinary Differential Equations [68.62843292346813]
  本稿では,その潜在表現内でのシステム入力の変動をキャプチャする構造付き潜在ODEモデルを提案する。 静的変数仕様に基づいて,本モデルではシステムへの入力毎の変動要因を学習し,潜在空間におけるシステム入力の影響を分離する。
  論文  参考訳（メタデータ） (2022-02-25T20:00:56Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Constructing Neural Network-Based Models for Simulating Dynamical Systems [59.0861954179401]
  データ駆動モデリングは、真のシステムの観測からシステムの力学の近似を学ぼうとする代替パラダイムである。 本稿では,ニューラルネットワークを用いた動的システムのモデル構築方法について検討する。 基礎的な概要に加えて、関連する文献を概説し、このモデリングパラダイムが克服すべき数値シミュレーションから最も重要な課題を概説する。
  論文  参考訳（メタデータ） (2021-11-02T10:51:42Z)
• DyNODE: Neural Ordinary Differential Equations for Dynamics Modeling in Continuous Control [0.0]
  本稿では,ニューラル常微分方程式の枠組みに制御を組み込むことにより,システムの基盤となる力学を捉える新しい手法を提案する。 以上の結果から,アクター批判強化学習アルゴリズムと組み合わせた単純なDyNODEアーキテクチャが,標準ニューラルネットワークより優れていることが示唆された。
  論文  参考訳（メタデータ） (2020-09-09T12:56:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。