論文の概要: Enhancing the Inductive Biases of Graph Neural ODE for Modeling Dynamical Systems

• arxiv url: http://arxiv.org/abs/2209.10740v1
• Date: Thu, 22 Sep 2022 02:20:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 14:36:35.325850
• Title: Enhancing the Inductive Biases of Graph Neural ODE for Modeling Dynamical Systems
• Title（参考訳）: 動的システムのモデリングのためのグラフニューラル・オードの誘導バイアスの強化
• Authors: Suresh Bishnoi, Ravinder Bhattoo, Sayan Ranu, and N. M. Anoop Krishnan
• Abstract要約: 動的システムの時間進化を学習するために,グラフベースのニューラルODE,GNODEを提案する。 我々は,LNNやHNNと同様,制約を明示的に符号化することで,GNODEのトレーニング効率と性能を大幅に向上させることができることを示す。 これらのバイアスを誘導することで、エネルギー違反とロールアウトエラーの両方の観点から、モデルの性能を桁違いに向上させることができることを実証する。
• 参考スコア（独自算出の注目度）: 4.5290822798579775
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Neural networks with physics based inductive biases such as Lagrangian neural networks (LNN), and Hamiltonian neural networks (HNN) learn the dynamics of physical systems by encoding strong inductive biases. Alternatively, Neural ODEs with appropriate inductive biases have also been shown to give similar performances. However, these models, when applied to particle based systems, are transductive in nature and hence, do not generalize to large system sizes. In this paper, we present a graph based neural ODE, GNODE, to learn the time evolution of dynamical systems. Further, we carefully analyse the role of different inductive biases on the performance of GNODE. We show that, similar to LNN and HNN, encoding the constraints explicitly can significantly improve the training efficiency and performance of GNODE significantly. Our experiments also assess the value of additional inductive biases, such as Newtons third law, on the final performance of the model. We demonstrate that inducing these biases can enhance the performance of model by orders of magnitude in terms of both energy violation and rollout error. Interestingly, we observe that the GNODE trained with the most effective inductive biases, namely MCGNODE, outperforms the graph versions of LNN and HNN, namely, Lagrangian graph networks (LGN) and Hamiltonian graph networks (HGN) in terms of energy violation error by approx 4 orders of magnitude for a pendulum system, and approx 2 orders of magnitude for spring systems. These results suggest that competitive performances with energy conserving neural networks can be obtained for NODE based systems by inducing appropriate inductive biases.
• Abstract（参考訳）: ラグランジアンニューラルネットワーク(lnn)やハミルトニアンニューラルネットワーク(hnn)のような物理学に基づく帰納バイアスを持つニューラルネットワークは、強い帰納バイアスを符号化することで物理システムのダイナミクスを学ぶ。 あるいは、適切なインダクティブバイアスを持つニューラルodeも同様のパフォーマンスを示すことが示されている。 しかし、これらのモデルが粒子ベースのシステムに適用されると、自然界ではトランスダクティブであり、従って大きなシステムサイズには一般化しない。 本稿では,動的システムの時間進化を学習するためのグラフベースニューラルODE,GNODEを提案する。 さらに,gnodeの性能に対する異なる帰納的バイアスの役割を慎重に分析する。 我々は,LNNやHNNと同様,制約を明示的に符号化することで,GNODEのトレーニング効率と性能を大幅に向上させることができることを示す。 我々の実験はまた、モデルの最終性能に関するニュートンの第3法則のような帰納的バイアスの付加価値も評価した。 これらのバイアスを誘発することで、エネルギー違反とロールアウトエラーの両方の観点から、モデルの性能を桁違いに向上できることを実証する。 興味深いことに、GNODEは最も効果的なインダクティブバイアス、すなわちMCGNODEで訓練され、LNNとHNNのグラフバージョン、すなわちラグランジアングラフネットワーク(LGN)とハミルトングラフネットワーク(HGN)を、振り子系において4桁のエネルギー違反誤差で上回り、スプリング系では2桁の精度で処理する。 これらの結果から, エネルギー保存型ニューラルネットワークを用いた競合性能は, 適切な帰納バイアスを誘導することにより, NODEベースのシステムに対して得られることが示唆された。

関連論文リスト

• Graph Neural Reaction Diffusion Models [14.164952387868341]
  本稿では,ニューラルRDシステムに基づく反応GNNの新たなファミリーを提案する。 本稿では,RDGNNの理論的特性とその実装について論じるとともに,最先端手法の競争性能を向上させるか,提供するかを示す。
  論文  参考訳（メタデータ） (2024-06-16T09:46:58Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• SEGNO: Generalizing Equivariant Graph Neural Networks with Physical Inductive Biases [66.61789780666727]
  等変性を維持しながら, 2階連続性をGNNに組み込む方法を示す。 また、SEGNOに関する理論的知見も提供し、隣接する状態間の一意の軌跡を学習できることを強調している。 我々のモデルは最先端のベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-08-25T07:15:58Z)
• Graph Neural Network-Inspired Kernels for Gaussian Processes in Semi-Supervised Learning [4.644263115284322]
  グラフニューラルネットワーク(GNN)は、半教師付き学習において、グラフ構造化データのモデルとして期待できるクラスとして最近登場した。 この帰納バイアスをGPに導入して,グラフ構造化データの予測性能を向上させる。 これらのグラフベースのカーネルは、各GNNと比較して、競合する分類と回帰性能、および時間の長所をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-02-12T01:07:56Z)
• Unravelling the Performance of Physics-informed Graph Neural Networks for Dynamical Systems [5.787429262238507]
  グラフニューラルネットワーク(GNN)とその変種の性能を、明示的な制約と異なるアーキテクチャで評価する。 本研究は, 明示的制約や運動エネルギーとポテンシャルエネルギーの疎結合などの付加的な誘導バイアスを有するGNNが, 性能を著しく向上することを示した。 全ての物理インフォームドGNNは、訓練システムよりも桁違いの大きさのシステムサイズに対してゼロショットの一般化性を示し、大規模な現実的なシステムをシミュレートする有望な経路を提供する。
  論文  参考訳（メタデータ） (2022-11-10T12:29:30Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Deconstructing the Inductive Biases of Hamiltonian Neural Networks [41.37309202965647]
  物理学にインスパイアされたニューラルネットワーク(NN)は、強い帰納バイアスを利用して、他の学習された力学モデルよりも劇的に優れている。 従来の知恵とは対照的に、HNNの一般化の改善は、直接的に加速をモデル化した結果であることを示す。 これらのモデルの帰納バイアスを緩和することにより、エネルギー保存システムの性能に適合または超えることができ、実用的な非保守システムの性能を劇的に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-10T05:05:38Z)
• Continuous-Depth Neural Models for Dynamic Graph Prediction [16.89981677708299]
  連続深度グラフニューラルネットワーク(GNN)の枠組みを紹介する。 ニューラルグラフ微分方程式(ニューラルグラフ微分方程式)は、GNNに対抗して形式化される。 その結果、遺伝的制御ネットワークにおけるトラフィック予測や予測など、アプリケーション全体にわたって提案されたモデルの有効性が証明された。
  論文  参考訳（メタデータ） (2021-06-22T07:30:35Z)
• The Surprising Power of Graph Neural Networks with Random Node Initialization [54.4101931234922]
  グラフニューラルネットワーク(GNN)は、関係データ上での表現学習に有効なモデルである。 標準 GNN はその表現力に制限があり、Weisfeiler-Leman グラフ同型(英語版)の能力以外の区別はできない。 本研究では,ランダムノード(RNI)を用いたGNNの表現力の解析を行う。 我々はこれらのモデルが普遍的であることを証明し、GNNが高次特性の計算に頼らない最初の結果である。
  論文  参考訳（メタデータ） (2020-10-02T19:53:05Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。