論文の概要: Rapid training of Hamiltonian graph networks without gradient descent

• arxiv url: http://arxiv.org/abs/2506.06558v1
• Date: Fri, 06 Jun 2025 22:10:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.329155
• Title: Rapid training of Hamiltonian graph networks without gradient descent
• Title（参考訳）: 勾配降下のないハミルトングラフネットワークの高速学習
• Authors: Atamert Rahma, Chinmay Datar, Ana Cukarska, Felix Dietrich,
• Abstract要約: Hamiltonian Graph Networks (HGN) は15の解法よりも600倍高速にトレーニングできる。 我々は,N-body mass-spring system を含む様々なシミュレーションにおいて,最大3次元の物理量で頑健な性能を示す。 最小限の8ノードシステムでトレーニングしても、モデルがゼロショット方式で4096ノードのシステムに再トレーニングせずに一般化できることを明らかにする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning dynamical systems that respect physical symmetries and constraints remains a fundamental challenge in data-driven modeling. Integrating physical laws with graph neural networks facilitates principled modeling of complex N-body dynamics and yields accurate and permutation-invariant models. However, training graph neural networks with iterative, gradient-based optimization algorithms (e.g., Adam, RMSProp, LBFGS) often leads to slow training, especially for large, complex systems. In comparison to 15 different optimizers, we demonstrate that Hamiltonian Graph Networks (HGN) can be trained up to 600x faster--but with comparable accuracy--by replacing iterative optimization with random feature-based parameter construction. We show robust performance in diverse simulations, including N-body mass-spring systems in up to 3 dimensions with different geometries, while retaining essential physical invariances with respect to permutation, rotation, and translation. We reveal that even when trained on minimal 8-node systems, the model can generalize in a zero-shot manner to systems as large as 4096 nodes without retraining. Our work challenges the dominance of iterative gradient-descent-based optimization algorithms for training neural network models for physical systems.
• Abstract（参考訳）: 物理対称性と制約を尊重する力学系を学ぶことは、データ駆動モデリングにおける根本的な課題である。 物理法則とグラフニューラルネットワークを統合することで、複雑なN-ボディのダイナミクスの原理的モデリングが促進され、正確かつ置換不変なモデルが得られる。 しかし、グラフニューラルネットワークを反復的な勾配に基づく最適化アルゴリズム(Adam、RMSProp、LBFGSなど)でトレーニングすることは、特に大規模で複雑なシステムにおいて遅いトレーニングにつながることが多い。 15の異なるオプティマイザと比較して、ハミルトングラフネットワーク(HGN)は600倍高速にトレーニングできるが、精度は同等であり、反復最適化をランダムな特徴ベースのパラメータ構成に置き換えることができる。 我々は,N-body mass-spring systemを含む様々なシミュレーションにおいて,最大3次元のジオメトリーを含む堅牢な性能を示すとともに,置換,回転,変換に関して不可欠な物理的不変性を保っている。 最小限の8ノードシステムでトレーニングしても、モデルがゼロショット方式で4096ノードのシステムに再トレーニングせずに一般化できることを明らかにする。 我々の研究は、物理システムのためのニューラルネットワークモデルをトレーニングするための反復的な勾配差に基づく最適化アルゴリズムの優位性に挑戦する。

関連論文リスト

• Training Hamiltonian neural networks without backpropagation [0.0]
  本稿では,ハミルトニアン系を近似するニューラルネットワークのトレーニングを高速化するバックプロパゲーションフリーアルゴリズムを提案する。 従来のハミルトニアンニューラルネットワークよりもCPUの方が100倍以上高速であることを示す。
  論文  参考訳（メタデータ） (2024-11-26T15:22:30Z)
• Reduced-Order Neural Operators: Learning Lagrangian Dynamics on Highly Sparse Graphs [19.1312659245072]
  我々は,データ駆動型離散化不変フレームワークであるGIOROMについて,低次モデリング(ROM)によるラグランジアンシミュレーションを高速化する。 我々は、PDEソリューション演算子のデータ駆動グラフに基づくニューラル近似を利用する。 GIOROMは6.6$times$-32$times$の入力次元の縮小を実現し、多様なラグランジアン体制における高忠実度再構成を維持している。
  論文  参考訳（メタデータ） (2024-07-04T13:37:26Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Geometry-Informed Neural Operator for Large-Scale 3D PDEs [76.06115572844882]
  大規模偏微分方程式の解演算子を学習するために,幾何インフォームド・ニューラル演算子(GINO)を提案する。 我々はGINOを訓練し、わずか500点のデータポイントで車両表面の圧力を予測することに成功した。
  論文  参考訳（メタデータ） (2023-09-01T16:59:21Z)
• The Underlying Correlated Dynamics in Neural Training [6.385006149689549]
  ニューラルネットワークのトレーニングは、計算集約的なタスクである。 本稿では,パラメータのダイナミクスの相関に基づくモデルを提案する。 この表現は、基礎となるトレーニングダイナミクスの理解を深め、より良い加速技術を設計するための道を開くことができる。
  論文  参考訳（メタデータ） (2022-12-18T08:34:11Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• Inverse-Dirichlet Weighting Enables Reliable Training of Physics Informed Neural Networks [2.580765958706854]
  我々は、深層ニューラルネットワークのトレーニング中に、スケール不均衡を伴うマルチスケールダイナミクスから生じる障害モードを記述し、治療する。 PINNは、物理方程式モデルとデータとのシームレスな統合を可能にする、一般的な機械学習テンプレートである。 逐次トレーニングを用いた逆モデリングでは,逆ディリクレ重み付けがPINNを破滅的忘れから保護することがわかった。
  論文  参考訳（メタデータ） (2021-07-02T10:01:37Z)
• E(n) Equivariant Graph Neural Networks [86.75170631724548]
  本稿では,E(n)-Equivariant Graph Neural Networks (EGNNs) と呼ばれる回転,翻訳,反射,置換に等価なグラフニューラルネットワークを学習する新しいモデルを提案する。 既存の手法とは対照的に、私たちの仕事は計算的に高価な中間層における高階表現を必要としません。
  論文  参考訳（メタデータ） (2021-02-19T10:25:33Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。