論文の概要: Transfer learning in Scalable Graph Neural Network for Improved Physical Simulation

• arxiv url: http://arxiv.org/abs/2502.06848v1
• Date: Fri, 07 Feb 2025 08:18:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:09:38.604078
• Title: Transfer learning in Scalable Graph Neural Network for Improved Physical Simulation
• Title（参考訳）: 改良物理シミュレーションのためのスケーラブルグラフニューラルネットワークにおける伝達学習
• Authors: Siqi Shen, Yu Liu, Daniel Biggs, Omar Hafez, Jiandong Yu, Wentao Zhang, Bin Cui, Jiulong Shan,
• Abstract要約: 本稿では,グラフネットワークシミュレータのための事前学習・転送学習パラダイムを提案する。 提案手法により,少量のトレーニングデータを微調整した場合に,モデルの性能が向上することを示す。
• 参考スコア（独自算出の注目度）: 37.1565271299621
• License:
• Abstract: In recent years, Graph Neural Network (GNN) based models have shown promising results in simulating physics of complex systems. However, training dedicated graph network based physics simulators can be costly, as most models are confined to fully supervised training, which requires extensive data generated from traditional physics simulators. To date, how transfer learning could improve the model performance and training efficiency has remained unexplored. In this work, we introduce a pre-training and transfer learning paradigm for graph network simulators. We propose the scalable graph U-net (SGUNET). Incorporating an innovative depth-first search (DFS) pooling, the SGUNET is adaptable to different mesh sizes and resolutions for various simulation tasks. To enable the transfer learning between differently configured SGUNETs, we propose a set of mapping functions to align the parameters between the pre-trained model and the target model. An extra normalization term is also added into the loss to constrain the difference between the pre-trained weights and target model weights for better generalization performance. To pre-train our physics simulator we created a dataset which includes 20,000 physical simulations of randomly selected 3D shapes from the open source A Big CAD (ABC) dataset. We show that our proposed transfer learning methods allow the model to perform even better when fine-tuned with small amounts of training data than when it is trained from scratch with full extensive dataset. On the 2D Deformable Plate benchmark dataset, our pre-trained model fine-tuned on 1/16 of the training data achieved an 11.05\% improvement in position RMSE compared to the model trained from scratch.
• Abstract（参考訳）: 近年、グラフニューラルネットワーク(GNN)ベースのモデルでは、複雑なシステムの物理をシミュレートする有望な結果が示されている。 しかし、多くのモデルは教師付きトレーニングに限られており、従来の物理シミュレータから生成される広範なデータを必要とするため、専用のグラフネットワークベースの物理シミュレータのトレーニングはコストがかかる。 これまでのところ、トランスファーラーニングがモデルの性能とトレーニングの効率をどのように改善するかは未定のままである。 本研究では,グラフネットワークシミュレータのための事前学習・転送学習パラダイムを提案する。 スケーラブルグラフU-net(SGUNET)を提案する。 革新的な深度優先探索(DFS)プーリングを組み込んだSGUNETは、様々なシミュレーションタスクのメッシュサイズや解像度に適応できる。 異なる構成のSGUNET間の伝達学習を可能にするために,事前学習されたモデルと対象モデルとのパラメータを整列するマッピング関数セットを提案する。 また、事前訓練された重みと目標モデルの重みとの差を抑えるために、損失に余分な正規化項を追加して一般化性能を向上させる。 物理シミュレータを事前トレーニングするために、オープンソースのA Big CAD(ABC)データセットからランダムに選択された3D形状の20,000の物理シミュレーションを含むデータセットを作成しました。 提案手法では,モデルに少量のトレーニングデータを微調整した場合,スクラッチから完全なデータセットをトレーニングした場合よりも,モデルのパフォーマンスが向上することを示す。 2D Deformable Plateベンチマークデータセットでは、トレーニングデータの1/16に事前トレーニングしたモデルが、スクラッチからトレーニングしたモデルと比較してRMSEの位置を11.05\%改善した。

関連論文リスト

• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• MBDS: A Multi-Body Dynamics Simulation Dataset for Graph Networks Simulators [4.5353840616537555]
  物理現象をモデル化する主要な手法として,グラフネットワークシミュレータ (GNS) が登場している。 我々は,1D,2D,3Dシーンを含む高品質な物理シミュレーションデータセットを構築した。 私たちのデータセットの重要な特徴は、物理世界のより現実的なシミュレーションを促進する、正確な多体ダイナミクスを取り入れることである。
  論文  参考訳（メタデータ） (2024-10-04T03:03:06Z)
• Bridging the Sim-to-Real Gap with Bayesian Inference [53.61496586090384]
  データからロボットダイナミクスを学習するためのSIM-FSVGDを提案する。 我々は、ニューラルネットワークモデルのトレーニングを規則化するために、低忠実度物理プリエンスを使用します。 高性能RCレースカーシステムにおけるSIM-to-realギャップのブリッジ化におけるSIM-FSVGDの有効性を実証する。
  論文  参考訳（メタデータ） (2024-03-25T11:29:32Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Towards Foundation Models for Scientific Machine Learning: Characterizing Scaling and Transfer Behavior [32.74388989649232]
  我々は、科学機械学習(SciML)の応用において、事前学習をどのように利用できるかを研究する。 これらのモデルを微調整すると、モデルのサイズが大きくなるにつれてパフォーマンスが向上することがわかった。
  論文  参考訳（メタデータ） (2023-06-01T00:32:59Z)
• Online Evolutionary Neural Architecture Search for Multivariate Non-Stationary Time Series Forecasting [72.89994745876086]
  本研究は、オンラインニューロ進化に基づくニューラルアーキテクチャサーチ(ONE-NAS)アルゴリズムを提案する。 ONE-NASは、オンライン予測タスクのためにリカレントニューラルネットワーク(RNN)を自動設計し、動的にトレーニングする新しいニューラルネットワーク探索手法である。 その結果、ONE-NASは従来の統計時系列予測法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-20T22:25:47Z)
• Continual learning autoencoder training for a particle-in-cell simulation via streaming [52.77024349608834]
  今後のエクサスケール時代は 次世代の物理シミュレーションを 高解像度で提供します これらのシミュレーションは高解像度であり、ディスク上に大量のシミュレーションデータを格納することはほぼ不可能であるため、機械学習モデルのトレーニングに影響を与える。 この研究は、ディスク上のデータなしで、実行中のシミュレーションにニューラルネットワークを同時にトレーニングするアプローチを示す。
  論文  参考訳（メタデータ） (2022-11-09T09:55:14Z)
• SNUG: Self-Supervised Neural Dynamic Garments [14.83072352654608]
  本研究では,パラメトリックな人体が着る衣服の動的3次元変形を自己指導的に学習する手法を提案する。 これにより、動的変形や細かいしわを含むインタラクティブな衣服のモデルを、トレーニング時間に2桁の速度で学習することができる。
  論文  参考訳（メタデータ） (2022-04-05T13:50:21Z)
• Learning Mesh-Based Simulation with Graph Networks [20.29893312074383]
  グラフニューラルネットワークを用いたメッシュベースのシミュレーション学習フレームワークであるMeshGraphNetsを紹介する。 その結果, 空気力学, 構造力学, 布など, 幅広い物理系の力学を正確に予測できることがわかった。
  論文  参考訳（メタデータ） (2020-10-07T13:34:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。