Fugu-MT 論文翻訳(概要): Training Transformers for Mesh-Based Simulations

論文の概要: Training Transformers for Mesh-Based Simulations

arxiv url: http://arxiv.org/abs/2508.18051v1
Date: Mon, 25 Aug 2025 14:10:13 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-26 18:43:45.808569
Title: Training Transformers for Mesh-Based Simulations
Title（参考訳）: メッシュシミュレーションのためのトレーニングトランス
Authors: Paul Garnier, Vincent Lannelongue, Jonathan Viquerat, Elie Hachem,
Abstract要約: 本稿では,アテンションマスクとして隣接行列を利用する新しいグラフトランスフォーマーアーキテクチャを提案する。 60以上のモデルをトレーニングして、FLOPのトレーニングとパラメータのスケーリングの法則を見つけます。導入されたモデルは、最大3万ノードと300万エッジのメッシュ上で実行する、素晴らしいスケーラビリティを示している。
参考スコア（独自算出の注目度）: 3.4998703934432682
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Simulating physics using Graph Neural Networks (GNNs) is predominantly driven by message-passing architectures, which face challenges in scaling and efficiency, particularly in handling large, complex meshes. These architectures have inspired numerous enhancements, including multigrid approaches and $K$-hop aggregation (using neighbours of distance $K$), yet they often introduce significant complexity and suffer from limited in-depth investigations. In response to these challenges, we propose a novel Graph Transformer architecture that leverages the adjacency matrix as an attention mask. The proposed approach incorporates innovative augmentations, including Dilated Sliding Windows and Global Attention, to extend receptive fields without sacrificing computational efficiency. Through extensive experimentation, we evaluate model size, adjacency matrix augmentations, positional encoding and $K$-hop configurations using challenging 3D computational fluid dynamics (CFD) datasets. We also train over 60 models to find a scaling law between training FLOPs and parameters. The introduced models demonstrate remarkable scalability, performing on meshes with up to 300k nodes and 3 million edges. Notably, the smallest model achieves parity with MeshGraphNet while being $7\times$ faster and $6\times$ smaller. The largest model surpasses the previous state-of-the-art by $38.8$\% on average and outperforms MeshGraphNet by $52$\% on the all-rollout RMSE, while having a similar training speed. Code and datasets are available at https://github.com/DonsetPG/graph-physics.
Abstract（参考訳）: グラフニューラルネットワーク(GNN)を用いた物理シミュレーションは、主にメッセージパッシングアーキテクチャによって駆動される。これらのアーキテクチャは、マルチグリッドアプローチや$K$ホップアグリゲーション($K$の近隣を使用)など、多くの拡張にインスピレーションを与えている。これらの課題に対応するために,アジャケーシ行列を注目マスクとして利用する新しいグラフトランスフォーマーアーキテクチャを提案する。提案手法は、Dilated Sliding WindowsやGlobal Attentionなどの革新的な拡張を取り入れ、計算効率を犠牲にすることなく、受容場を拡張する。本研究では, モデルサイズ, 隣接行列拡張, 位置符号化, および3次元計算流体力学(CFD)データセットを用いた$K$-hop構成の評価を行った。また、トレーニング用FLOPとパラメータ間のスケーリング法則を見つけるために60以上のモデルもトレーニングしています。導入されたモデルは、最大3万ノードと300万エッジのメッシュ上で実行する、素晴らしいスケーラビリティを示している。特に、最小のモデルは、MeshGraphNetと同等であり、より高速な7ドル、より小さい6ドルである。最大のモデルは、前回の最先端を平均38.8ドル\%で上回り、全ロールアウトのRMSEでMeshGraphNetを52ドル\%で上回り、同様のトレーニング速度を持つ。コードとデータセットはhttps://github.com/DonsetPG/graph-physicsで入手できる。

関連論文リスト

Fused3S: Fast Sparse Attention on Tensor Cores [3.6068301267188]
本稿では,テンソルコア利用を最大化し,データ移動を最小化する最初の融合3SアルゴリズムであるFused3Sを紹介する。実世界のグラフデータセット全体にわたって、Fused3S $1.6-16.3times$と1.5-14times$H100とA30 GPUの最先端のスピードアップ。
論文参考訳（メタデータ） (2025-05-12T22:09:05Z)
MeshMask: Physics-Based Simulations with Masked Graph Neural Networks [0.0]
本稿では,計算流体力学(CFD)問題に適用したグラフニューラルネットワーク(GNN)のための新しいマスク付き事前学習手法を提案する。事前学習中に入力メッシュノードの40%をランダムにマスキングすることにより、複雑な流体力学の堅牢な表現を学習せざるを得ない。提案手法は,メッシュ当たり25万ノード以上の3次元頭蓋内動脈瘤シミュレーションの挑戦的データセットを含む,7つのCFDデータセットの最先端結果を実現する。
論文参考訳（メタデータ） (2025-01-15T11:34:56Z)
MeshXL: Neural Coordinate Field for Generative 3D Foundation Models [51.1972329762843]
本稿では,現代の大規模言語モデルを用いた3次元メッシュ生成のプロセスに対処する,事前学習型自己回帰モデルの生成ファミリを提案する。 MeshXLは高品質な3Dメッシュを生成することができ、さまざまなダウンストリームアプリケーションの基盤モデルとしても機能する。
論文参考訳（メタデータ） (2024-05-31T14:35:35Z)
E(3)-Equivariant Mesh Neural Networks [16.158762988735322]
三角形メッシュは3次元オブジェクトを表現するために広く使われている。近年の多くの研究は、3Dメッシュ上での幾何学的深層学習の必要性に対処している。 E(n)-同変グラフニューラルネットワーク(EGNN)の方程式を拡張し、メッシュフェイス情報を組み込む。結果として得られるアーキテクチャであるEMNN(Equivariant Mesh Neural Network)は、メッシュタスクにおいて、他のより複雑な同変手法よりも優れている。
論文参考訳（メタデータ） (2024-02-07T13:21:41Z)
Graph Transformers for Large Graphs [57.19338459218758]
この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。 ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
論文参考訳（メタデータ） (2023-12-18T11:19:23Z)
Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文参考訳（メタデータ） (2022-09-20T14:41:37Z)
DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
論文参考訳（メタデータ） (2021-09-21T09:57:21Z)
Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文参考訳（メタデータ） (2020-10-02T16:50:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。