論文の概要: Multi-Grid Graph Neural Networks with Self-Attention for Computational Mechanics

• arxiv url: http://arxiv.org/abs/2409.11899v1
• Date: Wed, 18 Sep 2024 11:47:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 17:50:39.189993
• Title: Multi-Grid Graph Neural Networks with Self-Attention for Computational Mechanics
• Title（参考訳）: 自己注意型マルチグリッドグラフニューラルネットワークの計算力学への応用
• Authors: Paul Garnier, Jonathan Viquerat, Elie Hachem,
• Abstract要約: 本稿では,GNNにおける自己認識とメッセージパッシングを融合した新しいモデルを提案する。 自己注意に基づく動的メッシュプルーニング手法が提案され,より堅牢なGNNベースのマルチグリッド手法が提案されている。 BERTに基づく新たな自己教師型トレーニング手法を提案し,25%のRMSE削減を実現した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Advancement in finite element methods have become essential in various disciplines, and in particular for Computational Fluid Dynamics (CFD), driving research efforts for improved precision and efficiency. While Convolutional Neural Networks (CNNs) have found success in CFD by mapping meshes into images, recent attention has turned to leveraging Graph Neural Networks (GNNs) for direct mesh processing. This paper introduces a novel model merging Self-Attention with Message Passing in GNNs, achieving a 15\% reduction in RMSE on the well known flow past a cylinder benchmark. Furthermore, a dynamic mesh pruning technique based on Self-Attention is proposed, that leads to a robust GNN-based multigrid approach, also reducing RMSE by 15\%. Additionally, a new self-supervised training method based on BERT is presented, resulting in a 25\% RMSE reduction. The paper includes an ablation study and outperforms state-of-the-art models on several challenging datasets, promising advancements similar to those recently achieved in natural language and image processing. Finally, the paper introduces a dataset with meshes larger than existing ones by at least an order of magnitude. Code and Datasets will be released at https://github.com/DonsetPG/multigrid-gnn.
• Abstract（参考訳）: 有限要素法の進歩は、様々な分野、特に計算流体力学(CFD)において欠かせないものとなり、精度と効率を向上させるための研究を推進している。 畳み込みニューラルネットワーク(CNN)は、メッシュをイメージにマッピングすることでCFDで成功したが、最近の注目は、直接メッシュ処理にグラフニューラルネットワーク(GNN)を活用することにある。 本稿では,GNNにおける自己注意とメッセージパッシングを融合した新しいモデルを提案する。 さらに,自己注意に基づく動的メッシュプルーニング手法が提案され,GNNベースのマルチグリッドアプローチの堅牢化とRMSEの15.5%削減を実現している。 また,BERTをベースとした新たな自己教師型トレーニング手法が提案され,RMSEの25%削減が達成された。 この論文はアブレーション研究を含み、いくつかの挑戦的なデータセット上で最先端のモデルを上回り、最近自然言語や画像処理で達成されたような進歩を約束する。 最後に,メッシュを用いたデータセットを,少なくとも1桁の規模で導入する。 Code and Datasetsはhttps://github.com/DonsetPG/multigrid-gnn.comでリリースされる。

関連論文リスト

• Novel Representation Learning Technique using Graphs for Performance Analytics [0.0]
  本稿では,グラフニューラルネットワーク(GNN)技術の進歩を活用するために,パフォーマンスデータをグラフに変換する新しいアイデアを提案する。 ソーシャルネットワークのような他の機械学習アプリケーションドメインとは対照的に、グラフは提供されない。 我々は,GNNから生成された埋め込みの有効性を,単純なフィードフォワードニューラルネットワークによる回帰処理の性能評価に基づいて評価した。
  論文  参考訳（メタデータ） (2024-01-19T16:34:37Z)
• Multicoated and Folded Graph Neural Networks with Strong Lottery Tickets [3.0894823679470087]
  本稿では,アーキテクチャとパラメータの両面から検索空間を拡張するためのマルチステージ・フォールディング法とアンシャレッド・マスク法を提案する。 高空間性、競争性能、高メモリ効率を最大98.7%の削減で達成することにより、エネルギー効率の高いグラフ処理に適していることを示す。
  論文  参考訳（メタデータ） (2023-12-06T02:16:44Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• Deep Graph Reprogramming [112.34663053130073]
  グラフニューラルネットワーク(GNN)に適したタスク再利用モデル「ディープグラフ再プログラミング」 本稿では,モデル再プログラミングパラダイムと並行して,革新的なデータ再プログラミングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-04-28T02:04:29Z)
• DRGCN: Dynamic Evolving Initial Residual for Deep Graph Convolutional Networks [19.483662490506646]
  我々はDRGCN(Residual Graph Convolutional Network)と呼ばれる新しいモデルを提案する。 実験結果から, 深部GCNの過密化問題を効果的に解消できることが示唆された。 我々のモデルはOpen Graph Benchmark (OGB) の大規模ogbn-arxivデータセット上で新しいSOTA結果に達する。
  論文  参考訳（メタデータ） (2023-02-10T06:57:12Z)
• EGRC-Net: Embedding-induced Graph Refinement Clustering Network [66.44293190793294]
  埋め込みによるグラフリファインメントクラスタリングネットワーク (EGRC-Net) という新しいグラフクラスタリングネットワークを提案する。 EGRC-Netは学習した埋め込みを利用して初期グラフを適応的に洗練し、クラスタリング性能を向上させる。 提案手法はいくつかの最先端手法より一貫して優れている。
  論文  参考訳（メタデータ） (2022-11-19T09:08:43Z)
• GCondNet: A Novel Method for Improving Neural Networks on Small High-Dimensional Tabular Data [14.124731264553889]
  我々はGCondNetを提案し、データに存在する暗黙構造を活用してニューラルネットワークを強化する。 GCondNetはデータの高次元性を利用して、基礎となる予測ネットワークの性能を向上させる。 GCondNetが実世界の12のデータセットに対して有効であることを示す。
  論文  参考訳（メタデータ） (2022-11-11T16:13:34Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Heuristic Semi-Supervised Learning for Graph Generation Inspired by Electoral College [80.67842220664231]
  本稿では,新たなノードやエッジを自動的に拡張して,高密度サブグラフ内のラベル類似性を向上する,新しい前処理手法であるElectoral College(ELCO)を提案する。 テストされたすべての設定において、我々の手法はベースモデルの平均スコアを4.7ポイントの広いマージンで引き上げるとともに、常に最先端のモデルよりも優れています。
  論文  参考訳（メタデータ） (2020-06-10T14:48:48Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。