論文の概要: Learning Physical Simulation with Message Passing Transformer

• arxiv url: http://arxiv.org/abs/2406.06060v1
• Date: Mon, 10 Jun 2024 07:14:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 14:46:46.890387
• Title: Learning Physical Simulation with Message Passing Transformer
• Title（参考訳）: メッセージパッシング変換器を用いた物理シミュレーションの学習
• Authors: Zeyi Xu, Yifei Li,
• Abstract要約: 本稿では,メッセージ・パッシング・フレームワークを組み込んだグラフニューラルネットワーク,メッセージ・パッシング・トランスフォーマに基づく新しいユニバーサル・アーキテクチャを提案する。 このアーキテクチャは,ラグランジアンおよびユーレリア力学系における長期ロールアウトにおいて,大幅な精度向上を実現している。
• 参考スコア（独自算出の注目度）: 5.431396242057807
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning methods for physical simulation have achieved significant success in recent years. We propose a new universal architecture based on Graph Neural Network, the Message Passing Transformer, which incorporates a Message Passing framework, employs an Encoder-Processor-Decoder structure, and applies Graph Fourier Loss as loss function for model optimization. To take advantage of the past message passing state information, we propose Hadamard-Product Attention to update the node attribute in the Processor, Hadamard-Product Attention is a variant of Dot-Product Attention that focuses on more fine-grained semantics and emphasizes on assigning attention weights over each feature dimension rather than each position in the sequence relative to others. We further introduce Graph Fourier Loss (GFL) to balance high-energy and low-energy components. To improve time performance, we precompute the graph's Laplacian eigenvectors before the training process. Our architecture achieves significant accuracy improvements in long-term rollouts for both Lagrangian and Eulerian dynamical systems over current methods.
• Abstract（参考訳）: 近年,物理シミュレーションのための機械学習手法が大きな成功を収めている。 本稿では,グラフニューラルネットワークに基づく新しいユニバーサルアーキテクチャを提案する。メッセージパッシングフレームワークを組み込んだメッセージパッシングトランスフォーマーは,Encoder-Processor-Decoder構造を採用し,グラフフーリエロスをモデル最適化の損失関数として適用する。 本稿では,プロセッサ内のノード属性を更新するHadamard-Product Attentionを提案する。Hadamard-Product AttentionはDot-Product Attentionの亜種であり,よりきめ細かなセマンティクスに焦点を当て,各特徴次元に対する注意重みの割り当てに重点を置いている。 さらに、高エネルギーと低エネルギーのコンポーネントのバランスをとるために、グラフフーリエ損失(GFL)を導入します。 時間性能を向上させるため,学習前にグラフのラプラシアン固有ベクトルを事前計算する。 我々のアーキテクチャは、ラグランジアンおよびユーレリア力学系の長期ロールアウトにおいて、現在の方法よりも大幅に精度が向上する。

関連論文リスト

• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Interpretable Lightweight Transformer via Unrolling of Learned Graph Smoothness Priors [16.04850782310842]
  我々は反復最適化アルゴリズムをアンロールすることで、解釈可能で軽量なトランスフォーマーのようなニューラルネットワークを構築する。 正規化信号依存グラフ学習モジュールは、従来の変圧器の基本自己保持機構の変種に相当する。
  論文  参考訳（メタデータ） (2024-06-06T14:01:28Z)
• Gegenbauer Graph Neural Networks for Time-varying Signal Reconstruction [4.6210788730570584]
  時間変化グラフ信号は、幅広い応用を伴う機械学習と信号処理において重要な問題である。 本稿では,下流タスクの精度を高めるために学習モジュールを組み込んだ新しい手法を提案する。 提案手法の有効性を評価するために,実データセットに関する広範な実験を行った。
  論文  参考訳（メタデータ） (2024-03-28T19:29:17Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Model-Architecture Co-Design for High Performance Temporal GNN Inference on FPGA [5.575293536755127]
  実世界のアプリケーションは、リアルタイムストリーミング動的グラフに対して高いパフォーマンスの推論を必要とする。 本稿では,FPGA上でのメモリベースTGNNの推論のための新しいモデルアーキテクチャ共設計を提案する。 我々は、知識蒸留を用いて単純化されたモデルを訓練し、元のモデルと同じような精度でビザビザビザビザを保証します。
  論文  参考訳（メタデータ） (2022-03-10T00:24:47Z)
• Functional Regularization for Reinforcement Learning via Learned Fourier Features [98.90474131452588]
  本稿では、入力を学習されたフーリエベースに埋め込むことにより、深層強化学習のための簡単なアーキテクチャを提案する。 その結果、状態ベースと画像ベースの両方のRLのサンプル効率が向上することがわかった。
  論文  参考訳（メタデータ） (2021-12-06T18:59:52Z)
• Adaptive Fourier Neural Operators: Efficient Token Mixers for Transformers [55.90468016961356]
  本稿では,Fourierドメインのミキシングを学習する効率的なトークンミキサーを提案する。 AFNOは、演算子学習の原則的基礎に基づいている。 65kのシーケンスサイズを処理でき、他の効率的な自己認識機構より優れている。
  論文  参考訳（メタデータ） (2021-11-24T05:44:31Z)
• Spectral Transform Forms Scalable Transformer [1.19071399645846]
  この研究は自己注意の哲学から学び、情報的長距離時間相互作用を用いた効率的なスペクトルベースの神経ユニットを提案する。 開発されたスペクトルウィンドウユニット(SW)モデルは、保証された効率でスケーラブルな動的グラフを予測する。
  論文  参考訳（メタデータ） (2021-11-15T08:46:01Z)
• Rethinking Graph Transformers with Spectral Attention [13.068288784805901]
  我々は、学習された位置符号化(LPE)を用いて、与えられたグラフ内の各ノードの位置を学習するtextitSpectral Attention Network$(SAN)を提示する。 ラプラシアンの完全なスペクトルを利用することで、我々のモデルは理論上グラフの区別に強力であり、類似のサブ構造を共鳴からよりよく検出することができる。 我々のモデルは最先端のGNNよりも同等かそれ以上の性能を発揮し、あらゆる注目ベースモデルよりも広いマージンで性能を向上する。
  論文  参考訳（メタデータ） (2021-06-07T18:11:11Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。