論文の概要: SEA: State-Exchange Attention for High-Fidelity Physics-Based Transformers

• arxiv url: http://arxiv.org/abs/2410.15495v1
• Date: Sun, 20 Oct 2024 20:25:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:20:13.448031
• Title: SEA: State-Exchange Attention for High-Fidelity Physics-Based Transformers
• Title（参考訳）: SEA:高忠実度物理変換器の状態交換注意
• Authors: Parsa Esmati, Amirhossein Dadashzadeh, Vahid Goodarzi, Nicolas Larrosa, Nicolo Grilli,
• Abstract要約: シーケンシャルネットワークを用いた最近のアプローチは、動的システムのフィールド変数の推定において有望であることを示している。 符号化されたフィールド間の情報交換を可能にするトランスフォーマーベースのモジュールである,ステート・エクスチェンジ・アテンション(SEA)モジュールを紹介する。 システムの他の状態に依存している状態変数に対して,SEAモジュールだけでエラーを97%削減できることを実証した。
• 参考スコア（独自算出の注目度）: 1.1650821883155187
• License:
• Abstract: Current approaches using sequential networks have shown promise in estimating field variables for dynamical systems, but they are often limited by high rollout errors. The unresolved issue of rollout error accumulation results in unreliable estimations as the network predicts further into the future, with each step's error compounding and leading to an increase in inaccuracy. Here, we introduce the State-Exchange Attention (SEA) module, a novel transformer-based module enabling information exchange between encoded fields through multi-head cross-attention. The cross-field multidirectional information exchange design enables all state variables in the system to exchange information with one another, capturing physical relationships and symmetries between fields. In addition, we incorporate a ViT-like architecture to generate spatially coherent mesh embeddings, further improving the model's ability to capture spatial dependencies in the data. This enhances the model's ability to represent complex interactions between the field variables, resulting in improved rollout error accumulation. Our results show that the Transformer model integrated with the State-Exchange Attention (SEA) module outperforms competitive baseline models, including the PbGMR-GMUS Transformer-RealNVP and GMR-GMUS Transformer, with a reduction in error of 88\% and 91\%, respectively, achieving state-of-the-art performance. Furthermore, we demonstrate that the SEA module alone can reduce errors by 97\% for state variables that are highly dependent on other states of the system.
• Abstract（参考訳）: 現在のシーケンシャルネットワークを用いたアプローチは、動的システムのフィールド変数の推定において有望であるが、高ロールアウトエラーによって制限されることが多い。 ロールアウトエラーの蓄積という未解決の問題は、ネットワークが将来的にさらに予測し、各ステップのエラーが混在し、不正確性が増大するにつれて、信頼性の低い推定結果をもたらす。 本稿では,マルチヘッド・クロスアテンションを通じて符号化されたフィールド間の情報交換を可能にするトランスフォーマーベースのモジュールであるステート・エクスチェンジ・アテンション(SEA)モジュールを紹介する。 クロスフィールド多方向性情報交換設計により、システム内の全ての状態変数が互いに情報を交換することができ、フィールド間の物理的関係や対称性をキャプチャすることができる。 さらに、空間的コヒーレントなメッシュ埋め込みを生成するために、ViTのようなアーキテクチャを導入し、データ内の空間的依存関係をキャプチャするモデルの能力をさらに向上する。 これにより、フィールド変数間の複雑な相互作用を表現するモデルの能力が向上し、ロールアウトエラーの蓄積が改善される。 PbGMR-GMUS Transformer-RealNVP や GMR-GMUS Transformer といった競合するベースラインモデルよりも高い性能を示し,それぞれ88\% と91\% の誤差を低減した。 さらに、SEAモジュールだけで、システムの他の状態に大きく依存する状態変数に対して、エラーを97 %削減できることを示す。

関連論文リスト

• MART: MultiscAle Relational Transformer Networks for Multi-agent Trajectory Prediction [5.8919870666241945]
  マルチエージェント軌道予測のためのMultiplescleimat Transformer (MART) ネットワークを提案する。 MARTは、変圧器機械の個人およびグループ動作を考えるためのハイパーグラフトランスフォーマーアーキテクチャである。 さらに,実環境における複雑なグループ関係の推論を目的としたAdaptive Group Estor (AGE)を提案する。
  論文  参考訳（メタデータ） (2024-07-31T14:31:49Z)
• CT-MVSNet: Efficient Multi-View Stereo with Cross-scale Transformer [8.962657021133925]
  クロススケールトランス(CT)プロセスは、追加計算なしで異なる段階の表現を特徴付ける。 複数のスケールで異なる対話型アテンションの組み合わせを利用する適応型マッチング認識変換器(AMT)を導入する。 また、より細かなコストボリューム構成に大まかにグローバルな意味情報を埋め込む2機能ガイドアグリゲーション(DFGA)も提案する。
  論文  参考訳（メタデータ） (2023-12-14T01:33:18Z)
• Deep Transformers without Shortcuts: Modifying Self-attention for Faithful Signal Propagation [105.22961467028234]
  ディープニューラルネットワーク(DNN)のトレーニングにおいて,スキップ接続と正規化レイヤはユビキタスである Deep Kernel Shapingのような最近のアプローチは、それらへの依存を減らすために進歩しました。 しかし、これらのアプローチは変換器に存在する自己注意層とは相容れない。
  論文  参考訳（メタデータ） (2023-02-20T21:26:25Z)
• Robust representations of oil wells' intervals via sparse attention mechanism [2.604557228169423]
  正規化変換器(Reguformers)と呼ばれる効率的な変換器のクラスを導入する。 私たちの実験の焦点は、石油とガスのデータ、すなわちウェルログにあります。 このような問題に対する我々のモデルを評価するために、20以上の井戸からなるウェルログからなる産業規模のオープンデータセットで作業する。
  論文  参考訳（メタデータ） (2022-12-29T09:56:33Z)
• Multimodal Fusion Transformer for Remote Sensing Image Classification [35.57881383390397]
  視覚変換器(ViT)は、畳み込みニューラルネットワーク(CNN)と比較して、期待できる性能のため、画像分類タスクにおいてトレンドとなっている。 CNNに近い満足なパフォーマンスを達成するために、トランスフォーマーはより少ないパラメータを必要とする。 HSI土地被覆分類のためのマルチヘッドクロスパッチアテンション(mCrossPA)を含む新しいマルチモーダルフュージョントランス (MFT) ネットワークを導入する。
  論文  参考訳（メタデータ） (2022-03-31T11:18:41Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)
• TransGAN: Two Transformers Can Make One Strong GAN [111.07699201175919]
  我々は、純粋なトランスフォーマーベースのアーキテクチャのみを用いて、完全に畳み込みのないGANテキストを構築できる最初のパイロット研究を行う。 バニラGANアーキテクチャはtextbfTransGANと呼ばれ、メモリフレンドリーなトランスフォーマーベースのジェネレータで構成されています。 当社の最高のアーキテクチャは、コンボリューションバックボーンに基づく最新のGANと比較して非常に競争力のあるパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-14T05:24:48Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)
• Wake Word Detection with Streaming Transformers [72.66551640048405]
  提案したトランスフォーマーモデルでは,同じ偽アラームレートで,平均25%の誤り拒否率でベースライン畳み込みネットワークを性能的に上回ることを示す。 Mobvoiのウェイクワードデータセットに関する実験により,提案したTransformerモデルはベースライン畳み込みネットワークを25%上回る性能を示した。
  論文  参考訳（メタデータ） (2021-02-08T19:14:32Z)
• DA-Transformer: Distance-aware Transformer [87.20061062572391]
  DA-Transformerは、実際の距離を利用することができる距離対応トランスである。 本稿では,実距離を利用した距離認識変換器であるDA-Transformerを提案する。
  論文  参考訳（メタデータ） (2020-10-14T10:09:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。