論文の概要: SEA: State-Exchange Attention for High-Fidelity Physics Based Transformers
- arxiv url: http://arxiv.org/abs/2410.15495v2
- Date: Tue, 29 Oct 2024 20:13:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-31 14:24:28.779679
- Title: SEA: State-Exchange Attention for High-Fidelity Physics Based Transformers
- Title（参考訳）: SEA:高忠実度物理学に基づく変圧器の状態交換注意
- Authors: Parsa Esmati, Amirhossein Dadashzadeh, Vahid Goodarzi, Nicolas Larrosa, Nicolò Grilli,
- Abstract要約: シーケンシャルネットワークを用いた最近のアプローチは、動的システムのフィールド変数の推定において有望であることを示している。
ロールアウトエラーの蓄積に関する未解決の問題は、ネットワークが将来予測するときに、信頼できない見積もりをもたらす。
本稿では、符号化されたフィールド間の情報交換を可能にする新しいトランスフォーマーベースのモジュールである、ステート・エクスチェンジ・アテンション(SEA)モジュールを紹介する。
- 参考スコア（独自算出の注目度）: 1.1650821883155187
- License:
- Abstract: Current approaches using sequential networks have shown promise in estimating field variables for dynamical systems, but they are often limited by high rollout errors. The unresolved issue of rollout error accumulation results in unreliable estimations as the network predicts further into the future, with each step's error compounding and leading to an increase in inaccuracy. Here, we introduce the State-Exchange Attention (SEA) module, a novel transformer-based module enabling information exchange between encoded fields through multi-head cross-attention. The cross-field multidirectional information exchange design enables all state variables in the system to exchange information with one another, capturing physical relationships and symmetries between fields. Additionally, we introduce an efficient ViT-like mesh autoencoder to generate spatially coherent mesh embeddings for a large number of meshing cells. The SEA integrated transformer demonstrates the state-of-the-art rollout error compared to other competitive baselines. Specifically, we outperform PbGMR-GMUS Transformer-RealNVP and GMR-GMUS Transformer, with a reduction in error of 88% and 91%, respectively. Furthermore, we demonstrate that the SEA module alone can reduce errors by 97% for state variables that are highly dependent on other states of the system. The repository for this work is available at: https://github.com/ParsaEsmati/SEA
- Abstract（参考訳）: シーケンシャルネットワークを用いた現在のアプローチは、動的システムのフィールド変数の推定において有望であるが、高ロールアウトエラーによって制限されることが多い。
ロールアウトエラーの蓄積という未解決の問題は、ネットワークが将来的にさらに予測し、各ステップのエラーが混在し、不正確性が増大するにつれて、信頼性の低い推定結果をもたらす。
本稿では,マルチヘッド・クロスアテンションを通じて符号化されたフィールド間の情報交換を可能にするトランスフォーマーベースのモジュールであるステート・エクスチェンジ・アテンション(SEA)モジュールを紹介する。
クロスフィールド多方向性情報交換設計により、システム内の全ての状態変数が互いに情報を交換することができ、フィールド間の物理的関係や対称性をキャプチャすることができる。
さらに,多数のメッシュセルに対して空間的にコヒーレントなメッシュ埋め込みを生成するために,効率的なViT型メッシュオートエンコーダを導入する。
SEA統合トランスは、他の競合するベースラインと比較して、最先端のロールアウトエラーを示す。
具体的には,PbGMR-GMUS Transformer-RealNVPとGMR-GMUS Transformerをそれぞれ88%,GMR-GMUS Transformerを91%で上回った。
さらに、SEAモジュールだけでシステムの他の状態に大きく依存する状態変数のエラーを97%削減できることを示す。
この作業のリポジトリは、https://github.com/ParsaEsmati/SEAで公開されている。
関連論文リスト
- MART: MultiscAle Relational Transformer Networks for Multi-agent Trajectory Prediction [5.8919870666241945]
マルチエージェント軌道予測のためのMultiplescleimat Transformer (MART) ネットワークを提案する。
MARTは、変圧器機械の個人およびグループ動作を考えるためのハイパーグラフトランスフォーマーアーキテクチャである。
さらに,実環境における複雑なグループ関係の推論を目的としたAdaptive Group Estor (AGE)を提案する。
論文 参考訳（メタデータ） (2024-07-31T14:31:49Z) - CT-MVSNet: Efficient Multi-View Stereo with Cross-scale Transformer [8.962657021133925]
クロススケールトランス(CT)プロセスは、追加計算なしで異なる段階の表現を特徴付ける。
複数のスケールで異なる対話型アテンションの組み合わせを利用する適応型マッチング認識変換器(AMT)を導入する。
また、より細かなコストボリューム構成に大まかにグローバルな意味情報を埋め込む2機能ガイドアグリゲーション(DFGA)も提案する。
論文 参考訳（メタデータ） (2023-12-14T01:33:18Z) - Deep Transformers without Shortcuts: Modifying Self-attention for
Faithful Signal Propagation [105.22961467028234]
ディープニューラルネットワーク(DNN)のトレーニングにおいて,スキップ接続と正規化レイヤはユビキタスである
Deep Kernel Shapingのような最近のアプローチは、それらへの依存を減らすために進歩しました。
しかし、これらのアプローチは変換器に存在する自己注意層とは相容れない。
論文 参考訳（メタデータ） (2023-02-20T21:26:25Z) - Robust representations of oil wells' intervals via sparse attention
mechanism [2.604557228169423]
正規化変換器(Reguformers)と呼ばれる効率的な変換器のクラスを導入する。
私たちの実験の焦点は、石油とガスのデータ、すなわちウェルログにあります。
このような問題に対する我々のモデルを評価するために、20以上の井戸からなるウェルログからなる産業規模のオープンデータセットで作業する。
論文 参考訳（メタデータ） (2022-12-29T09:56:33Z) - Multimodal Fusion Transformer for Remote Sensing Image Classification [35.57881383390397]
視覚変換器(ViT)は、畳み込みニューラルネットワーク(CNN)と比較して、期待できる性能のため、画像分類タスクにおいてトレンドとなっている。
CNNに近い満足なパフォーマンスを達成するために、トランスフォーマーはより少ないパラメータを必要とする。
HSI土地被覆分類のためのマルチヘッドクロスパッチアテンション(mCrossPA)を含む新しいマルチモーダルフュージョントランス (MFT) ネットワークを導入する。
論文 参考訳（メタデータ） (2022-03-31T11:18:41Z) - Transformers Solve the Limited Receptive Field for Monocular Depth
Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。
連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文 参考訳（メタデータ） (2021-03-22T18:00:13Z) - TransGAN: Two Transformers Can Make One Strong GAN [111.07699201175919]
我々は、純粋なトランスフォーマーベースのアーキテクチャのみを用いて、完全に畳み込みのないGANテキストを構築できる最初のパイロット研究を行う。
バニラGANアーキテクチャはtextbfTransGANと呼ばれ、メモリフレンドリーなトランスフォーマーベースのジェネレータで構成されています。
当社の最高のアーキテクチャは、コンボリューションバックボーンに基づく最新のGANと比較して非常に競争力のあるパフォーマンスを実現します。
論文 参考訳（メタデータ） (2021-02-14T05:24:48Z) - Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。
本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-02-09T10:55:27Z) - Wake Word Detection with Streaming Transformers [72.66551640048405]
提案したトランスフォーマーモデルでは,同じ偽アラームレートで,平均25%の誤り拒否率でベースライン畳み込みネットワークを性能的に上回ることを示す。
Mobvoiのウェイクワードデータセットに関する実験により,提案したTransformerモデルはベースライン畳み込みネットワークを25%上回る性能を示した。
論文 参考訳（メタデータ） (2021-02-08T19:14:32Z) - DA-Transformer: Distance-aware Transformer [87.20061062572391]
DA-Transformerは、実際の距離を利用することができる距離対応トランスである。
本稿では,実距離を利用した距離認識変換器であるDA-Transformerを提案する。
論文 参考訳（メタデータ） (2020-10-14T10:09:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。