論文の概要: SEA: State-Exchange Attention for High-Fidelity Physics-Based Transformers
- arxiv url: http://arxiv.org/abs/2410.15495v1
- Date: Sun, 20 Oct 2024 20:25:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:20:13.448031
- Title: SEA: State-Exchange Attention for High-Fidelity Physics-Based Transformers
- Title(参考訳): SEA:高忠実度物理変換器の状態交換注意
- Authors: Parsa Esmati, Amirhossein Dadashzadeh, Vahid Goodarzi, Nicolas Larrosa, Nicolo Grilli,
- Abstract要約: シーケンシャルネットワークを用いた最近のアプローチは、動的システムのフィールド変数の推定において有望であることを示している。
符号化されたフィールド間の情報交換を可能にするトランスフォーマーベースのモジュールである,ステート・エクスチェンジ・アテンション(SEA)モジュールを紹介する。
システムの他の状態に依存している状態変数に対して,SEAモジュールだけでエラーを97%削減できることを実証した。
- 参考スコア(独自算出の注目度): 1.1650821883155187
- License:
- Abstract: Current approaches using sequential networks have shown promise in estimating field variables for dynamical systems, but they are often limited by high rollout errors. The unresolved issue of rollout error accumulation results in unreliable estimations as the network predicts further into the future, with each step's error compounding and leading to an increase in inaccuracy. Here, we introduce the State-Exchange Attention (SEA) module, a novel transformer-based module enabling information exchange between encoded fields through multi-head cross-attention. The cross-field multidirectional information exchange design enables all state variables in the system to exchange information with one another, capturing physical relationships and symmetries between fields. In addition, we incorporate a ViT-like architecture to generate spatially coherent mesh embeddings, further improving the model's ability to capture spatial dependencies in the data. This enhances the model's ability to represent complex interactions between the field variables, resulting in improved rollout error accumulation. Our results show that the Transformer model integrated with the State-Exchange Attention (SEA) module outperforms competitive baseline models, including the PbGMR-GMUS Transformer-RealNVP and GMR-GMUS Transformer, with a reduction in error of 88\% and 91\%, respectively, achieving state-of-the-art performance. Furthermore, we demonstrate that the SEA module alone can reduce errors by 97\% for state variables that are highly dependent on other states of the system.
- Abstract(参考訳): 現在のシーケンシャルネットワークを用いたアプローチは、動的システムのフィールド変数の推定において有望であるが、高ロールアウトエラーによって制限されることが多い。
ロールアウトエラーの蓄積という未解決の問題は、ネットワークが将来的にさらに予測し、各ステップのエラーが混在し、不正確性が増大するにつれて、信頼性の低い推定結果をもたらす。
本稿では,マルチヘッド・クロスアテンションを通じて符号化されたフィールド間の情報交換を可能にするトランスフォーマーベースのモジュールであるステート・エクスチェンジ・アテンション(SEA)モジュールを紹介する。
クロスフィールド多方向性情報交換設計により、システム内の全ての状態変数が互いに情報を交換することができ、フィールド間の物理的関係や対称性をキャプチャすることができる。
さらに、空間的コヒーレントなメッシュ埋め込みを生成するために、ViTのようなアーキテクチャを導入し、データ内の空間的依存関係をキャプチャするモデルの能力をさらに向上する。
これにより、フィールド変数間の複雑な相互作用を表現するモデルの能力が向上し、ロールアウトエラーの蓄積が改善される。
PbGMR-GMUS Transformer-RealNVP や GMR-GMUS Transformer といった競合するベースラインモデルよりも高い性能を示し,それぞれ88\% と91\% の誤差を低減した。
さらに、SEAモジュールだけで、システムの他の状態に大きく依存する状態変数に対して、エラーを97 %削減できることを示す。
関連論文リスト
- Dynamic Context Adaptation and Information Flow Control in Transformers: Introducing the Evaluator Adjuster Unit and Gated Residual Connections [0.0]
本稿では,トランスアーキテクチャの2つの重要な拡張を紹介する。
Evaluator Unit (EAU) と Gated Residual Connections (GRC) はこれらの制限に対処するために設計されている。
自然言語処理におけるこれらの拡張性能を,いくつかのベンチマークで評価した。
論文 参考訳(メタデータ) (2024-05-22T07:33:24Z) - Correlated Attention in Transformers for Multivariate Time Series [22.542109523780333]
本稿では,特徴量依存を効率的に捕捉し,既存のトランスフォーマーのエンコーダブロックにシームレスに統合できる新しいアテンション機構を提案する。
特に、関連性のある注意は、特徴チャネルを横断して、クエリとキー間の相互共分散行列をラグ値で計算し、サブシリーズレベルで選択的に表現を集約する。
このアーキテクチャは、瞬時だけでなく、ラタグされた相互相関の発見と表現の学習を容易にすると同時に、本質的に時系列の自動相関をキャプチャする。
論文 参考訳(メタデータ) (2023-11-20T17:35:44Z) - Dual Aggregation Transformer for Image Super-Resolution [92.41781921611646]
画像SRのための新しいトランスモデルDual Aggregation Transformerを提案する。
DATは、ブロック間およびブロック内二重方式で、空間次元とチャネル次元にまたがる特徴を集約する。
我々のDATは現在の手法を超越している。
論文 参考訳(メタデータ) (2023-08-07T07:39:39Z) - Hierarchical Cross-modal Transformer for RGB-D Salient Object Detection [6.385624548310884]
本稿では,新しいマルチモーダルトランスである階層型クロスモーダルトランス (HCT) を提案する。
2つのモードから全てのパッチを直接接続する以前のマルチモーダル変圧器とは異なり、クロスモーダル相補性は階層的に検討する。
本稿では,Transformer (FPT) 用のFeature Pyramidモジュールを提案する。
論文 参考訳(メタデータ) (2023-02-16T03:23:23Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳(メタデータ) (2023-01-05T13:59:29Z) - Robust representations of oil wells' intervals via sparse attention
mechanism [2.604557228169423]
正規化変換器(Reguformers)と呼ばれる効率的な変換器のクラスを導入する。
私たちの実験の焦点は、石油とガスのデータ、すなわちウェルログにあります。
このような問題に対する我々のモデルを評価するために、20以上の井戸からなるウェルログからなる産業規模のオープンデータセットで作業する。
論文 参考訳(メタデータ) (2022-12-29T09:56:33Z) - DepthFormer: Exploiting Long-Range Correlation and Local Information for
Accurate Monocular Depth Estimation [50.08080424613603]
高精度な単分子深度推定には長距離相関が不可欠である。
我々は,このグローバルコンテキストを効果的な注意機構でモデル化するためにTransformerを活用することを提案する。
提案したモデルであるDepthFormerは、最先端のモノクル深度推定手法をはるかに超えている。
論文 参考訳(メタデータ) (2022-03-27T05:03:56Z) - TransVG: End-to-End Visual Grounding with Transformers [102.11922622103613]
本稿では,画像に対して言語クエリを接地するタスクに対処するためのトランスフォーマティブベースのフレームワークであるtransvgを提案する。
複雑な核融合モジュールは、高い性能でトランスフォーマーエンコーダ層を単純なスタックで置き換えることができることを示す。
論文 参考訳(メタデータ) (2021-04-17T13:35:24Z) - Transformers Solve the Limited Receptive Field for Monocular Depth
Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。
連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文 参考訳(メタデータ) (2021-03-22T18:00:13Z) - Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。
本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2021-02-09T10:55:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。