論文の概要: PDE-Transformer: Efficient and Versatile Transformers for Physics Simulations
- arxiv url: http://arxiv.org/abs/2505.24717v1
- Date: Fri, 30 May 2025 15:39:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-02 19:47:53.043614
- Title: PDE-Transformer: Efficient and Versatile Transformers for Physics Simulations
- Title（参考訳）: PDE変換器:物理シミュレーションのための高効率・高効率な変圧器
- Authors: Benjamin Holzschuh, Qiang Liu, Georg Kohl, Nils Thuerey,
- Abstract要約: PDE-Transformerは、正規格子上の物理シミュレーションの代理モデリングのための改良されたトランスフォーマーベースのアーキテクチャである。
提案アーキテクチャは16種類のPDEの大規模データセット上で,コンピュータビジョンのための最先端のトランスフォーマーアーキテクチャより優れていることを示す。
- 参考スコア（独自算出の注目度）: 23.196500975208302
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce PDE-Transformer, an improved transformer-based architecture for surrogate modeling of physics simulations on regular grids. We combine recent architectural improvements of diffusion transformers with adjustments specific for large-scale simulations to yield a more scalable and versatile general-purpose transformer architecture, which can be used as the backbone for building large-scale foundation models in physical sciences. We demonstrate that our proposed architecture outperforms state-of-the-art transformer architectures for computer vision on a large dataset of 16 different types of PDEs. We propose to embed different physical channels individually as spatio-temporal tokens, which interact via channel-wise self-attention. This helps to maintain a consistent information density of tokens when learning multiple types of PDEs simultaneously. We demonstrate that our pre-trained models achieve improved performance on several challenging downstream tasks compared to training from scratch and also beat other foundation model architectures for physics simulations.
- Abstract（参考訳）: PDE-Transformerは、正規格子上の物理シミュレーションの代理モデリングのための改良されたトランスフォーマーベースのアーキテクチャである。
近年の拡散変圧器のアーキテクチャ改善と大規模シミュレーションに特化した調整を組み合わせることで,物理科学における大規模基礎モデル構築のバックボーンとして使用できる,よりスケーラブルで汎用的な汎用変圧器アーキテクチャを実現する。
提案アーキテクチャは16種類のPDEの大規模データセット上で,コンピュータビジョンのための最先端のトランスフォーマーアーキテクチャより優れていることを示す。
本稿では,個別に異なる物理チャネルを時空間トークンとして埋め込むことを提案する。
これは、複数のタイプのPDEを同時に学習する際に、トークンの一貫性のある情報密度を維持するのに役立つ。
我々の事前学習モデルは、スクラッチからのトレーニングに比べ、いくつかの困難な下流タスクにおいて性能向上を実現し、物理シミュレーションの基盤モデルアーキテクチャに勝っていることを実証した。
関連論文リスト
- Neural ODE Transformers: Analyzing Internal Dynamics and Adaptive Fine-tuning [30.781578037476347]
高度にフレキシブルな非自律型ニューラル常微分方程式(ODE)を用いたトランスフォーマーアーキテクチャのモデリング手法を提案する。
提案モデルでは,ニューラルネットワークによる注目度とフィードフォワードブロックの重みをパラメータ化し,これらの重みを連続層インデックスの関数として表現する。
我々のニューラルODE変換器は、さまざまな構成やデータセットにわたるバニラ変換器に匹敵するパフォーマンスを示す。
論文 参考訳（メタデータ） (2025-03-03T09:12:14Z) - Exploring the design space of deep-learning-based weather forecasting systems [56.129148006412855]
本稿では,異なる設計選択がディープラーニングに基づく天気予報システムに与える影響を系統的に分析する。
UNet、完全畳み込みアーキテクチャ、トランスフォーマーベースモデルなどの固定グリッドアーキテクチャについて検討する。
固定グリッドモデルの強靭な性能とグリッド不変アーキテクチャの柔軟性を組み合わせたハイブリッドシステムを提案する。
論文 参考訳（メタデータ） (2024-10-09T22:25:50Z) - Comprehensive Performance Modeling and System Design Insights for Foundation Models [1.4455936781559149]
生成AI、特に大きなトランスフォーマーモデルは、科学や産業においてHPCシステム設計を推進している。
本稿では, トランスモデルの性能特性を分析し, トランスモデルに対する感度, 並列化戦略, HPCシステムの特徴について考察する。
本分析では,システム機能を念頭に置いて,異なるトランスフォーマー型の性能モデリングを行う必要があることを強調した。
論文 参考訳（メタデータ） (2024-09-30T22:56:42Z) - Transformers to SSMs: Distilling Quadratic Knowledge to Subquadratic Models [92.36510016591782]
本稿では,事前学習したトランスフォーマーアーキテクチャを,状態空間モデル(SSM)などの代替アーキテクチャに蒸留する手法を提案する。
提案手法はMOHAWKと呼ばれ、3Bトークンと5Bトークンを用いたハイブリッドバージョン(Hybrid Phi-Mamba)を用いてPhi-1.5アーキテクチャに基づくMamba-2変異体を蒸留することができる。
Phi-Mambaは、スクラッチからモデルのトレーニングに使用されるトレーニングデータの1%未満を使用してはいるが、過去のオープンソース非トランスフォーマーモデルと比較して、大幅にパフォーマンスが向上している。
論文 参考訳（メタデータ） (2024-08-19T17:48:11Z) - A Unified Framework for Interpretable Transformers Using PDEs and Information Theory [3.4039202831583903]
本稿では、部分微分方程式(PDE)、ニューラルインフォメーションフロー理論、インフォメーション・ボトルネック理論を統合することでトランスフォーマーアーキテクチャを理解するための新しい統合理論フレームワークを提案する。
我々は、拡散、自己注意、非線形残留成分を含む連続的なPDEプロセスとしてトランスフォーマー情報力学をモデル化する。
画像およびテキストのモーダル性に関する包括的実験により、PDEモデルはトランスフォーマーの挙動の重要な側面を効果的に捉え、トランスフォーマーの注意分布と高い類似性(コサイン類似度 > 0.98)を達成することを示した。
論文 参考訳（メタデータ） (2024-08-18T16:16:57Z) - Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。
最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。
Transformerモデルをより効率的にすることに注力している。
論文 参考訳（メタデータ） (2023-02-27T18:18:13Z) - Energy Transformer [64.22957136952725]
我々の研究は、機械学習における有望な3つのパラダイム、すなわち注意機構、エネルギーベースモデル、連想記憶の側面を組み合わせる。
本稿では,エネルギー変換器(ET,Energy Transformer)と呼ばれる新しいアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-02-14T18:51:22Z) - Foundation Transformers [105.06915886136524]
我々は、真の汎用モデリングのためのファンデーショントランスフォーマーの開発を求めている。
本研究では,その目的を達成するための変圧器の変種であるマグニートーを導入する。
論文 参考訳（メタデータ） (2022-10-12T17:16:27Z) - Analogous to Evolutionary Algorithm: Designing a Unified Sequence Model [58.17021225930069]
実演的進化アルゴリズム(EA)と類似した視覚変換器の合理性について説明する。
我々は、より効率的なEATモデルを提案し、様々なタスクに柔軟に対処するタスク関連ヘッドを設計する。
近年のビジョントランスに比べて,イメージネット分類作業における最先端の成果が得られている。
論文 参考訳（メタデータ） (2021-05-31T16:20:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。