論文の概要: Scalable Transformer for PDE Surrogate Modeling

• arxiv url: http://arxiv.org/abs/2305.17560v1
• Date: Sat, 27 May 2023 19:23:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 18:17:26.454808
• Title: Scalable Transformer for PDE Surrogate Modeling
• Title（参考訳）: PDEサロゲートモデリングのためのスケーラブルトランス
• Authors: Zijie Li, Dule Shu, Amir Barati Farimani
• Abstract要約: 本稿では, 軸因子化カーネル積分に基づくFactFormer(FactFormer)を提案する。 提案モデルでは,64×64グリッド上で256×256の2次元コルモゴロフ流と3次元煙浮力のシミュレーションを精度と効率良く行うことができることを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer has shown state-of-the-art performance on various applications and has recently emerged as a promising tool for surrogate modeling of partial differential equations (PDEs). Despite the introduction of linear-complexity variant, applying attention to a large number of grid points can result in instability and is still expensive to compute. In this work, we propose Factorized Transformer(FactFormer), which is based on an axial factorized kernel integral. Concretely, we introduce a learnable projection operator that decomposes the input function into multiple sub-functions with one-dimensional domain. These sub-functions are then evaluated and used to compute the instance-based kernel with an axial factorized scheme. We showcase that the proposed model is able to simulate 2D Kolmogorov flow on a 256 by 256 grid and 3D smoke buoyancy on a 64 by 64 by 64 grid with good accuracy and efficiency. In addition, we find out that with the factorization scheme, the attention matrices enjoy a more compact spectrum than full softmax-free attention matrices.
• Abstract（参考訳）: Transformerは様々なアプリケーションで最先端の性能を示しており、最近偏微分方程式(PDE)のサロゲートモデリングのための有望なツールとして登場した。 線形複雑変種が導入されたにも拘わらず、多数の格子点に注意を向けると不安定となり、計算には依然としてコストがかかる。 本研究では,軸因子化カーネル積分に基づく因子化トランス(factformer)を提案する。 具体的には、入力関数を1次元領域を持つ複数のサブ関数に分解する学習可能な投影演算子を導入する。 これらのサブ関数は評価され、軸分解スキームでインスタンスベースのカーネルを計算するのに使用される。 提案手法は,256×256グリッドの2次元コルモゴロフ流と64×64グリッドの3次元煙浮力を精度と効率良くシミュレートできることを示す。 さらに, 因子化方式により, 注意行列はソフトマックスフリーの注意行列よりもコンパクトなスペクトルを享受できることが判明した。

関連論文リスト

• Neurons for Neutrons: A Transformer Model for Computation Load Estimation on Domain-Decomposed Neutron Transport Problems [48.35237609036802]
  本稿では, 独自の3次元入力埋め込みを持つトランスフォーマーモデルと, 領域分解中性子輸送問題のための入力表現を提案する。 本研究では,ドメイン分割型小型モジュールリアクタ(SMR)シミュレーションでトレーニングしたモデルが98.2%の精度を実現し,小型シミュレーションのステップを完全にスキップできることを実証する。
  論文  参考訳（メタデータ） (2024-11-05T18:17:51Z)
• Deep Neural Implicit Representation of Accessibility for Multi-Axis Manufacturing [0.0]
  我々はディープニューラルネットワーク(DNN)を用いた衝突計測の暗黙的表現を開発する。 本手法は, 回転のスパースサンプリングから衝突測度を正確に補間することができ, メモリフットプリントの小さい衝突測度場を表現できることを示す。
  論文  参考訳（メタデータ） (2024-08-30T06:27:25Z)
• SMPLer: Taming Transformers for Monocular 3D Human Shape and Pose Estimation [74.07836010698801]
  この問題に対処するために,SMPLベースのトランスフォーマーフレームワーク(SMPLer)を提案する。 SMPLerは、切り離された注意操作とSMPLベースのターゲット表現の2つの重要な要素を組み込んでいる。 SMPLerの既存の3次元人体形状に対する効果とポーズ推定方法の実証実験を行った。
  論文  参考訳（メタデータ） (2024-04-23T17:59:59Z)
• HAMLET: Graph Transformer Neural Operator for Partial Differential Equations [13.970458554623939]
  本稿では、ニューラルネットワークを用いて偏微分方程式(PDE)を解く際の課題を解決するために、新しいグラフトランスフォーマーフレームワークHAMLETを提案する。 このフレームワークは、モジュラー入力エンコーダを備えたグラフトランスフォーマーを使用して、微分方程式情報をソリューションプロセスに直接組み込む。 特に、HAMLETは、データの複雑さとノイズを増大させ、その堅牢性を示すために、効果的にスケールする。
  論文  参考訳（メタデータ） (2024-02-05T21:55:24Z)
• Transolver: A Fast Transformer Solver for PDEs on General Geometries [66.82060415622871]
  本稿では, 離散化された測地の背後に隠れた本質的な物理状態を学習するTransolverについて述べる。 スライスから符号化された物理認識トークンに注意を向けることで、Transovlerは複雑な物理的相関を効果的に捉えることができる。 Transolverは6つの標準ベンチマークで22%の相対的な利得で一貫した最先端を実現し、大規模産業シミュレーションでも優れている。
  論文  参考訳（メタデータ） (2024-02-04T06:37:38Z)
• Geometry-Informed Neural Operator for Large-Scale 3D PDEs [76.06115572844882]
  大規模偏微分方程式の解演算子を学習するために,幾何インフォームド・ニューラル演算子(GINO)を提案する。 我々はGINOを訓練し、わずか500点のデータポイントで車両表面の圧力を予測することに成功した。
  論文  参考訳（メタデータ） (2023-09-01T16:59:21Z)
• FC2T2: The Fast Continuous Convolutional Taylor Transform with Applications in Vision and Graphics [8.629912408966145]
  現代の機械学習の観点から、Taylorシリーズの拡張を再考する。 連続空間における低次元畳み込み作用素の効率的な近似を可能にする高速多重極法(FMM)の変種である高速連続畳み込みテイラー変換(FC2T2)を導入する。
  論文  参考訳（メタデータ） (2021-10-29T22:58:42Z)
• PnP-DETR: Towards Efficient Visual Analysis with Transformers [146.55679348493587]
  近年、DeTRはトランスフォーマーを用いたソリューションビジョンタスクの先駆者であり、画像特徴マップを直接オブジェクト結果に変換する。 最近の変圧器を用いた画像認識モデルとTTは、一貫した効率向上を示す。
  論文  参考訳（メタデータ） (2021-09-15T01:10:30Z)
• Data-Driven Shadowgraph Simulation of a 3D Object [50.591267188664666]
  我々は、数値コードをより安価でプロジェクションベースのサロゲートモデルに置き換えている。 このモデルは、数値的な方法で必要となるすべての前の電場を計算することなく、所定の時間で電場を近似することができる。 このモデルでは, シミュレーションパラメータの狭い範囲におけるデータの摂動問題において, 高品質な再構成が示されており, 大規模な入力データに利用することができる。
  論文  参考訳（メタデータ） (2021-06-01T08:46:04Z)
• Center Smoothing for Certifiably Robust Vector-Valued Functions [59.46976586742266]
  入力の小さな変化による出力の変化に結びついたベクトル値関数に対する検証可能なロバスト性を示す。 提案手法は,入力次元と出力次元の広いベクトル値関数を含む複数の学習課題における有効性を示す。
  論文  参考訳（メタデータ） (2021-02-19T01:34:48Z)
• The Random Feature Model for Input-Output Maps between Banach Spaces [6.282068591820945]
  ランダム特徴モデルは、カーネルまたは回帰法に対するパラメトリック近似である。 本稿では、入力バナッハ空間を出力バナッハ空間にマッピングする演算子のためのデータ駆動サロゲートとしてランダム特徴モデルを使用する手法を提案する。
  論文  参考訳（メタデータ） (2020-05-20T17:41:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。