論文の概要: Physics Informed Token Transformer
- arxiv url: http://arxiv.org/abs/2305.08757v2
- Date: Thu, 29 Jun 2023 16:07:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-30 19:09:47.698082
- Title: Physics Informed Token Transformer
- Title(参考訳): 物理インフォームドトークントランス
- Authors: Cooper Lorsung, Zijie Li, Amir Barati Farimani
- Abstract要約: 本研究は、PITT: Physics Informed Token Transformerを紹介する。
PITTの目的は、偏微分方程式(PDE)を学習プロセスに埋め込むことによって物理学の知識を統合することである。
PDEをトークン化し、部分微分を埋め込むことで、トランスフォーマーモデルは物理過程の背後にある基礎知識を認識する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Solving Partial Differential Equations (PDEs) is the core of many fields of
science and engineering. While classical approaches are often prohibitively
slow, machine learning models often fail to incorporate complete system
information. Over the past few years, transformers have had a significant
impact on the field of Artificial Intelligence and have seen increased usage in
PDE applications. However, despite their success, transformers currently lack
integration with physics and reasoning. This study aims to address this issue
by introducing PITT: Physics Informed Token Transformer. The purpose of PITT is
to incorporate the knowledge of physics by embedding partial differential
equations (PDEs) into the learning process. PITT uses an equation tokenization
method to learn an analytically-driven numerical update operator. By tokenizing
PDEs and embedding partial derivatives, the transformer models become aware of
the underlying knowledge behind physical processes. To demonstrate this, PITT
is tested on challenging 1D and 2D PDE neural operator prediction tasks. The
results show that PITT outperforms popular neural operator models and has the
ability to extract physically relevant information from governing equations.
- Abstract(参考訳): 偏微分方程式 (Partial Differential Equations, PDE) は、科学と工学の多くの分野の中核である。
古典的なアプローチはしばしば違法に遅いが、機械学習モデルはシステム情報を完全に組み込むことができないことが多い。
過去数年間、トランスフォーマーは人工知能の分野に大きな影響を与え、PDEアプリケーションでの利用が増加している。
しかし、その成功にもかかわらず、現在トランスフォーマーは物理と推論の統合を欠いている。
本研究の目的は、PITT: Physics Informed Token Transformerを導入することである。
PITTの目的は、偏微分方程式(PDE)を学習プロセスに埋め込むことによって物理学の知識を統合することである。
PITTは方程式トークン化法を用いて解析駆動型数値更新演算子を学習する。
PDEのトークン化と部分微分の埋め込みにより、トランスフォーマーモデルは物理過程の背後にある基礎知識を認識する。
これを証明するために、PITTは1Dと2DのPDEニューラル演算子予測タスクに挑戦する。
その結果,pitは一般的なニューラル演算子モデルよりも優れており,制御方程式から物理的に関連のある情報を抽出できることがわかった。
関連論文リスト
- PICL: Physics Informed Contrastive Learning for Partial Differential
Equations [8.430481660019451]
一般化されたコントラスト的損失を利用した新しいコントラスト的事前学習フレームワークを開発した。
物理インフォームドコントラストプレトレーニングは、固定未来タスクにおけるフーリエニューラル演算子の精度と一般化の両方を改善する。
論文 参考訳(メタデータ) (2024-01-29T17:32:22Z) - Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。
モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。
ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-28T12:02:27Z) - KoopmanLab: machine learning for solving complex physics equations [7.815723299913228]
解析解や閉形式を使わずにPDEを学習するための、クープマンニューラルオペレータファミリーの効率的なモジュールであるクープマンLabを提案する。
我々のモジュールは、メッシュに依存しないニューラルネットワークベースのPDEソルバの一種であるクープマンニューラル演算子(KNO)の複数の変種から構成されている。
KNO のコンパクトな変種はモデルサイズが小さい PDE を正確に解くことができるが、KNO の大きな変種は高度に複雑な力学系を予測する上でより競争力がある。
論文 参考訳(メタデータ) (2023-01-03T13:58:39Z) - Fourier Continuation for Exact Derivative Computation in
Physics-Informed Neural Operators [53.087564562565774]
PINOは、偏微分方程式を学習するための有望な実験結果を示す機械学習アーキテクチャである。
非周期問題に対して、フーリエ継続(FC)を利用して正確な勾配法をPINOに適用するアーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-11-29T06:37:54Z) - Learning to Solve PDE-constrained Inverse Problems with Graph Networks [51.89325993156204]
科学と工学にまたがる多くの応用分野において、偏微分方程式(PDE)によって定義される制約で逆問題を解決することに興味がある。
ここでは、これらのPDE制約された逆問題を解決するために、GNNを探索する。
GNNを用いて計算速度を最大90倍に向上させる。
論文 参考訳(メタデータ) (2022-06-01T18:48:01Z) - Physics Informed RNN-DCT Networks for Time-Dependent Partial
Differential Equations [62.81701992551728]
時間依存偏微分方程式を解くための物理インフォームド・フレームワークを提案する。
我々のモデルは離散コサイン変換を用いて空間的および反復的なニューラルネットワークを符号化する。
ナヴィエ・ストークス方程式に対するテイラー・グリーン渦解の実験結果を示す。
論文 参考訳(メタデータ) (2022-02-24T20:46:52Z) - Meta-Auto-Decoder for Solving Parametric Partial Differential Equations [32.46080264991759]
部分微分方程式 (Partial Differential Equations, PDE) は、科学と工学の多くの分野においてユビキタスであり、解決が困難である。
提案手法はメタオートデコーダ(MAD)と呼ばれ,パラメトリックPDEをメタ学習問題として扱う。
MADは、他のディープラーニング手法と比較して精度を損なうことなく、より高速な収束速度を示す。
論文 参考訳(メタデータ) (2021-11-15T02:51:42Z) - Physics-Informed Neural Operator for Learning Partial Differential
Equations [55.406540167010014]
PINOは、演算子を学ぶために異なる解像度でデータとPDE制約を組み込んだ最初のハイブリッドアプローチである。
結果の PINO モデルは、多くの人気のある PDE ファミリの基底構造解演算子を正確に近似することができる。
論文 参考訳(メタデータ) (2021-11-06T03:41:34Z) - AdjointNet: Constraining machine learning models with physics-based
codes [0.17205106391379021]
本稿では,物理制約付き機械学習フレームワークであるAdjointNetを提案する。
提案するAdjointNetフレームワークは,パラメータ推定(および拡張による不確実性定量化)と,アクティブラーニングを用いた実験設計に利用できることを示す。
論文 参考訳(メタデータ) (2021-09-08T22:43:44Z) - Fourier Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
積分カーネルを直接フーリエ空間でパラメータ化することで、新しいニューラル演算子を定式化する。
バーガースの方程式、ダーシー流、ナビエ・ストークス方程式の実験を行う。
従来のPDEソルバに比べて最大3桁高速である。
論文 参考訳(メタデータ) (2020-10-18T00:34:21Z) - Bayesian Hidden Physics Models: Uncertainty Quantification for Discovery
of Nonlinear Partial Differential Operators from Data [0.0]
データから微分方程式のような物理法則を発見するために機械学習モデルを使うことへの関心が高まっている。
ニューラルネットワークとして機能データを管理することを学習する「リーフモジュール」からなる新しいモデルを提案する。
提案手法は,演算子に対する後続分布の観点から学習物理の信頼性を定量化し,この不確実性を新しい初期有界値問題インスタンスの解に伝達する。
論文 参考訳(メタデータ) (2020-06-07T18:48:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。