論文の概要: Positional Knowledge is All You Need: Position-induced Transformer (PiT) for Operator Learning
- arxiv url: http://arxiv.org/abs/2405.09285v1
- Date: Wed, 15 May 2024 12:09:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-16 13:36:32.808515
- Title: Positional Knowledge is All You Need: Position-induced Transformer (PiT) for Operator Learning
- Title（参考訳）: 位置学習のための位置誘導変換器(PiT)
- Authors: Junfeng Chen, Kailiang Wu,
- Abstract要約: 微分方程式の代理モデルとして,部分変換子に基づく演算子学習が急速に普及しつつある。
本稿では, 演算子学習において重要な利点を示す, 革新的な位置認識機構に基づく位置認識を提案する。
PiTは、広く使用されているニューラル演算子と比較して、離散化機能が強化されている。
- 参考スコア（独自算出の注目度）: 3.183339674210516
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Operator learning for Partial Differential Equations (PDEs) is rapidly emerging as a promising approach for surrogate modeling of intricate systems. Transformers with the self-attention mechanism$\unicode{x2013}$a powerful tool originally designed for natural language processing$\unicode{x2013}$have recently been adapted for operator learning. However, they confront challenges, including high computational demands and limited interpretability. This raises a critical question: Is there a more efficient attention mechanism for Transformer-based operator learning? This paper proposes the Position-induced Transformer (PiT), built on an innovative position-attention mechanism, which demonstrates significant advantages over the classical self-attention in operator learning. Position-attention draws inspiration from numerical methods for PDEs. Different from self-attention, position-attention is induced by only the spatial interrelations of sampling positions for input functions of the operators, and does not rely on the input function values themselves, thereby greatly boosting efficiency. PiT exhibits superior performance over current state-of-the-art neural operators in a variety of complex operator learning tasks across diverse PDE benchmarks. Additionally, PiT possesses an enhanced discretization convergence feature, compared to the widely-used Fourier neural operator.
- Abstract（参考訳）: 部分微分方程式(PDE)の演算子学習は,複雑なシステムの代理モデルとして期待できるアプローチとして急速に発展しつつある。
自己保持機構を持つトランスフォーマー$\unicode{x2013}$haveは、自然言語処理用に設計された強力なツールである。
しかし、高い計算要求と限定的な解釈可能性を含む課題に直面している。
Transformerベースの演算子学習には,より効率的な注意機構があるのだろうか?
本稿では,従来の演算子学習における自己注意よりも大きな優位性を示す,革新的な位置注意機構に基づく位置誘導変換器(PiT)を提案する。
位置注意はPDEの数値的手法からインスピレーションを得ている。
自己アテンションとは異なり、位置アテンションは演算子の入力関数に対するサンプリング位置の空間的相互関係のみによって誘導され、入力関数値自体に依存しないため、効率が大幅に向上する。
PiTは、様々なPDEベンチマークにわたる様々な複雑な演算子学習タスクにおいて、最先端のニューラル演算子よりも優れたパフォーマンスを示す。
さらに、PiTは広く使われているフーリエニューラル演算子と比較して、離散化収束特性が強化されている。
関連論文リスト
- DimOL: Dimensional Awareness as A New 'Dimension' in Operator Learning [63.5925701087252]
本稿では,DimOL(Dimension-aware Operator Learning)を紹介し,次元解析から洞察を得る。
DimOLを実装するために,FNOおよびTransformerベースのPDEソルバにシームレスに統合可能なProdLayerを提案する。
経験的に、DimOLモデルはPDEデータセット内で最大48%のパフォーマンス向上を達成する。
論文 参考訳（メタデータ） (2024-10-08T10:48:50Z) - DAPE V2: Process Attention Score as Feature Map for Length Extrapolation [63.87956583202729]
我々は特徴写像としての注意を概念化し、コンピュータビジョンにおける処理方法を模倣するために畳み込み演算子を適用した。
様々な注意関係のモデルに適応できる新しい洞察は、現在のTransformerアーキテクチャがさらなる進化の可能性があることを示している。
論文 参考訳（メタデータ） (2024-10-07T07:21:49Z) - Kernel Neural Operators (KNOs) for Scalable, Memory-efficient, Geometrically-flexible Operator Learning [15.050519590538634]
Kernel Neural Operator (KNO)は、新しい演算子学習技術である。
ディープカーネルベースの積分演算子と、作用素の関数空間近似のための二次演算子を併用する。
KNOは、低メモリ、幾何学的に柔軟な深層演算子学習の新しいパラダイムである。
論文 参考訳（メタデータ） (2024-06-30T19:28:12Z) - Continuum Attention for Neural Operators [6.425471760071227]
関数空間設定における変換器について検討する。
実際に実施される注意機構はモンテカルロあるいはこの作用素の有限差分近似であることを示す。
そのため、コンピュータビジョンからパッチ戦略の関数空間の一般化を導入し、関連するニューラル演算子のクラスを導入する。
論文 参考訳（メタデータ） (2024-06-10T17:25:46Z) - Neural Operators with Localized Integral and Differential Kernels [77.76991758980003]
本稿では,2つのフレームワークで局所的な特徴をキャプチャできる演算子学習の原理的アプローチを提案する。
我々はCNNのカーネル値の適切なスケーリングの下で微分演算子を得ることを示す。
局所積分演算子を得るには、離散連続的畳み込みに基づくカーネルの適切な基底表現を利用する。
論文 参考訳（メタデータ） (2024-02-26T18:59:31Z) - PICL: Physics Informed Contrastive Learning for Partial Differential Equations [7.136205674624813]
我々は,複数の支配方程式にまたがるニューラル演算子一般化を同時に改善する,新しいコントラスト事前学習フレームワークを開発する。
物理インフォームドシステムの進化と潜在空間モデル出力の組み合わせは、入力データに固定され、我々の距離関数で使用される。
物理インフォームドコントラストプレトレーニングにより,1次元および2次元熱,バーガーズ,線形対流方程式に対する固定フューチャーおよび自己回帰ロールアウトタスクにおけるフーリエニューラル演算子の精度が向上することがわかった。
論文 参考訳（メタデータ） (2024-01-29T17:32:22Z) - Convolutional Neural Operators for robust and accurate learning of PDEs [11.562748612983956]
本稿では、入力や出力として関数を処理する畳み込みニューラルネットワークの新しい適応法を提案する。
結果として生じるアーキテクチャは、畳み込みニューラル演算子(CNO)と呼ばれる。
普遍性定理を証明し、CNOが PDE で生じる作用素を所望の精度で近似できることを示す。
論文 参考訳（メタデータ） (2023-02-02T15:54:45Z) - Your Transformer May Not be as Powerful as You Expect [88.11364619182773]
連続列列列関数を近似できるかどうかに関して, RPE ベースの変換器のパワーを数学的に解析する。
RPEをベースとしたトランスフォーマーでは,ニューラルネットワークの深さや幅がどんなに深くても近似できない連続列列列列関数が存在することを示す。
我々は,その条件を満たす,Universal RPE-based (URPE) Attentionと呼ばれる新しいアテンションモジュールを開発する。
論文 参考訳（メタデータ） (2022-05-26T14:51:30Z) - Learning Operators with Coupled Attention [9.715465024071333]
本稿では,近年の注目機構の成功を動機とした,新しい演算子学習手法であるLOCAを提案する。
我々のアーキテクチャでは、入力関数は有限個の特徴にマッピングされ、その特徴は出力クエリの場所に依存する注意重みで平均化される。
これらの注意重みを積分変換と組み合わせることで、LOCAは目標出力関数の相関関係を明示的に学習することができる。
論文 参考訳（メタデータ） (2022-01-04T08:22:03Z) - Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。
提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。
ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
論文 参考訳（メタデータ） (2021-08-19T03:56:49Z) - Stable, Fast and Accurate: Kernelized Attention with Relative Positional
Encoding [63.539333383965726]
相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。
相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
論文 参考訳（メタデータ） (2021-06-23T17:51:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。