論文の概要: GNOT: A General Neural Operator Transformer for Operator Learning
- arxiv url: http://arxiv.org/abs/2302.14376v1
- Date: Tue, 28 Feb 2023 07:58:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-01 17:38:49.529391
- Title: GNOT: A General Neural Operator Transformer for Operator Learning
- Title(参考訳): gnot: 演算子学習のための一般ニューラルネットワークトランスフォーマー
- Authors: Zhongkai Hao, Chengyang Ying, Zhengyi Wang, Hang Su, Yinpeng Dong,
Songming Liu, Ze Cheng, Jun Zhu, Jian Song
- Abstract要約: 一般ニューラル演算子変換器(GNOT)は、演算子を学習するためのスケーラブルで効果的なフレームワークである。
新規な異種正規化アテンション層を設計することにより、複数の入力関数や不規則メッシュを扱うのに非常に柔軟である。
トランスアーキテクチャの大規模なモデルキャパシティは、我々のモデルに大規模なデータセットと実用的な問題にスケールする可能性を与えます。
- 参考スコア(独自算出の注目度): 34.79481320566005
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning partial differential equations' (PDEs) solution operators is an
essential problem in machine learning. However, there are several challenges
for learning operators in practical applications like the irregular mesh,
multiple input functions, and complexity of the PDEs' solution. To address
these challenges, we propose a general neural operator transformer (GNOT), a
scalable and effective transformer-based framework for learning operators. By
designing a novel heterogeneous normalized attention layer, our model is highly
flexible to handle multiple input functions and irregular mesh. Besides, we
introduce a geometric gating mechanism which could be viewed as a soft domain
decomposition to solve the multi-scale problems. The large model capacity of
transformer architecture grants our model the possibility to scale to large
datasets and practical problems. We conduct extensive experiments on multiple
challenging datasets from different domains and achieve a remarkable
improvement compared with alternative methods.
- Abstract(参考訳): 偏微分方程式(pdes)解演算子の学習は、機械学習において不可欠な問題である。
しかし、不規則メッシュ、複数入力関数、PDEの解の複雑さなど、実践的な応用における演算子学習にはいくつかの課題がある。
そこで本研究では,学習操作者のためのスケーラブルで効果的なトランスフォーマーフレームワークであるgeneral neural operator transformer (gnot)を提案する。
新規な異種正規化アテンション層を設計することにより、複数の入力関数や不規則メッシュを扱うことができる。
また,マルチスケール問題を解くためにソフトドメイン分解と見なすことのできる幾何学的ゲーティング機構を導入する。
トランスフォーマーアーキテクチャの大規模モデルキャパシティは,大規模データセットへのスケール可能性と実用上の問題をモデルに与えます。
異なる領域の複数の挑戦的データセットを広範囲に実験し,代替手法と比較して著しく改善した。
関連論文リスト
- HAMLET: Graph Transformer Neural Operator for Partial Differential
Equations [6.699756195061548]
本稿では、ニューラルネットワークを用いて偏微分方程式(PDE)を解く際の課題を解決するために、新しいグラフトランスフォーマーフレームワークHAMLETを提案する。
このフレームワークは、モジュラー入力エンコーダを備えたグラフトランスフォーマーを使用して、微分方程式情報をソリューションプロセスに直接組み込む。
特に、HAMLETは、データの複雑さとノイズを増大させ、その堅牢性を示すために、効果的にスケールする。
論文 参考訳(メタデータ) (2024-02-05T21:55:24Z) - GIT-Net: Generalized Integral Transform for Operator Learning [58.13313857603536]
本稿では、部分微分方程式(PDE)演算子を近似するディープニューラルネットワークアーキテクチャであるGIT-Netを紹介する。
GIT-Netは、PDEを定義するためによく使われる微分作用素が、特殊機能基底で表現されるときに、しばしば同義的に表現されるという事実を利用する。
数値実験により、GIT-Netは競争力のあるニューラルネットワーク演算子であり、様々なPDE問題に対して小さなテストエラーと低い評価を示すことが示された。
論文 参考訳(メタデータ) (2023-12-05T03:03:54Z) - Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。
MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。
乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
論文 参考訳(メタデータ) (2023-09-29T20:18:52Z) - Deformable Mixer Transformer with Gating for Multi-Task Learning of
Dense Prediction [126.34551436845133]
CNNとTransformerには独自の利点があり、MTL(Multi-task Learning)の高密度予測に広く使われている。
本稿では,変形可能なCNNと問合せベースのTransformerの長所を共用したMTLモデルを提案する。
論文 参考訳(メタデータ) (2023-08-10T17:37:49Z) - FedYolo: Augmenting Federated Learning with Pretrained Transformers [61.56476056444933]
本研究では,デバイス上での学習目標を達成するための事前学習型トランスフォーマー(PTF)について検討する。
大規模化により,代替手法間の精度ギャップが小さくなり,ロバスト性も向上することを示す。
最後に、クライアントは単一のPTFを使用して複数の無関係なタスクを同時に解決できる。
論文 参考訳(メタデータ) (2023-07-10T21:08:52Z) - Neural Operator: Is data all you need to model the world? An insight
into the impact of Physics Informed Machine Learning [13.050410285352605]
我々は、データ駆動アプローチが、工学や物理学の問題を解決する従来の手法を補完する方法についての洞察を提供する。
我々は,PDE演算子学習の解演算子を学習するための,新しい,高速な機械学習に基づくアプローチを強調した。
論文 参考訳(メタデータ) (2023-01-30T23:29:33Z) - Physics-guided Data Augmentation for Learning the Solution Operator of
Linear Differential Equations [2.1850269949775663]
ニューラルネットワークモデルの精度と一般化を改善するために,物理誘導型データ拡張法(PGDA)を提案する。
様々な線形微分方程式におけるPGDAの利点を実証し、PGDAがサンプルの複雑さを向上し、分布シフトに頑健であることを示す。
論文 参考訳(メタデータ) (2022-12-08T06:29:15Z) - On-Device Domain Generalization [93.79736882489982]
ドメインの一般化はデバイス上の機械学習アプリケーションにとって重要である。
知識蒸留がこの問題の解決の有力な候補であることがわかった。
本研究では,教師が配布外データをどのように扱えるかを学生に教えることを目的とした,配布外知識蒸留(OKD)という簡単なアイデアを提案する。
論文 参考訳(メタデータ) (2022-09-15T17:59:31Z) - Learning the Solution Operator of Boundary Value Problems using Graph
Neural Networks [0.0]
グラフニューラルネットワーク(GNN)とスペクトルグラフ畳み込みを用いた2つの異なる時間非依存PDEに対する一般解演算子を設計する。
我々は、様々な形状と不均一性の有限要素ソルバからシミュレーションデータを用いてネットワークを訓練する。
有限要素メッシュの変動が多岐にわたる多様なデータセット上でのトレーニングが,優れた一般化結果を得るための鍵となる要素であることがわかった。
論文 参考訳(メタデータ) (2022-06-28T15:39:06Z) - Deep invariant networks with differentiable augmentation layers [87.22033101185201]
データ拡張ポリシーの学習方法は、保持データを必要とし、二段階最適化の問題に基づいている。
我々のアプローチは、現代の自動データ拡張技術よりも訓練が簡単で高速であることを示す。
論文 参考訳(メタデータ) (2022-02-04T14:12:31Z) - Scalable Gaussian Processes for Data-Driven Design using Big Data with
Categorical Factors [14.337297795182181]
ガウス過程(GP)は、大きなデータセット、カテゴリ入力、および複数の応答を調節するのに困難である。
本稿では,変分推論によって得られた潜伏変数と関数を用いて,上記の課題を同時に解決するGPモデルを提案する。
本手法は三元系酸化物材料の機械学習と多スケール対応機構のトポロジー最適化に有用である。
論文 参考訳(メタデータ) (2021-06-26T02:17:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。