論文の概要: GNOT: A General Neural Operator Transformer for Operator Learning

• arxiv url: http://arxiv.org/abs/2302.14376v2
• Date: Wed, 31 May 2023 06:20:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 03:00:45.809301
• Title: GNOT: A General Neural Operator Transformer for Operator Learning
• Title（参考訳）: gnot: 演算子学習のための一般ニューラルネットワークトランスフォーマー
• Authors: Zhongkai Hao, Zhengyi Wang, Hang Su, Chengyang Ying, Yinpeng Dong, Songming Liu, Ze Cheng, Jian Song, Jun Zhu
• Abstract要約: 一般ニューラル演算子変換器(GNOT)は、演算子を学習するためのスケーラブルで効果的なフレームワークである。 新規な異種正規化アテンション層を設計することにより、複数の入力関数や不規則メッシュを扱うのに非常に柔軟である。 トランスアーキテクチャの大規模なモデルキャパシティは、我々のモデルに大規模なデータセットと実用的な問題にスケールする可能性を与えてくれます。
• 参考スコア（独自算出の注目度）: 34.79481320566005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning partial differential equations' (PDEs) solution operators is an essential problem in machine learning. However, there are several challenges for learning operators in practical applications like the irregular mesh, multiple input functions, and complexity of the PDEs' solution. To address these challenges, we propose a general neural operator transformer (GNOT), a scalable and effective transformer-based framework for learning operators. By designing a novel heterogeneous normalized attention layer, our model is highly flexible to handle multiple input functions and irregular meshes. Besides, we introduce a geometric gating mechanism which could be viewed as a soft domain decomposition to solve the multi-scale problems. The large model capacity of the transformer architecture grants our model the possibility to scale to large datasets and practical problems. We conduct extensive experiments on multiple challenging datasets from different domains and achieve a remarkable improvement compared with alternative methods. Our code and data are publicly available at \url{https://github.com/thu-ml/GNOT}.
• Abstract（参考訳）: 偏微分方程式(pdes)解演算子の学習は、機械学習において不可欠な問題である。 しかし、不規則メッシュ、複数入力関数、PDEの解の複雑さなど、実践的な応用における演算子学習にはいくつかの課題がある。 そこで本研究では,学習操作者のためのスケーラブルで効果的なトランスフォーマーフレームワークであるgeneral neural operator transformer (gnot)を提案する。 新たな不均一正規化アテンション層を設計することにより,複数の入力関数や不規則メッシュを扱うことができる。 また,マルチスケール問題を解くためにソフトドメイン分解と見なすことのできる幾何学的ゲーティング機構を導入する。 トランスフォーマーアーキテクチャの大規模モデルキャパシティは,大規模データセットと実用上の問題にスケールする可能性をモデルに与える。 異なる領域の複数の挑戦的データセットを広範囲に実験し,代替手法と比較して著しく改善した。 私たちのコードとデータは、 \url{https://github.com/thu-ml/gnot}で公開されている。

関連論文リスト

• Learning Linear Attention in Polynomial Time [115.68795790532289]
  線形注意を持つ単層変圧器の学習性に関する最初の結果を提供する。 線形アテンションは RKHS で適切に定義された線形予測器とみなすことができる。 我々は,すべての経験的リスクが線形変換器と同等のトレーニングデータセットを効率的に識別する方法を示す。
  論文  参考訳（メタデータ） (2024-10-14T02:41:01Z)
• Transfer Operator Learning with Fusion Frame [0.0]
  本研究は、部分微分方程式(PDE)を解くための演算子学習モデルの伝達学習能力を向上する新しいフレームワークを提案する。 我々は,融合フレームとPOD-DeepONetを組み合わせた革新的なアーキテクチャを導入し,実験解析において様々なPDEに対して優れた性能を示す。 我々のフレームワークは、オペレーターラーニングモデルにおけるトランスファーラーニングの重要な課題に対処し、幅広い科学的・工学的応用において適応的で効率的なソリューションの道を開く。
  論文  参考訳（メタデータ） (2024-08-20T00:03:23Z)
• Transformers as Neural Operators for Solutions of Differential Equations with Finite Regularity [1.6874375111244329]
  まず、変換器が演算子学習モデルとして普遍近似特性を持つ理論基盤を確立する。 特に, Izhikevich ニューロンモデル, 分数次 Leaky Integrate-and-Fire (LIFLIF) モデル, 1次元方程式 Euler の3つの例を考える。
  論文  参考訳（メタデータ） (2024-05-29T15:10:24Z)
• HAMLET: Graph Transformer Neural Operator for Partial Differential Equations [13.970458554623939]
  本稿では、ニューラルネットワークを用いて偏微分方程式(PDE)を解く際の課題を解決するために、新しいグラフトランスフォーマーフレームワークHAMLETを提案する。 このフレームワークは、モジュラー入力エンコーダを備えたグラフトランスフォーマーを使用して、微分方程式情報をソリューションプロセスに直接組み込む。 特に、HAMLETは、データの複雑さとノイズを増大させ、その堅牢性を示すために、効果的にスケールする。
  論文  参考訳（メタデータ） (2024-02-05T21:55:24Z)
• GIT-Net: Generalized Integral Transform for Operator Learning [58.13313857603536]
  本稿では、部分微分方程式(PDE)演算子を近似するディープニューラルネットワークアーキテクチャであるGIT-Netを紹介する。 GIT-Netは、PDEを定義するためによく使われる微分作用素が、特殊機能基底で表現されるときに、しばしば同義的に表現されるという事実を利用する。 数値実験により、GIT-Netは競争力のあるニューラルネットワーク演算子であり、様々なPDE問題に対して小さなテストエラーと低い評価を示すことが示された。
  論文  参考訳（メタデータ） (2023-12-05T03:03:54Z)
• Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
  本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。 MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。 乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-29T20:18:52Z)
• FedYolo: Augmenting Federated Learning with Pretrained Transformers [61.56476056444933]
  本研究では,デバイス上での学習目標を達成するための事前学習型トランスフォーマー(PTF)について検討する。 大規模化により,代替手法間の精度ギャップが小さくなり,ロバスト性も向上することを示す。 最後に、クライアントは単一のPTFを使用して複数の無関係なタスクを同時に解決できる。
  論文  参考訳（メタデータ） (2023-07-10T21:08:52Z)
• On-Device Domain Generalization [93.79736882489982]
  ドメインの一般化はデバイス上の機械学習アプリケーションにとって重要である。 知識蒸留がこの問題の解決の有力な候補であることがわかった。 本研究では,教師が配布外データをどのように扱えるかを学生に教えることを目的とした,配布外知識蒸留(OKD)という簡単なアイデアを提案する。
  論文  参考訳（メタデータ） (2022-09-15T17:59:31Z)
• Learning the Solution Operator of Boundary Value Problems using Graph Neural Networks [0.0]
  グラフニューラルネットワーク(GNN)とスペクトルグラフ畳み込みを用いた2つの異なる時間非依存PDEに対する一般解演算子を設計する。 我々は、様々な形状と不均一性の有限要素ソルバからシミュレーションデータを用いてネットワークを訓練する。 有限要素メッシュの変動が多岐にわたる多様なデータセット上でのトレーニングが,優れた一般化結果を得るための鍵となる要素であることがわかった。
  論文  参考訳（メタデータ） (2022-06-28T15:39:06Z)
• Deep invariant networks with differentiable augmentation layers [87.22033101185201]
  データ拡張ポリシーの学習方法は、保持データを必要とし、二段階最適化の問題に基づいている。 我々のアプローチは、現代の自動データ拡張技術よりも訓練が簡単で高速であることを示す。
  論文  参考訳（メタデータ） (2022-02-04T14:12:31Z)
• Scalable Gaussian Processes for Data-Driven Design using Big Data with Categorical Factors [14.337297795182181]
  ガウス過程(GP)は、大きなデータセット、カテゴリ入力、および複数の応答を調節するのに困難である。 本稿では,変分推論によって得られた潜伏変数と関数を用いて,上記の課題を同時に解決するGPモデルを提案する。 本手法は三元系酸化物材料の機械学習と多スケール対応機構のトポロジー最適化に有用である。
  論文  参考訳（メタデータ） (2021-06-26T02:17:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。