論文の概要: Transformer for Partial Differential Equations' Operator Learning
- arxiv url: http://arxiv.org/abs/2205.13671v1
- Date: Thu, 26 May 2022 23:17:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-31 09:45:42.048976
- Title: Transformer for Partial Differential Equations' Operator Learning
- Title（参考訳）: 偏微分方程式作用素学習のための変圧器
- Authors: Zijie Li, Kazem Meidani, Amir Barati Farimani
- Abstract要約: 演算子変換器(OFormer)と呼ばれるデータ駆動型演算子学習のための注意ベースのフレームワークを提案する。
我々のフレームワークは、自己注意、クロスアテンション、および一組のポイントワイド多層パーセプトロン(MLP)に基づいて構築されている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data-driven learning of partial differential equations' solution operators
has recently emerged as a promising paradigm for approximating the underlying
solutions. The solution operators are usually parameterized by deep learning
models that are built upon problem-specific inductive biases. An example is a
convolutional or a graph neural network that exploits the local grid structure
where functions' values are sampled. The attention mechanism, on the other
hand, provides a flexible way to implicitly exploit the patterns within inputs,
and furthermore, relationship between arbitrary query locations and inputs. In
this work, we present an attention-based framework for data-driven operator
learning, which we term Operator Transformer (OFormer). Our framework is built
upon self-attention, cross-attention, and a set of point-wise multilayer
perceptrons (MLPs), and thus it makes few assumptions on the sampling pattern
of the input function or query locations. We show that the proposed framework
is competitive on standard benchmark problems and can flexibly be adapted to
randomly sampled input.
- Abstract（参考訳）: 偏微分方程式の解作用素のデータ駆動学習は、基礎となる解を近似するための有望なパラダイムとして最近登場した。
解演算子は通常、問題固有の帰納バイアスに基づいて構築されたディープラーニングモデルによってパラメータ化される。
例えば、関数の値がサンプリングされるローカルグリッド構造を利用する畳み込みニューラルネットワークやグラフニューラルネットワークがある。
一方、アテンションメカニズムは、入力内のパターンを暗黙的に活用する柔軟な方法を提供し、さらに任意のクエリ場所と入力の関係性を提供する。
本稿では,演算子トランスフォーマ(oformer)と呼ばれる,データ駆動演算子学習のための注意に基づくフレームワークを提案する。
本フレームワークは,自己注意,クロスアテンション,一組の多層パーセプトロン(MLP)に基づいて構築されており,入力関数のサンプリングパターンやクエリロケーションについてはほとんど仮定しない。
提案手法は標準ベンチマーク問題と競合し,ランダムなサンプル入力に柔軟に適用可能であることを示す。
関連論文リスト
- Unsupervised Representation Learning from Sparse Transformation Analysis [79.94858534887801]
本稿では,潜在変数のスパース成分への変換を分解し,シーケンスデータから表現を学習することを提案する。
入力データは、まず潜伏活性化の分布として符号化され、その後確率フローモデルを用いて変換される。
論文 参考訳（メタデータ） (2024-10-07T23:53:25Z) - PROSE: Predicting Operators and Symbolic Expressions using Multimodal
Transformers [5.263113622394007]
我々は微分方程式を予測するための新しいニューラルネットワークフレームワークを開発する。
変換器構造と特徴融合手法を用いることで,様々なパラメトリック微分方程式に対する解演算子の集合を同時に埋め込むことができる。
ネットワークはデータのノイズやシンボル表現のエラーを処理でき、ノイズの多い数値、モデルの不特定性、誤った追加や用語の削除などが含まれる。
論文 参考訳（メタデータ） (2023-09-28T19:46:07Z) - Self-Supervised Learning for Group Equivariant Neural Networks [75.62232699377877]
群同変ニューラルネットワーク(英: Group equivariant Neural Network)は、入力の変換で通勤する構造に制限されたモデルである。
自己教師型タスクには、同変プリテキストラベルと異変コントラスト損失という2つの概念を提案する。
標準画像認識ベンチマークの実験では、同変ニューラルネットワークが提案された自己教師型タスクを利用することを示した。
論文 参考訳（メタデータ） (2023-03-08T08:11:26Z) - Variational Autoencoding Neural Operators [17.812064311297117]
関数型データによる教師なし学習は、コンピュータビジョン、気候モデリング、物理システムへの応用を含む機械学習研究の新たなパラダイムである。
本稿では,大規模な演算子学習アーキテクチャを変分オートエンコーダとして機能させる汎用戦略として,変分オートエンコードニューラル演算子(VANO)を提案する。
論文 参考訳（メタデータ） (2023-02-20T22:34:43Z) - Equivariance with Learned Canonicalization Functions [77.32483958400282]
正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。
実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
論文 参考訳（メタデータ） (2022-11-11T21:58:15Z) - Amortized Inference for Causal Structure Learning [72.84105256353801]
因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。
本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。
我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
論文 参考訳（メタデータ） (2022-05-25T17:37:08Z) - Learning Operators with Coupled Attention [9.715465024071333]
本稿では,近年の注目機構の成功を動機とした,新しい演算子学習手法であるLOCAを提案する。
我々のアーキテクチャでは、入力関数は有限個の特徴にマッピングされ、その特徴は出力クエリの場所に依存する注意重みで平均化される。
これらの注意重みを積分変換と組み合わせることで、LOCAは目標出力関数の相関関係を明示的に学習することができる。
論文 参考訳（メタデータ） (2022-01-04T08:22:03Z) - A research framework for writing differentiable PDE discretizations in
JAX [3.4389358108344257]
微分可能シミュレータは、強化学習から最適制御まで、いくつかの分野で応用される新しい概念である。
連続関数の族間の写像として作用素を表現し、有限ベクトルでパラメタ化することにより、微分可能作用素と離散化のライブラリを提案する。
本稿では、フーリエスペクトル法を用いてヘルムホルツ方程式を離散化し、勾配勾配を用いて微分可能性を示し、音響レンズの音速を最適化する音響最適化問題に対するアプローチを示す。
論文 参考訳（メタデータ） (2021-11-09T15:58:44Z) - Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。
自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文 参考訳（メタデータ） (2020-12-07T14:16:14Z) - Joint learning of variational representations and solvers for inverse
problems with partially-observed data [13.984814587222811]
本稿では,教師付き環境において,逆問題に対する実際の変分フレームワークを学習するためのエンドツーエンドフレームワークを設計する。
変動コストと勾配に基づく解法はどちらも、後者の自動微分を用いたニューラルネットワークとして記述される。
これにより、データ駆動による変分モデルの発見につながる。
論文 参考訳（メタデータ） (2020-06-05T19:53:34Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。