論文の概要: PROSE: Predicting Operators and Symbolic Expressions using Multimodal
Transformers
- arxiv url: http://arxiv.org/abs/2309.16816v1
- Date: Thu, 28 Sep 2023 19:46:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 16:25:26.556401
- Title: PROSE: Predicting Operators and Symbolic Expressions using Multimodal
Transformers
- Title（参考訳）: PROSE:マルチモーダルトランスを用いた演算子と記号表現の予測
- Authors: Yuxuan Liu, Zecheng Zhang, Hayden Schaeffer
- Abstract要約: 我々は微分方程式を予測するための新しいニューラルネットワークフレームワークを開発する。
変換器構造と特徴融合手法を用いることで,様々なパラメトリック微分方程式に対する解演算子の集合を同時に埋め込むことができる。
ネットワークはデータのノイズやシンボル表現のエラーを処理でき、ノイズの多い数値、モデルの不特定性、誤った追加や用語の削除などが含まれる。
- 参考スコア（独自算出の注目度）: 5.263113622394007
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Approximating nonlinear differential equations using a neural network
provides a robust and efficient tool for various scientific computing tasks,
including real-time predictions, inverse problems, optimal controls, and
surrogate modeling. Previous works have focused on embedding dynamical systems
into networks through two approaches: learning a single solution operator
(i.e., the mapping from input parametrized functions to solutions) or learning
the governing system of equations (i.e., the constitutive model relative to the
state variables). Both of these approaches yield different representations for
the same underlying data or function. Additionally, observing that families of
differential equations often share key characteristics, we seek one network
representation across a wide range of equations. Our method, called Predicting
Operators and Symbolic Expressions (PROSE), learns maps from multimodal inputs
to multimodal outputs, capable of generating both numerical predictions and
mathematical equations. By using a transformer structure and a feature fusion
approach, our network can simultaneously embed sets of solution operators for
various parametric differential equations using a single trained network.
Detailed experiments demonstrate that the network benefits from its multimodal
nature, resulting in improved prediction accuracy and better generalization.
The network is shown to be able to handle noise in the data and errors in the
symbolic representation, including noisy numerical values, model
misspecification, and erroneous addition or deletion of terms. PROSE provides a
new neural network framework for differential equations which allows for more
flexibility and generality in learning operators and governing equations from
data.
- Abstract（参考訳）: ニューラルネットワークを用いた非線形微分方程式の近似は、リアルタイム予測、逆問題、最適制御、代理モデリングなど、様々な科学計算タスクに対して堅牢で効率的なツールを提供する。
これまでの研究は、単一解演算子(すなわち入力パラメトリケーション関数から解への写像)の学習と、方程式の制御系(すなわち状態変数に対する構成モデル)の学習という2つのアプローチで、動的システムをネットワークに埋め込むことに重点を置いてきた。
これらのアプローチはどちらも、同じ基盤となるデータや関数に対して異なる表現をもたらす。
さらに、微分方程式の族はしばしば重要な特性を共有することを観察し、幅広い方程式にまたがる一つのネットワーク表現を求める。
予測演算子と記号表現(PROSE)と呼ばれる本手法は,マルチモーダル入力からマルチモーダル出力への写像を学習し,数値予測と数学的方程式の両方を生成する。
変圧器構造と特徴融合手法を用いることで, ネットワークは, 様々なパラメトリック微分方程式に対する解演算子の集合を, 同時に1つのトレーニングネットワークを用いて埋め込むことができる。
詳細な実験により、ネットワークはそのマルチモーダルな性質から利点があり、予測精度が向上し、より一般化された。
このネットワークは、データ内のノイズやシンボル表現の誤りを処理できることが示されており、ノイズの数値、モデルの誤特定、用語の誤追加や削除が含まれる。
PROSEは、微分方程式のための新しいニューラルネットワークフレームワークを提供する。
関連論文リスト
- Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - PICL: Physics Informed Contrastive Learning for Partial Differential Equations [7.136205674624813]
我々は,複数の支配方程式にまたがるニューラル演算子一般化を同時に改善する,新しいコントラスト事前学習フレームワークを開発する。
物理インフォームドシステムの進化と潜在空間モデル出力の組み合わせは、入力データに固定され、我々の距離関数で使用される。
物理インフォームドコントラストプレトレーニングにより,1次元および2次元熱,バーガーズ,線形対流方程式に対する固定フューチャーおよび自己回帰ロールアウトタスクにおけるフーリエニューラル演算子の精度が向上することがわかった。
論文 参考訳（メタデータ） (2024-01-29T17:32:22Z) - Physics-Informed Generator-Encoder Adversarial Networks with Latent
Space Matching for Stochastic Differential Equations [14.999611448900822]
微分方程式における前方・逆・混合問題に対処するために,新しい物理情報ニューラルネットワークのクラスを提案する。
我々のモデルは、ジェネレータとエンコーダの2つのキーコンポーネントで構成され、どちらも勾配降下によって交互に更新される。
従来の手法とは対照的に、より低次元の潜在特徴空間内で機能する間接マッチングを用いる。
論文 参考訳（メタデータ） (2023-11-03T04:29:49Z) - In-Context Convergence of Transformers [63.04956160537308]
勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。
不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
論文 参考訳（メタデータ） (2023-10-08T17:55:33Z) - Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳（メタデータ） (2023-09-02T01:27:53Z) - In-Context Operator Learning with Data Prompts for Differential Equation
Problems [12.61842281581773]
本稿では、新しいニューラルネットワークベースのアプローチ、すなわちIn-Context Operator Networks (ICON)を紹介する。
ICONは、トリガーされたデータから演算子を同時に学習し、推論段階で新しい質問に適用する。
数値計算の結果,多変量微分方程式問題に対する数発の演算子学習器としてのニューラルネットワークの機能を示す。
論文 参考訳（メタデータ） (2023-04-17T05:22:26Z) - A PINN Approach to Symbolic Differential Operator Discovery with Sparse
Data [0.0]
本研究では,実験データが少ない状況下で微分作用素の記号的発見を行う。
微分方程式における未知の隠れ項の表現を学習するニューラルネットワークを追加することで、PINNのアプローチを変更する。
このアルゴリズムは微分方程式に対する代理解と隠れた項のブラックボックス表現の両方を与える。
論文 参考訳（メタデータ） (2022-12-09T02:09:37Z) - Equivariant vector field network for many-body system modeling [65.22203086172019]
Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。
シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
論文 参考訳（メタデータ） (2021-10-26T14:26:25Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳（メタデータ） (2020-06-16T21:56:22Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳（メタデータ） (2020-06-08T09:53:35Z) - Hamiltonian neural networks for solving equations of motion [3.1498833540989413]
本稿では,力学系を支配する微分方程式を解くハミルトニアンニューラルネットワークを提案する。
シンプレクティックオイラー積分器は、数値誤差の同じ順序を達成するために、ハミルトンネットワークよりも2桁多くの評価点を必要とする。
論文 参考訳（メタデータ） (2020-01-29T21:48:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。