論文の概要: In-Context Operator Learning with Data Prompts for Differential Equation Problems

• arxiv url: http://arxiv.org/abs/2304.07993v3
• Date: Tue, 19 Sep 2023 20:00:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-22 00:29:43.715005
• Title: In-Context Operator Learning with Data Prompts for Differential Equation Problems
• Title（参考訳）: 微分方程式問題に対するデータプロンプトを用いたインコンテキスト演算子学習
• Authors: Liu Yang, Siting Liu, Tingwei Meng, Stanley J. Osher
• Abstract要約: 本稿では、新しいニューラルネットワークベースのアプローチ、すなわちIn-Context Operator Networks (ICON)を紹介する。 ICONは、トリガーされたデータから演算子を同時に学習し、推論段階で新しい質問に適用する。 数値計算の結果,多変量微分方程式問題に対する数発の演算子学習器としてのニューラルネットワークの機能を示す。
• 参考スコア（独自算出の注目度）: 12.61842281581773
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces a new neural-network-based approach, namely In-Context Operator Networks (ICON), to simultaneously learn operators from the prompted data and apply it to new questions during the inference stage, without any weight update. Existing methods are limited to using a neural network to approximate a specific equation solution or a specific operator, requiring retraining when switching to a new problem with different equations. By training a single neural network as an operator learner, we can not only get rid of retraining (even fine-tuning) the neural network for new problems, but also leverage the commonalities shared across operators so that only a few demos in the prompt are needed when learning a new operator. Our numerical results show the neural network's capability as a few-shot operator learner for a diversified type of differential equation problems, including forward and inverse problems of ordinary differential equations (ODEs), partial differential equations (PDEs), and mean-field control (MFC) problems, and also show that it can generalize its learning capability to operators beyond the training distribution.
• Abstract（参考訳）: 本稿では,In-Context Operator Networks (ICON) と呼ばれるニューラルネットワークに基づく新しいアプローチを提案する。 既存の方法は、ニューラルネットワークを使用して特定の方程式解や特定の演算子を近似することに限定され、異なる方程式を持つ新しい問題に切り替える際には、再訓練を必要とする。 オペレータ学習者として単一のニューラルネットワークをトレーニングすることで、新たな問題に対するニューラルネットワークの再トレーニング(微調整でさえも)を排除するだけでなく、オペレータ間で共有される共通性を活用することで、新しいオペレータの学習にはプロンプトのデモがほんの数回必要となる。 数値計算の結果,一般微分方程式(ODE)の前方・逆問題,偏微分方程式(PDE),平均場制御(MFC)問題など,多種多様な微分方程式問題に対する数発の演算子としてのニューラルネットワーク能力を示し,学習能力を訓練分布を超えた演算子に一般化できることを示した。

関連論文リスト

• PROSE: Predicting Operators and Symbolic Expressions using Multimodal Transformers [5.263113622394007]
  我々は微分方程式を予測するための新しいニューラルネットワークフレームワークを開発する。 変換器構造と特徴融合手法を用いることで,様々なパラメトリック微分方程式に対する解演算子の集合を同時に埋め込むことができる。 ネットワークはデータのノイズやシンボル表現のエラーを処理でき、ノイズの多い数値、モデルの不特定性、誤った追加や用語の削除などが含まれる。
  論文  参考訳（メタデータ） (2023-09-28T19:46:07Z)
• Hyena Neural Operator for Partial Differential Equations [9.438207505148947]
  ディープラーニングの最近の進歩は、ニューラル演算子の使用を含む偏微分方程式を解くための新しいアプローチをもたらした。 この研究は、多層パーセプトロンによってパラメータ化される長い畳み込みフィルタを使用するHyenaと呼ばれるニューラル演算子を利用する。 この結果から,ハイエナは偏微分方程式解演算器の効率的かつ高精度なモデルとして機能することが示唆された。
  論文  参考訳（メタデータ） (2023-06-28T19:45:45Z)
• Representation Equivalent Neural Operators: a Framework for Alias-free Operator Learning [11.11883703395469]
  この研究は、Representation equivalent Neural Operators (ReNO) フレームワークによるニューラル演算子に対する新たな取り組みを提供する。 中心となるのは演算子エイリアスの概念であり、これは神経演算子とその離散表現の不整合を測定する。 我々の研究結果は、異なる離散化やグリッドを扱う際にエイリアシングがエラーを発生させ、重要な連続構造が失われることについて詳述している。
  論文  参考訳（メタデータ） (2023-05-31T14:45:34Z)
• Physics-Informed Neural Operators [3.9181541460605116]
  ニューラルネットワークは一般非線形作用素を近似することができ、例えば、対流拡散反応偏微分方程式における数学的作用素の組合せによって明示的に表される。 最初の神経オペレータは、厳密な近似理論に基づいて2019年に提案されたDeepオペレータネットワーク(DeepONet)である。 ブラックボックスシステムでは、ニューラル演算子のトレーニングはデータ駆動であるが、支配方程式が分かっていれば、物理インフォームド・ニューラル演算子を開発するトレーニング中に損失関数に組み込むことができる。
  論文  参考訳（メタデータ） (2022-07-08T12:29:09Z)
• MIONet: Learning multiple-input operators via tensor product [2.5426761219054312]
  バナッハ空間の積上で定義された複数入力演算子に対するニューラルネットワークによる演算子の回帰について検討する。 我々の理論と低ランク近似に基づいて、我々は新しいニューラル演算子、MIONetを提案し、複数入力演算子を学習する。
  論文  参考訳（メタデータ） (2022-02-12T20:37:04Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
  本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。 提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。 ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
  論文  参考訳（メタデータ） (2021-08-19T03:56:49Z)
• Conditional physics informed neural networks [85.48030573849712]
  固有値問題のクラス解を推定するための条件付きPINN(物理情報ニューラルネットワーク)を紹介します。 一つのディープニューラルネットワークが、問題全体に対する偏微分方程式の解を学習できることが示される。
  論文  参考訳（メタデータ） (2021-04-06T18:29:14Z)
• Fourier Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  積分カーネルを直接フーリエ空間でパラメータ化することで、新しいニューラル演算子を定式化する。 バーガースの方程式、ダーシー流、ナビエ・ストークス方程式の実験を行う。 従来のPDEソルバに比べて最大3桁高速である。
  論文  参考訳（メタデータ） (2020-10-18T00:34:21Z)
• Self-Organized Operational Neural Networks with Generative Neurons [87.32169414230822]
  ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。 我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
  論文  参考訳（メタデータ） (2020-04-24T14:37:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。