論文の概要: Reliable extrapolation of deep neural operators informed by physics or sparse observations

• arxiv url: http://arxiv.org/abs/2212.06347v1
• Date: Tue, 13 Dec 2022 03:02:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 15:31:26.719657
• Title: Reliable extrapolation of deep neural operators informed by physics or sparse observations
• Title（参考訳）: 物理またはスパース観測によるディープニューラルオペレーターの信頼性の高い外挿
• Authors: Min Zhu, Handi Zhang, Anran Jiao, George Em Karniadakis, Lu Lu
• Abstract要約: ディープニューラルネットワークは、ディープニューラルネットワークを介して無限次元関数空間間の非線形マッピングを学習することができる。 DeepONetsは科学と工学の新しいシミュレーションパラダイムを提供する。 本稿では,外挿下での安全な予測を保証する5つの信頼性学習手法を提案する。
• 参考スコア（独自算出の注目度）: 2.887258133992338
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep neural operators can learn nonlinear mappings between infinite-dimensional function spaces via deep neural networks. As promising surrogate solvers of partial differential equations (PDEs) for real-time prediction, deep neural operators such as deep operator networks (DeepONets) provide a new simulation paradigm in science and engineering. Pure data-driven neural operators and deep learning models, in general, are usually limited to interpolation scenarios, where new predictions utilize inputs within the support of the training set. However, in the inference stage of real-world applications, the input may lie outside the support, i.e., extrapolation is required, which may result to large errors and unavoidable failure of deep learning models. Here, we address this challenge of extrapolation for deep neural operators. First, we systematically investigate the extrapolation behavior of DeepONets by quantifying the extrapolation complexity via the 2-Wasserstein distance between two function spaces and propose a new behavior of bias-variance trade-off for extrapolation with respect to model capacity. Subsequently, we develop a complete workflow, including extrapolation determination, and we propose five reliable learning methods that guarantee a safe prediction under extrapolation by requiring additional information -- the governing PDEs of the system or sparse new observations. The proposed methods are based on either fine-tuning a pre-trained DeepONet or multifidelity learning. We demonstrate the effectiveness of the proposed framework for various types of parametric PDEs. Our systematic comparisons provide practical guidelines for selecting a proper extrapolation method depending on the available information, desired accuracy, and required inference speed.
• Abstract（参考訳）: ディープニューラルネットワークにより、無限次元関数空間間の非線形マッピングを学習することができる。 実時間予測のための偏微分方程式(pdes)の有望なサロゲート解法として、ディープ演算子ネットワーク(deeponets)のようなディープニューラルネットワークは、科学と工学における新しいシミュレーションパラダイムを提供する。 純粋なデータ駆動ニューラル演算子とディープラーニングモデルは通常、新しい予測がトレーニングセットのサポート内で入力を利用する補間シナリオに制限される。 しかし、実世界のアプリケーションの推論の段階では、入力はサポートの外、すなわち外挿が必要となり、ディープラーニングモデルの大きなエラーと避けられない失敗を引き起こす可能性がある。 ここでは、ディープニューラル演算子に対する外挿のこの課題に対処する。 まず,2つの関数空間間の2-ワッサーシュタイン距離による外挿複雑性の定量化により,DeepONetsの外挿挙動を体系的に検討し,モデル容量に対する外挿のバイアス分散トレードオフの新しい挙動を提案する。 その後、外挿決定を含む完全なワークフローを開発し、追加情報を必要とすることによる外挿下での安全な予測を保証する5つの信頼性のある学習手法を提案する。 提案手法は,事前学習したdeeponetあるいはmultifidelity learningの微調整に基づいている。 本稿では,様々なパラメトリックpdesに対する提案フレームワークの有効性を示す。 体系的な比較は,利用可能な情報,所望の精度,必要な推論速度に応じて適切な補間方法を選択するための実践的なガイドラインを提供する。

関連論文リスト

• DeepONet as a Multi-Operator Extrapolation Model: Distributed Pretraining with Physics-Informed Fine-Tuning [6.635683993472882]
  マルチオペレータ学習を実現するためのファインチューニング手法を提案する。 本手法は,事前学習における各種演算子からのデータを分散学習と組み合わせ,物理インフォームド手法によりゼロショット微調整が可能となる。
  論文  参考訳（メタデータ） (2024-11-11T18:58:46Z)
• DeepOSets: Non-Autoregressive In-Context Learning of Supervised Learning Operators [11.913853433712855]
  コンテキスト内演算子学習により、トレーニングされた機械学習モデルは、さらなるトレーニングをすることなく、ユーザのプロンプトから学習することができる。 DeepOSetsはDeepSetsアーキテクチャと組み合わせることで、Deep Operator Networks(DeepONets)にコンテキスト内学習機能を追加する。 コンテキスト内演算子学習のための最初の非自動回帰モデルとして、DeepOSetsはユーザのプロンプトを並列に処理できるようにする。
  論文  参考訳（メタデータ） (2024-10-11T23:07:19Z)
• Learning in latent spaces improves the predictive accuracy of deep neural operators [0.0]
  L-DeepONetは標準のDeepONetの拡張であり、高次元PDE入力の潜在表現と適切なオートエンコーダで識別される出力関数を利用する。 L-DeepONetは時間依存PDEの精度と計算効率の両面で標準手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-15T17:13:09Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• Interpretable Self-Aware Neural Networks for Robust Trajectory Prediction [50.79827516897913]
  本稿では,意味概念間で不確実性を分散する軌道予測のための解釈可能なパラダイムを提案する。 実世界の自動運転データに対する我々のアプローチを検証し、最先端のベースラインよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-16T06:28:20Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Human Trajectory Prediction via Neural Social Physics [63.62824628085961]
  軌道予測は多くの分野において広く研究され、多くのモデルベースおよびモデルフリーな手法が研究されている。 ニューラル微分方程式モデルに基づく新しい手法を提案する。 我々の新しいモデル(ニューラル社会物理学またはNSP)は、学習可能なパラメータを持つ明示的な物理モデルを使用するディープニューラルネットワークである。
  論文  参考訳（メタデータ） (2022-07-21T12:11:18Z)
• Multigoal-oriented dual-weighted-residual error estimation using deep neural networks [0.0]
  ディープラーニングは、関数を近似する柔軟性の高い強力なツールだと考えられている。 提案手法は,誤差の局所化に付随する問題を解く後続誤差推定法に基づく。 複数のゴール関数に対する後方誤差推定を得るために,効率的で実装が容易なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-12-21T16:59:44Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• The training accuracy of two-layer neural networks: its estimation and understanding using random datasets [0.0]
  本研究では,空間分割に基づく新しい理論を提案し,ランダムデータセット上の2層ニューラルネットワークのトレーニング精度をトレーニングなしで推定する。 提案手法は,3つの引数のみを用いて,2種類のランダムデータセット上での2層完全連結ニューラルネットワークのトレーニング精度を推定する。
  論文  参考訳（メタデータ） (2020-10-26T07:21:29Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。