論文の概要: SVD Perspectives for Augmenting DeepONet Flexibility and Interpretability

• arxiv url: http://arxiv.org/abs/2204.12670v1
• Date: Wed, 27 Apr 2022 02:31:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-28 14:45:49.295189
• Title: SVD Perspectives for Augmenting DeepONet Flexibility and Interpretability
• Title（参考訳）: SVDによるDeepONetの柔軟性と解釈性の向上
• Authors: Simone Venturi and Tiernan Casey
• Abstract要約: ディープ・オペレーターネットワーク(DeepONets)は、複雑な力学の高速かつ正確なエミュレーションのための強力なアーキテクチャである。 特異値分解(SVD)から導かれる低ランク手法との接続について検討する。 適切な分解(POD)-神経ネットワークの背景にある概念のいくつかは、DeepONetの設計とトレーニングのフェーズを改善することができることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep operator networks (DeepONets) are powerful architectures for fast and accurate emulation of complex dynamics. As their remarkable generalization capabilities are primarily enabled by their projection-based attribute, we investigate connections with low-rank techniques derived from the singular value decomposition (SVD). We demonstrate that some of the concepts behind proper orthogonal decomposition (POD)-neural networks can improve DeepONet's design and training phases. These ideas lead us to a methodology extension that we name SVD-DeepONet. Moreover, through multiple SVD analyses, we find that DeepONet inherits from its projection-based attribute strong inefficiencies in representing dynamics characterized by symmetries. Inspired by the work on shifted-POD, we develop flexDeepONet, an architecture enhancement that relies on a pre-transformation network for generating a moving reference frame and isolating the rigid components of the dynamics. In this way, the physics can be represented on a latent space free from rotations, translations, and stretches, and an accurate projection can be performed to a low-dimensional basis. In addition to flexibility and interpretability, the proposed perspectives increase DeepONet's generalization capabilities and computational efficiencies. For instance, we show flexDeepONet can accurately surrogate the dynamics of 19 variables in a combustion chemistry application by relying on 95% less trainable parameters than the ones of the vanilla architecture. We argue that DeepONet and SVD-based methods can reciprocally benefit from each other. In particular, the flexibility of the former in leveraging multiple data sources and multifidelity knowledge in the form of both unstructured data and physics-informed constraints has the potential to greatly extend the applicability of methodologies such as POD and PCA.
• Abstract（参考訳）: ディープオペレータネットワーク(deeponets)は、複雑なダイナミクスの高速かつ正確なエミュレーションのための強力なアーキテクチャである。 それらの顕著な一般化機能は、主に射影に基づく属性によって実現されるので、特異値分解(SVD)から導かれる低ランク技術との接続について検討する。 適切な直交分解(POD)-ニューラルネットワークの背景にある概念のいくつかは、DeepONetの設計とトレーニングのフェーズを改善することができる。 これらのアイデアはSVD-DeepONetという方法論の拡張につながります。 さらに、複数のSVD解析により、DeepONetはその射影に基づく属性から、対称性によって特徴づけられるダイナミクスを表現するのに強い非効率性を引き継いでいることがわかった。 シフトPODの研究に触発されたflexDeepONetは、移動参照フレームを生成し、動的の剛性成分を分離するための事前変換ネットワークに依存するアーキテクチャ拡張である。 このようにして、物理学は回転、翻訳、ストレッチのない潜在空間上で表現することができ、正確な投影を低次元の基底に行うことができる。 柔軟性と解釈性に加えて、提案された視点はDeepONetの一般化能力と計算効率を高める。 例えば、flexdeeponetは、バニラアーキテクチャよりも95%のトレーニング可能なパラメータに依存することで、燃焼化学アプリケーションにおける19変数のダイナミクスを正確に測定できることを示した。 我々は,DeepONetとSVDベースの手法が相互に相互に利益をもたらすことを議論する。 特に、複数のデータソースと多面的知識を非構造化データと物理インフォームド制約の両方の形で活用することにおける前者の柔軟性は、PODやPCAのような方法論の適用性を大幅に拡張する可能性がある。

関連論文リスト

• Deep Generative Modeling Reshapes Compression and Transmission: From Efficiency to Resiliency [12.129722150469968]
  本稿では,データ圧縮を効率よく,伝送エラーを回復力に隠蔽する深層生成モデルの二重機能性を示す。 我々は,多くの大規模生成モデルのカーネルが,意味的潜伏変数間の複雑な関係を捉える強力な予測器であることを示す。
  論文  参考訳（メタデータ） (2024-06-10T16:36:02Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• Hessian Eigenvectors and Principal Component Analysis of Neural Network Weight Matrices [0.0]
  この研究は、訓練された深層ニューラルネットワークの複雑なダイナミクスと、それらのネットワークパラメータとの関係について考察する。 ヘッセン固有ベクトルとネットワーク重みの関係を明らかにする。 この関係は固有値の大きさに依存し、ネットワーク内のパラメータの方向を識別することができる。
  論文  参考訳（メタデータ） (2023-11-01T11:38:31Z)
• Learning in latent spaces improves the predictive accuracy of deep neural operators [0.0]
  L-DeepONetは標準のDeepONetの拡張であり、高次元PDE入力の潜在表現と適切なオートエンコーダで識別される出力関数を利用する。 L-DeepONetは時間依存PDEの精度と計算効率の両面で標準手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-15T17:13:09Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Parameter-Efficient Mixture-of-Experts Architecture for Pre-trained Language Models [68.9288651177564]
  量子多体物理学から行列積演算子(MPO)に基づく新しいMoEアーキテクチャを提案する。 分解されたMPO構造により、元のMoEアーキテクチャのパラメータを減らすことができる。 GPT2に基づく3つの有名な下流自然言語データセットの実験は、モデルキャパシティの向上における性能と効率の向上を示している。
  論文  参考訳（メタデータ） (2022-03-02T13:44:49Z)
• Improved architectures and training algorithms for deep operator networks [0.0]
  演算子学習技術は無限次元バナッハ空間間の写像を学習するための強力なツールとして登場した。 我々は,ニューラルタンジェントカーネル(NTK)理論のレンズを用いて,ディープオペレータネットワーク(DeepONets)のトレーニングダイナミクスを解析した。
  論文  参考訳（メタデータ） (2021-10-04T18:34:41Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Deep learning of contagion dynamics on complex networks [0.0]
  本稿では,ネットワーク上での感染動態の効果的なモデルを構築するために,ディープラーニングに基づく補完的アプローチを提案する。 任意のネットワーク構造をシミュレーションすることで,学習したダイナミックスの性質を学習データを超えて探索することが可能になる。 この結果は,ネットワーク上での感染動態の効果的なモデルを構築するために,ディープラーニングが新たな補完的な視点を提供することを示す。
  論文  参考訳（メタデータ） (2020-06-09T17:18:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。