論文の概要: A practical existence theorem for reduced order models based on convolutional autoencoders

• arxiv url: http://arxiv.org/abs/2402.00435v1
• Date: Thu, 1 Feb 2024 09:01:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-02 15:47:20.223017
• Title: A practical existence theorem for reduced order models based on convolutional autoencoders
• Title（参考訳）: 畳み込み自己エンコーダに基づく縮小順序モデルの実用的存在定理
• Authors: Nicola Rares Franco and Simone Brugiapaglia
• Abstract要約: 部分微分方程式 (PDE) と還元次数モデリング (ROM) の分野ではディープラーニングが人気を博している。 CNNベースのオートエンコーダは、複雑な非線形問題に対処する際、低基底法などの確立された手法よりも極めて効果的であることが証明されている。 パラメーター対解写像が正則である場合、CNNベースの自己エンコーダに対して新しい実用的存在定理を提供する。
• 参考スコア（独自算出の注目度）: 0.5439020425818999
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, deep learning has gained increasing popularity in the fields of Partial Differential Equations (PDEs) and Reduced Order Modeling (ROM), providing domain practitioners with new powerful data-driven techniques such as Physics-Informed Neural Networks (PINNs), Neural Operators, Deep Operator Networks (DeepONets) and Deep-Learning based ROMs (DL-ROMs). In this context, deep autoencoders based on Convolutional Neural Networks (CNNs) have proven extremely effective, outperforming established techniques, such as the reduced basis method, when dealing with complex nonlinear problems. However, despite the empirical success of CNN-based autoencoders, there are only a few theoretical results supporting these architectures, usually stated in the form of universal approximation theorems. In particular, although the existing literature provides users with guidelines for designing convolutional autoencoders, the subsequent challenge of learning the latent features has been barely investigated. Furthermore, many practical questions remain unanswered, e.g., the number of snapshots needed for convergence or the neural network training strategy. In this work, using recent techniques from sparse high-dimensional function approximation, we fill some of these gaps by providing a new practical existence theorem for CNN-based autoencoders when the parameter-to-solution map is holomorphic. This regularity assumption arises in many relevant classes of parametric PDEs, such as the parametric diffusion equation, for which we discuss an explicit application of our general theory.
• Abstract（参考訳）: 近年,PDE(Partial Differential Equations)やROM(Reduced Order Modeling)の分野でディープラーニングが普及し,物理情報ニューラルネットワーク(PINN)やニューラルネットワーク,Deep Operator Networks(DeepONets),Deep-Learning based ROMs(DL-ROM)といった,新たな強力なデータ駆動技術が提供されるようになった。 この文脈では、複雑な非線形問題を扱う際、畳み込みニューラルネットワーク(CNN)に基づくディープオートエンコーダは、基底法などの確立された手法よりも極めて効果的であることが証明されている。 しかし、CNNベースのオートエンコーダの実証的な成功にもかかわらず、これらのアーキテクチャを支持する理論的な結果は、通常は普遍近似定理の形で記述されている。 特に、既存の文献は畳み込みオートエンコーダを設計するためのガイドラインを提供しているが、潜在的な特徴を学ぶというその後の課題はほとんど調査されていない。 さらに、収束に必要なスナップショットの数やニューラルネットワークトレーニング戦略など、多くの実践的な疑問が未解決のままである。 本研究では,高次元関数近似を用いた最近の手法を用いて,パラメータ対解写像が正則である場合,cnnに基づくオートエンコーダに対する新たな実用的存在定理を提供することにより,これらのギャップを埋める。 この正則性仮定は、パラメトリック拡散方程式のようなパラメトリックPDEの多くの関連クラスで生じ、一般理論の明示的な応用について議論する。

関連論文リスト

• Learning smooth functions in high dimensions: from sparse polynomials to deep neural networks [0.9749638953163389]
  有限個の点検点集合から多くの変数の滑らかな対象関数への近似を学習することは、科学計算において重要な課題である。 この10年で、効率的な方法への重要な進歩が見られた。 近年,これらの手法の近似理論と解析が進展している。
  論文  参考訳（メタデータ） (2024-04-04T19:07:21Z)
• On the latent dimension of deep autoencoders for reduced order modeling of PDEs parametrized by random fields [0.6827423171182154]
  本稿では,ランダムフィールドの存在下でのDeep Learning-ROMの使用に関する理論的知見を提供する。 ディープオートエンコーダの潜伏次元を選択する際に、ドメインの実践者をガイドできる明示的なエラー境界を導出します。 数値実験により,本理論の実用性を評価する。
  論文  参考訳（メタデータ） (2023-10-18T16:38:23Z)
• Hypernetwork-based Meta-Learning for Low-Rank Physics-Informed Neural Networks [24.14254861023394]
  本研究では,物理インフォームドニューラルネットワーク (PINN) がそのような解法の一つとして考えられる可能性を秘めた経路を提案する。 PINNは、ディープラーニングと科学計算の適切な統合を開拓してきたが、ニューラルネットワークの反復的な時間的トレーニングを必要としている。 本稿では,数百のモデルパラメータと関連するハイパーネットワークに基づくメタ学習アルゴリズムを含む軽量な低ランクPINNを提案する。
  論文  参考訳（メタデータ） (2023-10-14T08:13:43Z)
• From NeurODEs to AutoencODEs: a mean-field control framework for width-varying Neural Networks [68.8204255655161]
  本稿では,動的に駆動する制御フィールドをベースとした,AutoencODEと呼ばれる新しいタイプの連続時間制御システムを提案する。 損失関数が局所凸な領域では,多くのアーキテクチャが復元可能であることを示す。
  論文  参考訳（メタデータ） (2023-07-05T13:26:17Z)
• Deep learning applied to computational mechanics: A comprehensive review, state of the art, and the classics [77.34726150561087]
  人工知能,特に深層学習(DL)の最近の進歩を概観する。 ハイブリッドおよび純粋機械学習(ML)の手法について論じる。 AIの歴史と限界は、特に古典の誤解や誤解を指摘し、議論され、議論される。
  論文  参考訳（メタデータ） (2022-12-18T02:03:00Z)
• RBF-MGN:Solving spatiotemporal PDEs with Physics-informed Graph Neural Network [4.425915683879297]
  グラフニューラルネットワーク(GNN)とラジアル基底関数有限差分(RBF-FD)に基づく新しいフレームワークを提案する。 RBF-FDはモデルトレーニングを導くために微分方程式の高精度差分形式を構築するために用いられる。 提案アルゴリズムの一般化可能性,精度,効率性を,異なるPDEパラメータで説明する。
  論文  参考訳（メタデータ） (2022-12-06T10:08:02Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• A New Clustering-Based Technique for the Acceleration of Deep Convolutional Networks [2.7393821783237184]
  MCA(Model Compression and Acceleration)技術は、大規模な事前学習ネットワークをより小さなモデルに変換するために用いられる。 本稿では,採用したセントロイド/表現量を増やすクラスタリングに基づく手法を提案する。 これは、被雇用者に対して特別な構造を課すことによって達成され、これは、目の前の問題の特異性によって実現される。
  論文  参考訳（メタデータ） (2021-07-19T18:22:07Z)
• ALF: Autoencoder-based Low-rank Filter-sharing for Efficient Convolutional Neural Networks [63.91384986073851]
  オートエンコーダを用いた低ランクフィルタ共有技術(ALF)を提案する。 ALFは、ネットワークパラメータの70%、オペレーションの61%、実行時間の41%を削減し、精度の低下を最小限にしている。
  論文  参考訳（メタデータ） (2020-07-27T09:01:22Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。