論文の概要: Finite Element Neural Network Interpolation. Part I: Interpretable and Adaptive Discretization for Solving PDEs

• arxiv url: http://arxiv.org/abs/2412.05719v1
• Date: Sat, 07 Dec 2024 18:31:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:52:25.869339
• Title: Finite Element Neural Network Interpolation. Part I: Interpretable and Adaptive Discretization for Solving PDEs
• Title（参考訳）: 有限要素ニューラルネットワーク補間 その1:PDEの解法における解釈と適応的離散化
• Authors: Kateřina Škardová, Alexandre Daby-Seesaram, Martin Genet,
• Abstract要約: 組込み有限要素ニューラルネットワーク(EFENN)における従来の研究を拡張したスパースニューラルネットワークアーキテクチャを提案する。 EFENNはメッシュベースの構造であるため、完全に接続されたニューラルネットワークよりもトレーニング可能なパラメータをはるかに少なくする必要がある。 EFENNフレームワーク内のFENNIフレームワークは、HiDeNNアプローチの改善をもたらします。
• 参考スコア（独自算出の注目度）: 44.99833362998488
• License:
• Abstract: We present the Finite Element Neural Network Interpolation (FENNI) framework, a sparse neural network architecture extending previous work on Embedded Finite Element Neural Networks (EFENN) introduced with the Hierarchical Deep-learning Neural Networks (HiDeNN). Due to their mesh-based structure, EFENN requires significantly fewer trainable parameters than fully connected neural networks, with individual weights and biases having a clear interpretation. Our FENNI framework, within the EFENN framework, brings improvements to the HiDeNN approach. First, we propose a reference element-based architecture where shape functions are defined on a reference element, enabling variability in interpolation functions and straightforward use of Gaussian quadrature rules for evaluating the loss function. Second, we propose a pragmatic multigrid training strategy based on the framework's interpretability. Third, HiDeNN's combined rh-adaptivity is extended from 1D to 2D, with a new Jacobian-based criterion for adding nodes combining h- and r-adaptivity. From a deep learning perspective, adaptive mesh behavior through rh-adaptivity and the multigrid approach correspond to transfer learning, enabling FENNI to optimize the network's architecture dynamically during training. The framework's capabilities are demonstrated on 1D and 2D test cases, where its accuracy and computational cost are compared against an analytical solution and a classical FEM solver. On these cases, the multigrid training strategy drastically improves the training stage's efficiency and robustness. Finally, we introduce a variational loss within the EFENN framework, showing that it performs as well as energy-based losses and outperforms residual-based losses. This framework is extended to surrogate modeling over the parametric space in Part II.
• Abstract（参考訳）: 本稿では,階層型ディープラーニングニューラルネットワーク (HiDeNN) で導入された組込み有限要素ニューラルネットワーク (EFENN) を拡張したスパースニューラルネットワークアーキテクチャであるFENNI(Finite Element Neural Network Interpolation) フレームワークを提案する。 EFENNはメッシュベースの構造であるため、完全に接続されたニューラルネットワークよりもトレーニング可能なパラメータが大幅に少なくなり、個々の重みとバイアスが明確な解釈を持つ。 EFENNフレームワーク内のFENNIフレームワークは、HiDeNNアプローチの改善をもたらします。 まず, 形状関数を基準要素上に定義し, 補間関数の可変性を実現し, 損失関数の評価にガウス二次規則を直接適用する参照要素ベースアーキテクチャを提案する。 次に,本フレームワークの解釈可能性に基づく実用的マルチグリッド学習戦略を提案する。 第3に、HiDeNNのrh-adaptivityの組み合わせは、1Dから2Dに拡張され、h-とr-adaptivityを組み合わせたノードを追加するための新しいJacobianベースの基準が導入された。 ディープラーニングの観点からは、rh適応性による適応メッシュ動作とマルチグリッドアプローチは、転送学習に対応し、FENNIはトレーニング中にネットワークのアーキテクチャを動的に最適化することができる。 フレームワークの能力は、1Dと2Dのテストケースで実証され、その精度と計算コストは分析解と古典的FEMソルバと比較される。 これらの場合、マルチグリッドトレーニング戦略は、トレーニングステージの効率性と堅牢性を大幅に改善する。 最後に、EFENNフレームワーク内での変動損失を導入し、エネルギーベースの損失だけでなく、残余ベースの損失よりも優れた性能を示すことを示す。 このフレームワークは、パートIIのパラメトリック空間上のモデリングを代理するように拡張されている。

関連論文リスト

• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• An Adaptive and Stability-Promoting Layerwise Training Approach for Sparse Deep Neural Network Architecture [0.0]
  この研究は、与えられたトレーニングデータセットに対してうまく一般化するディープニューラルネットワーク(DNN)アーキテクチャを開発するための2段階適応フレームワークを提案する。 第1段階では、新しいレイヤを毎回追加し、前のレイヤでパラメータを凍結することで独立してトレーニングする、レイヤワイズトレーニングアプローチが採用されている。 本稿では, 学習アルゴリズムの望ましい特性として, エプシロン・デルタ安定促進の概念を導入し, 多様体正規化を用いることで, エプシロン・デルタ安定促進アルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-13T09:51:16Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• An Optimal Time Variable Learning Framework for Deep Neural Networks [0.0]
  提案するフレームワークは、ResNet, DenseNet, Fractional-DNNなどの既存のネットワークに適用できる。 提案手法は、3D-マクスウェル方程式に悪影響を及ぼす。
  論文  参考訳（メタデータ） (2022-04-18T19:29:03Z)
• Training multi-objective/multi-task collocation physics-informed neural network with student/teachers transfer learnings [0.0]
  本稿では,事前学習ステップとネット間知識伝達アルゴリズムを用いたPINNトレーニングフレームワークを提案する。 多目的最適化アルゴリズムは、競合する制約のある物理的インフォームドニューラルネットワークの性能を向上させることができる。
  論文  参考訳（メタデータ） (2021-07-24T00:43:17Z)
• A Differential Game Theoretic Neural Optimizer for Training Residual Networks [29.82841891919951]
  本稿では、残差接続と畳み込み層の両方を受け入れる一般化微分動的プログラミング(DDP)ニューラルアーキテクチャを提案する。 得られた最適制御表現は、トレーニング残余ネットワークを、状態拡張システム上での協調的軌道最適化と解釈できるゲーム論的視点を許容する。
  論文  参考訳（メタデータ） (2020-07-17T10:19:17Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。