論文の概要: Weight-Parameterization in Continuous Time Deep Neural Networks for Surrogate Modeling
- arxiv url: http://arxiv.org/abs/2507.22045v1
- Date: Tue, 29 Jul 2025 17:49:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-30 17:08:56.780339
- Title: Weight-Parameterization in Continuous Time Deep Neural Networks for Surrogate Modeling
- Title（参考訳）: サーロゲートモデリングのための連続時間深部ニューラルネットワークの重みパラメータ化
- Authors: Haley Rosso, Lars Ruthotto, Khachik Sargsyan,
- Abstract要約: ニューラル常微分方程式(ODE)のような連続時間深層学習モデルは、複雑な物理系のサロゲートモデリングのための有望なフレームワークを提供する。
これらのモデルのトレーニングにおける中心的な課題は、特に計算上の制約の下で、安定した時間変化の重みを学習することにある。
本研究では,重みの時間的発展を基底関数で表される低次元部分空間に制約する重みパラメータ化戦略について検討する。
- 参考スコア（独自算出の注目度）: 1.629803445577911
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continuous-time deep learning models, such as neural ordinary differential equations (ODEs), offer a promising framework for surrogate modeling of complex physical systems. A central challenge in training these models lies in learning expressive yet stable time-varying weights, particularly under computational constraints. This work investigates weight parameterization strategies that constrain the temporal evolution of weights to a low-dimensional subspace spanned by polynomial basis functions. We evaluate both monomial and Legendre polynomial bases within neural ODE and residual network (ResNet) architectures under discretize-then-optimize and optimize-then-discretize training paradigms. Experimental results across three high-dimensional benchmark problems show that Legendre parameterizations yield more stable training dynamics, reduce computational cost, and achieve accuracy comparable to or better than both monomial parameterizations and unconstrained weight models. These findings elucidate the role of basis choice in time-dependent weight parameterization and demonstrate that using orthogonal polynomial bases offers a favorable tradeoff between model expressivity and training efficiency.
- Abstract（参考訳）: ニューラル常微分方程式(ODE)のような連続時間深層学習モデルは、複雑な物理系のサロゲートモデリングのための有望なフレームワークを提供する。
これらのモデルのトレーニングにおける中心的な課題は、特に計算上の制約の下で、表現的だが安定した時間変化の重みを学習することにある。
本研究では,重みの時間的発展を多項式基底関数で表される低次元部分空間に制限する重みパラメータ化戦略について検討する。
ニューラルODE内の単項多項式ベースとルジャンドル多項式ベースと残留ネットワーク(ResNet)アーキテクチャの両方を離散化最適化および最適化最適化学習パラダイムの下で評価する。
3つの高次元のベンチマーク問題に対する実験結果から、レジェンダのパラメータ化はより安定したトレーニングダイナミクスをもたらし、計算コストを低減し、単項パラメータ化と非拘束重みモデルに匹敵する精度を達成することが示された。
これらの結果は,時間依存性の重みパラメータ化における基底選択の役割を解明し,直交多項式基底を用いることで,モデル表現率とトレーニング効率との良好なトレードオフが得られることを示した。
関連論文リスト
- Neural Port-Hamiltonian Differential Algebraic Equations for Compositional Learning of Electrical Networks [20.12750360095627]
結合力学系のための合成学習アルゴリズムを開発した。
我々は、ポート・ハミルトンDAEの微分および代数的成分における未知項のパラメータ化にニューラルネットワークを用いる。
我々は、個別のN-PHDAEモデルを個別のグリッドコンポーネント向けに訓練し、それらを結合して大規模ネットワークの挙動を正確に予測する。
論文 参考訳（メタデータ） (2024-12-15T15:13:11Z) - A parametric framework for kernel-based dynamic mode decomposition using deep learning [0.0]
提案されたフレームワークは、オフラインとオンラインの2つのステージで構成されている。
オンラインステージでは、これらのLANDOモデルを活用して、所望のタイミングで新しいデータを生成する。
高次元力学系に次元還元法を適用して, トレーニングの計算コストを低減させる。
論文 参考訳（メタデータ） (2024-09-25T11:13:50Z) - Physics-informed Discretization-independent Deep Compositional Operator Network [1.2430809884830318]
我々はPDEパラメータと不規則領域形状の様々な離散表現に一般化できる新しい物理インフォームドモデルアーキテクチャを提案する。
ディープ・オペレーター・ニューラルネットワークにインスパイアされた我々のモデルは、パラメータの繰り返し埋め込みの離散化に依存しない学習を含む。
提案手法の精度と効率を数値計算により検証した。
論文 参考訳（メタデータ） (2024-04-21T12:41:30Z) - Data-free Weight Compress and Denoise for Large Language Models [96.68582094536032]
パラメータ行列を圧縮する手法として,データフリーなジョイントランクk近似を提案する。
キャリブレーションデータなしで、元の性能の93.43%を維持しながら80%のパラメータのモデルプルーニングを実現する。
論文 参考訳（メタデータ） (2024-02-26T05:51:47Z) - Discovering Interpretable Physical Models using Symbolic Regression and
Discrete Exterior Calculus [55.2480439325792]
本稿では,記号回帰(SR)と離散指数計算(DEC)を組み合わせて物理モデルの自動発見を行うフレームワークを提案する。
DECは、SRの物理問題への最先端の応用を越えている、場の理論の離散的な類似に対して、ビルディングブロックを提供する。
実験データから連続体物理の3つのモデルを再発見し,本手法の有効性を実証する。
論文 参考訳（メタデータ） (2023-10-10T13:23:05Z) - Active-Learning-Driven Surrogate Modeling for Efficient Simulation of
Parametric Nonlinear Systems [0.0]
支配方程式がなければ、パラメトリック還元次代理モデルを非侵襲的に構築する必要がある。
我々の研究は、パラメータのスナップショットを効率的に表示するための非侵入的最適性基準を提供する。
カーネルベースの浅層ニューラルネットワークを用いた能動的学習駆動サロゲートモデルを提案する。
論文 参考訳（メタデータ） (2023-06-09T18:01:14Z) - Capturing dynamical correlations using implicit neural representations [85.66456606776552]
実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。
そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
論文 参考訳（メタデータ） (2023-04-08T07:55:36Z) - Generalized Neural Closure Models with Interpretability [28.269731698116257]
我々は、統合された神経部分遅延微分方程式の新規で汎用的な方法論を開発した。
マルコフ型および非マルコフ型ニューラルネットワーク(NN)の閉包パラメータ化を用いて, 偏微分方程式(PDE)における既存/低忠実度力学モデルを直接拡張する。
本研究では, 非線形波動, 衝撃波, 海洋酸性化モデルに基づく4つの実験セットを用いて, 新しい一般化ニューラルクロージャモデル(gnCMs)の枠組みを実証する。
論文 参考訳（メタデータ） (2023-01-15T21:57:43Z) - On the Influence of Enforcing Model Identifiability on Learning dynamics
of Gaussian Mixture Models [14.759688428864159]
特異モデルからサブモデルを抽出する手法を提案する。
本手法はトレーニング中のモデルの識別性を強制する。
この手法がディープニューラルネットワークのようなより複雑なモデルにどのように適用できるかを示す。
論文 参考訳（メタデータ） (2022-06-17T07:50:22Z) - Neural Operator with Regularity Structure for Modeling Dynamics Driven
by SPDEs [70.51212431290611]
偏微分方程式 (SPDE) は、大気科学や物理学を含む多くの分野において、力学をモデル化するための重要なツールである。
本研究では,SPDEによって駆動されるダイナミクスをモデル化するための特徴ベクトルを組み込んだニューラル演算子(NORS)を提案する。
動的Phi41モデルと2d Navier-Stokes方程式を含む様々なSPDE実験を行った。
論文 参考訳（メタデータ） (2022-04-13T08:53:41Z) - Equivariant vector field network for many-body system modeling [65.22203086172019]
Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。
シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
論文 参考訳（メタデータ） (2021-10-26T14:26:25Z) - Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。
最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。
偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。
本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
論文 参考訳（メタデータ） (2020-09-08T13:26:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。