論文の概要: Understanding the role of autoencoders for stiff dynamical systems using information theory
- arxiv url: http://arxiv.org/abs/2503.06325v1
- Date: Sat, 08 Mar 2025 19:42:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-11 15:45:32.736727
- Title: Understanding the role of autoencoders for stiff dynamical systems using information theory
- Title（参考訳）: 情報理論を用いた剛体力学系におけるオートエンコーダの役割の理解
- Authors: Vijayamanikandan Vijayarangan, Harshavardhana A. Uranakara, Francisco E. Hernández-Pérez, Hong G. Im,
- Abstract要約: 情報理論を用いて、ディープニューラルネットワーク(DNN)トレーニングを用いた自己エンコーダ(AE)の潜時空間の構築が、剛体力学系における滑らかな低次元多様体の発見方法に関する知見を提供する。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Using the information theory, this study provides insights into how the construction of latent space of autoencoder (AE) using deep neural network (DNN) training finds a smooth low-dimensional manifold in the stiff dynamical system. Our recent study [1] reported that an autoencoder (AE) combined with neural ODE (NODE) as a surrogate reduced order model (ROM) for the integration of stiff chemically reacting systems led to a significant reduction in the temporal stiffness, and the behavior was attributed to the identification of a slow invariant manifold by the nonlinear projection of the AE. The present work offers fundamental understanding of the mechanism by employing concepts from information theory and better mixing. The learning mechanism of both the encoder and decoder are explained by plotting the evolution of mutual information and identifying two different phases. Subsequently, the density distribution is plotted for the physical and latent variables, which shows the transformation of the \emph{rare event} in the physical space to a \emph{highly likely} (more probable) event in the latent space provided by the nonlinear autoencoder. Finally, the nonlinear transformation leading to density redistribution is explained using concepts from information theory and probability.
- Abstract（参考訳）: 情報理論を用いて、ディープニューラルネットワーク(DNN)トレーニングを用いた自己エンコーダ(AE)の潜時空間の構築が、剛体力学系における滑らかな低次元多様体の発見方法に関する知見を提供する。
我々の最近の研究[1]では、強硬な化学反応系を統合するために、自己エンコーダ (AE) とニューラルODE (NODE) をサロゲート還元秩序モデル (ROM) として組み合わせた結果、時間的剛性は著しく低下し、その挙動はAEの非線形投射による遅い不変多様体の同定に起因していると報告した。
本研究は,情報理論の概念と混合性の向上によるメカニズムの根本的な理解を提供する。
エンコーダとデコーダの両方の学習メカニズムは、相互情報の進化をプロットし、2つの異なる位相を特定することによって説明される。
その後、密度分布は、物理空間における \emph{rare event} の、非線形オートエンコーダによって提供される潜在空間における \emph{highly likely} (より確率の高い) 事象への変換を示す物理的変数と潜在変数に対してプロットされる。
最後に、密度再分配につながる非線形変換は、情報理論と確率の概念を用いて説明される。
関連論文リスト
- Neural Incremental Data Assimilation [8.817223931520381]
ニューラルネットワークによってパラメータ化された粗いガウス分布の列として物理系をモデル化する深層学習手法を提案する。
これにより、再構築エラーを最小限に抑えるためにエンドツーエンドで訓練された同化演算子を定義することができる。
本稿では,疎度観測によるカオス力学系へのアプローチについて述べるとともに,従来の変分データ同化法と比較する。
論文 参考訳（メタデータ） (2024-06-21T11:42:55Z) - tLaSDI: Thermodynamics-informed latent space dynamics identification [0.0]
熱力学の第一原理と第二原理を組み込んだ潜在空間力学同定法,すなわち tLa を提案する。
潜伏変数は、非線形次元減少モデルとしてオートエンコーダを通して学習される。
誘引的相関は、潜在空間におけるtLaの量とフルステート溶液の挙動の間に実験的に観察される。
論文 参考訳（メタデータ） (2024-03-09T09:17:23Z) - Thermodynamics-informed super-resolution of scarce temporal dynamics data [4.893345190925178]
本稿では,物理系の測定値の分解能を高め,その時間進化を予測する手法を提案する。
本手法では, 逆自己エンコーダを用いて全順序モデルの次元性を, 先行値に適合するように強制される潜在変数の集合に還元する。
第2のニューラルネットワークは、潜伏変数の物理的構造を学び、その時間的進化を予測するために訓練される。
論文 参考訳（メタデータ） (2024-02-27T13:46:45Z) - Assessing Neural Network Representations During Training Using
Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。
データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。
本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
論文 参考訳（メタデータ） (2023-12-04T01:32:42Z) - Residual-based attention and connection to information bottleneck theory
in PINNs [0.393259574660092]
近年,物理インフォームドニューラルネットワーク(PINN)への関心が高まっている。
本稿では,動的システムや静的システムの収束を加速する,PINNの効率的な勾配なし重み付け手法を提案する。
論文 参考訳（メタデータ） (2023-07-01T16:29:55Z) - Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。
我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。
本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文 参考訳（メタデータ） (2023-06-06T09:12:49Z) - Capturing dynamical correlations using implicit neural representations [85.66456606776552]
実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。
そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
論文 参考訳（メタデータ） (2023-04-08T07:55:36Z) - Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。
我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
論文 参考訳（メタデータ） (2021-06-03T00:02:05Z) - Adaptive Latent Space Tuning for Non-Stationary Distributions [62.997667081978825]
本稿では,ディープエンコーダ・デコーダ方式cnnの低次元潜在空間の適応チューニング法を提案する。
粒子加速器における時間変動荷電粒子ビームの特性を予測するためのアプローチを実証する。
論文 参考訳（メタデータ） (2021-05-08T03:50:45Z) - Deep learning of thermodynamics-aware reduced-order models from data [0.08699280339422537]
大規模離散化物理系の関連する潜伏変数を学習するアルゴリズムを提案する。
次に、熱力学的に一貫性のあるディープニューラルネットワークを用いて、その時間進化を予測する。
論文 参考訳（メタデータ） (2020-07-03T08:49:01Z) - An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。
この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文 参考訳（メタデータ） (2020-06-19T22:05:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。