論文の概要: Fixed-kinetic Neural Hamiltonian Flows for enhanced interpretability and reduced complexity

• arxiv url: http://arxiv.org/abs/2302.01955v1
• Date: Fri, 3 Feb 2023 19:05:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-07 21:10:25.692786
• Title: Fixed-kinetic Neural Hamiltonian Flows for enhanced interpretability and reduced complexity
• Title（参考訳）: 可変運動型神経ハミルトニアン流れによる解釈可能性の向上と複雑さの低減
• Authors: Vincent Souveton, Arnaud Guillin, Jens Jasche, Guilhem Lavaux, Manon Michel
• Abstract要約: ニューラルハミルトニアンフロー(NHF)モデルの固定運動エネルギー版を導入する。 物理にインスパイアされた我々の手法は、解釈可能性を改善し、以前提案されたアーキテクチャよりも少ないパラメータを必要とする。 また, NHFをベイズ推定の文脈に適応させ, 2つの宇宙パラメータの後方分布をサンプリングする方法を解説した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Normalizing Flows (NF) are Generative models which are particularly robust and allow for exact sampling of the learned distribution. They however require the design of an invertible mapping, whose Jacobian determinant has to be computable. Recently introduced, Neural Hamiltonian Flows (NHF) are based on Hamiltonian dynamics-based Flows, which are continuous, volume-preserving and invertible and thus make for natural candidates for robust NF architectures. In particular, their similarity to classical Mechanics could lead to easier interpretability of the learned mapping. However, despite being Physics-inspired architectures, the originally introduced NHF architecture still poses a challenge to interpretability. For this reason, in this work, we introduce a fixed kinetic energy version of the NHF model. Inspired by physics, our approach improves interpretability and requires less parameters than previously proposed architectures. We then study the robustness of the NHF architectures to the choice of hyperparameters. We analyze the impact of the number of leapfrog steps, the integration time and the number of neurons per hidden layer, as well as the choice of prior distribution, on sampling a multimodal 2D mixture. The NHF architecture is robust to these choices, especially the fixed-kinetic energy model. Finally, we adapt NHF to the context of Bayesian inference and illustrate our method on sampling the posterior distribution of two cosmological parameters knowing type Ia supernovae observations.
• Abstract（参考訳）: 正規化フロー(NF)は、特に堅牢で、学習した分布の正確なサンプリングを可能にする生成モデルである。 しかしそれらは可逆写像の設計を必要とし、ヤコビ行列式は計算可能である必要がある。 最近導入されたニューラルハミルトニアンフロー(NHF)は、連続的、体積保存的で可逆であり、堅牢なNFアーキテクチャの自然な候補となるハミルトン力学に基づくフローに基づいている。 特に、古典力学との類似性は、学習された写像の解釈性に繋がる可能性がある。 しかしながら、物理学にインスパイアされたアーキテクチャであるにもかかわらず、最初に導入されたNHFアーキテクチャは依然として解釈可能性に挑戦している。 そこで本研究では, NHFモデルの固定運動エネルギーバージョンを導入する。 物理学に触発されて、このアプローチは解釈性を改善し、以前提案されたアーキテクチャよりもパラメータを少なくする。 次にハイパーパラメータの選択に対するnhfアーキテクチャのロバスト性について検討する。 本研究では,マルチモーダルな2次元混合物のサンプリングにおいて,跳躍ステップ数,統合時間,隠蔽層毎のニューロン数,および事前分布の選択が与える影響を分析した。 NHFアーキテクチャはこれらの選択、特に固定運動エネルギーモデルに対して堅牢である。 最後に、NHFをベイズ推定の文脈に適応させ、Ia型超新星観測を知るための2つの宇宙パラメータの後方分布をサンプリングする方法について述べる。

関連論文リスト

• Latent Space Energy-based Neural ODEs [73.01344439786524]
  本稿では,連続時間シーケンスデータを表現するために設計された深部力学モデルの新しいファミリを紹介する。 マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。 発振システム、ビデオ、実世界の状態シーケンス(MuJoCo)の実験は、学習可能なエネルギーベース以前のODEが既存のものより優れていることを示している。
  論文  参考訳（メタデータ） (2024-09-05T18:14:22Z)
• Fourier Neural Operators for Learning Dynamics in Quantum Spin Systems [77.88054335119074]
  ランダム量子スピン系の進化をモデル化するためにFNOを用いる。 量子波動関数全体の2n$の代わりに、コンパクトなハミルトン観測可能集合にFNOを適用する。
  論文  参考訳（メタデータ） (2024-09-05T07:18:09Z)
• Deep Neural Networks as Variational Solutions for Correlated Open Quantum Systems [0.0]
  より強力なモデルで直接密度行列をパラメータ化することで、より良い変分アンザッツ関数が得られることを示す。 本稿では, 散逸的一次元逆場イジングモデルと2次元散逸的ハイゼンベルクモデルについて述べる。
  論文  参考訳（メタデータ） (2024-01-25T13:41:34Z)
• Applications of Machine Learning to Modelling and Analysing Dynamical Systems [0.0]
  本稿では,既存のハミルトンニューラルネットワーク構造を適応型シンプレクティックリカレントニューラルネットワークに組み合わせたアーキテクチャを提案する。 このアーキテクチャは、ハミルトニアン力学を予測する際に、これまで提案されていたニューラルネットワークよりも大幅に優れていた。 本手法は, 単一パラメータポテンシャルに対して有効であり, 長期間にわたって正確な予測を行うことができることを示す。
  論文  参考訳（メタデータ） (2023-07-22T19:04:17Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• A predictive physics-aware hybrid reduced order model for reacting flows [65.73506571113623]
  反応流問題の解法として,新しいハイブリッド型予測次数モデル (ROM) を提案する。 自由度は、数千の時間的点から、対応する時間的係数を持ついくつかのPODモードへと減少する。 時間係数を予測するために、2つの異なるディープラーニングアーキテクチャがテストされている。
  論文  参考訳（メタデータ） (2023-01-24T08:39:20Z)
• Positive-definite parametrization of mixed quantum states with deep neural networks [0.0]
  本稿では,GHDOに自己回帰構造を埋め込んで,確率分布を直接サンプリングする方法を示す。 我々はこのアーキテクチャを、散逸的横フィールドイジングモデルの定常状態によってベンチマークする。
  論文  参考訳（メタデータ） (2022-06-27T17:51:38Z)
• Moser Flow: Divergence-based Generative Modeling on Manifolds [49.04974733536027]
  Moser Flow (MF) は連続正規化フロー(CNF)ファミリーにおける新しい生成モデルのクラスである MFは、訓練中にODEソルバを介して呼び出しやバックプロパゲートを必要としない。 一般曲面からのサンプリングにおけるフローモデルの利用を初めて実演する。
  論文  参考訳（メタデータ） (2021-08-18T09:00:24Z)
• A unified framework for Hamiltonian deep neural networks [3.0934684265555052]
  ディープニューラルネットワーク(DNN)のトレーニングは、重み付け最適化中に勾配を消耗させるため、難しい場合がある。 ハミルトン系の時間離散化から派生したDNNのクラスを提案する。 提案されたハミルトンのフレームワークは、限界的に安定なODEにインスパイアされた既存のネットワークを包含する以外に、新しいより表現力のあるアーキテクチャを導出することができる。
  論文  参考訳（メタデータ） (2021-04-27T13:20:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。