論文の概要: NanoFlow: Scalable Normalizing Flows with Sublinear Parameter Complexity
- arxiv url: http://arxiv.org/abs/2006.06280v4
- Date: Fri, 23 Oct 2020 03:36:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 09:54:37.182391
- Title: NanoFlow: Scalable Normalizing Flows with Sublinear Parameter Complexity
- Title（参考訳）: NanoFlow: 線形パラメータ複雑性を持つスケーラブル正規化フロー
- Authors: Sang-gil Lee, Sungwon Kim, Sungroh Yoon
- Abstract要約: 正規化フロー(NFs)は、分析確率密度の推定と効率的な合成を可能にする深層生成モデルの顕著な方法となっている。
本稿では,1つのニューラルネットワーク密度推定器を用いて,複数の変換ステージをモデル化するNanoFlowというパラメータ化手法を提案する。
- 参考スコア（独自算出の注目度）: 28.201670958962453
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Normalizing flows (NFs) have become a prominent method for deep generative
models that allow for an analytic probability density estimation and efficient
synthesis. However, a flow-based network is considered to be inefficient in
parameter complexity because of reduced expressiveness of bijective mapping,
which renders the models unfeasibly expensive in terms of parameters. We
present an alternative parameterization scheme called NanoFlow, which uses a
single neural density estimator to model multiple transformation stages. Hence,
we propose an efficient parameter decomposition method and the concept of flow
indication embedding, which are key missing components that enable density
estimation from a single neural network. Experiments performed on audio and
image models confirm that our method provides a new parameter-efficient
solution for scalable NFs with significant sublinear parameter complexity.
- Abstract（参考訳）: 正規化フロー(NF)は、分析確率密度の推定と効率的な合成を可能にする深層生成モデルの顕著な方法となっている。
しかし、フローベースネットワークは、客観的マッピングの表現性を低下させるため、パラメータの複雑さにおいて非効率であると考えられている。
本稿では,単一の神経密度推定器を用いて複数の変換段階をモデル化するnanoflowという代替パラメータ化手法を提案する。
そこで,本研究では,単一のニューラルネットワークから密度推定を可能にする重要な欠落成分である効率的なパラメータ分解法とフロー適応埋め込みの概念を提案する。
音響モデルと画像モデルを用いた実験により,本手法は拡張性のあるNFに対して,パラメータのパラメータがかなり複雑である新しいパラメータ効率のソリューションを提供することを確認した。
関連論文リスト
- Dynamical Measure Transport and Neural PDE Solvers for Sampling [77.38204731939273]
本研究では, 対象物へのトラクタブル密度関数の移動として, 確率密度からサンプリングする作業に取り組む。
物理インフォームドニューラルネットワーク(PINN)を用いて各偏微分方程式(PDE)の解を近似する。
PINNはシミュレーションと離散化のない最適化を可能にし、非常に効率的に訓練することができる。
論文 参考訳（メタデータ） (2024-07-10T17:39:50Z) - Diffusion Tempering Improves Parameter Estimation with Probabilistic Integrators for Ordinary Differential Equations [34.500484733973536]
通常微分方程式(ODE)は科学の力学系を記述するために広く用いられているが、実験的な測定を説明するパラメータを特定することは困難である。
本稿では,ODEにおける勾配に基づくパラメータ最適化の収束性を改善する確率的数値法の新しい正規化手法である拡散テンパリングを提案する。
本手法は複雑性の異なる力学系に対して有効であることを示すとともに,実際に関連するパラメータ数を持つHodgkin-Huxleyモデルに対して,信頼性の高いパラメータ推定値が得られることを示す。
論文 参考訳（メタデータ） (2024-02-19T15:36:36Z) - Kernelised Normalising Flows [10.31916245015817]
正規化フローは、密度推定と生成の二重能力によって特徴づけられる非パラメトリック統計モデルである。
本稿では,カーネルをフレームワークに統合する新しいカーネル正規化フローパラダイムであるFerumal Flowを紹介する。
論文 参考訳（メタデータ） (2023-07-27T13:18:52Z) - D4FT: A Deep Learning Approach to Kohn-Sham Density Functional Theory [79.50644650795012]
コーンシャム密度汎関数論(KS-DFT)を解くための深層学習手法を提案する。
このような手法はSCF法と同じ表現性を持つが,計算複雑性は低下する。
さらに,本手法により,より複雑なニューラルベース波動関数の探索が可能となった。
論文 参考訳（メタデータ） (2023-03-01T10:38:10Z) - Reduced order modeling of parametrized systems through autoencoders and
SINDy approach: continuation of periodic solutions [0.0]
本研究は,ROM構築と動的識別の低減を組み合わせたデータ駆動型非侵入型フレームワークを提案する。
提案手法は、非線形力学(SINDy)のパラメトリックスパース同定によるオートエンコーダニューラルネットワークを利用して、低次元力学モデルを構築する。
これらは、システムパラメータの関数として周期的定常応答の進化を追跡し、過渡位相の計算を避け、不安定性と分岐を検出することを目的としている。
論文 参考訳（メタデータ） (2022-11-13T01:57:18Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - Physics-constrained deep neural network method for estimating parameters
in a redox flow battery [68.8204255655161]
バナジウムフローバッテリ(VRFB)のゼロ次元(0D)モデルにおけるパラメータ推定のための物理拘束型ディープニューラルネットワーク(PCDNN)を提案する。
そこで, PCDNN法は, 動作条件のモデルパラメータを推定し, 電圧の0Dモデル予測を改善することができることを示す。
また,PCDNNアプローチでは,トレーニングに使用しない操作条件のパラメータ値を推定する一般化能力が向上することが実証された。
論文 参考訳（メタデータ） (2021-06-21T23:42:58Z) - Bayesian multiscale deep generative model for the solution of
high-dimensional inverse problems [0.0]
深層確率的生成モデルに基づく新しいマルチスケールベイズ推論手法が導入された。
この方法は、安定性、効率、精度を示しながら、高次元パラメータ推定を可能にする。
論文 参考訳（メタデータ） (2021-02-04T11:47:21Z) - Adaptive Physics-Informed Neural Networks for Markov-Chain Monte Carlo [2.741266294612776]
確率関数の計算にPDEを解く必要があるパラメータ推定問題に焦点をあてる。
提案手法は,(1)フォワードモデルへの近似としてオフラインPINN-UQモデルを構築し,(2)MCMCサンプルから生成されたサンプルを用いて,この近似モデルをフライで精製する。
本稿では,ポアソン方程式に支配されるシステムのパラメータ推定問題の解法として,提案手法の性能を数値的に示す。
論文 参考訳（メタデータ） (2020-08-03T15:25:10Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。
フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。
既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文 参考訳（メタデータ） (2019-10-31T02:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。