論文の概要: Invertible normalizing flow neural networks by JKO scheme
- arxiv url: http://arxiv.org/abs/2212.14424v2
- Date: Thu, 31 Aug 2023 13:06:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-01 20:57:14.003147
- Title: Invertible normalizing flow neural networks by JKO scheme
- Title（参考訳）: JKOスキームによる可逆正規化フローニューラルネットワーク
- Authors: Chen Xu, Xiuyuan Cheng, Yao Xie
- Abstract要約: そこで我々はJordan-Kinderleherer-OttoスキームにインスパイアされたニューラルODEフローネットワークを開発した。
提案モデルでは,残差ネットワークブロックをひとつずつ積み重ねることで,エンド・ツー・エンドのディープ・フロー・ネットワーク・トレーニングを行う際のメモリ負荷と難易度を低減する。
提案したJKO-iFlowモデルでは,既存のフローモデルや拡散モデルと比較して,新しいサンプルの生成において類似あるいは良好な性能が得られることを示す。
- 参考スコア（独自算出の注目度）: 22.320632565424745
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Normalizing flow is a class of deep generative models for efficient sampling
and density estimation. In practice, the flow often appears as a chain of
invertible neural network blocks; to facilitate training, existing works have
regularized flow trajectories and designed special network architectures. The
current paper develops a neural ODE flow network inspired by the
Jordan-Kinderleherer-Otto (JKO) scheme, which allows efficient block-wise
training of the residual blocks without sampling SDE trajectories or inner
loops of score matching or variational learning. As the JKO scheme unfolds the
dynamic of gradient flow, the proposed model naturally stacks residual network
blocks one by one, reducing the memory load and difficulty in performing
end-to-end deep flow network training. We also develop adaptive time
reparameterization of the flow network with a progressive refinement of the
trajectory in probability space, which improves the model training efficiency
and accuracy in practice. Using numerical experiments with synthetic and real
data, we show that the proposed JKO-iFlow model achieves similar or better
performance in generating new samples compared with the existing flow and
diffusion models at a significantly reduced computational and memory cost.
- Abstract（参考訳）: 正規化フローは、効率的なサンプリングと密度推定のための深層生成モデルのクラスである。
トレーニングを容易にするために、既存の作品には正規化されたフロー軌跡があり、特別なネットワークアーキテクチャが設計されている。
本論文は,Jordan-Kinderleherer-Otto (JKO) スキームにインスパイアされたニューラルネットワークを開発し,SDE軌道をサンプリングしたり,スコアマッチングや変動学習の内ループをサンプリングすることなく,残余ブロックの効率的なブロックワイズ訓練を可能にする。
JKO スキームは勾配流の力学を展開させるため,提案モデルでは残差ブロックを1つずつ積み重ね,メモリ負荷を低減し,エンドツーエンドの深層流ネットワークトレーニングを行うのが困難である。
また,確率空間における軌道の漸進的改善によるフローネットワークの適応時間再パラメータ化も実現し,モデルの訓練効率と精度を向上させる。
合成および実データを用いた数値実験により, 提案したJKO-iFlowモデルが, 既存のフローモデルや拡散モデルと比較して, 計算・メモリコストを大幅に低減した新しいサンプルの生成において, 類似あるいは良好な性能を実現することを示す。
関連論文リスト
- Adaptive Anomaly Detection in Network Flows with Low-Rank Tensor Decompositions and Deep Unrolling [9.20186865054847]
異常検出(AD)は、将来の通信システムのレジリエンスを確保するための重要な要素として、ますます認識されている。
この研究は、不完全測定を用いたネットワークフローにおけるADについて考察する。
本稿では,正規化モデル適合性に基づくブロック帰属凸近似アルゴリズムを提案する。
ベイズ的アプローチに触発されて、我々はモデルアーキテクチャを拡張し、フローごとのオンライン適応とステップごとの統計処理を行う。
論文 参考訳（メタデータ） (2024-09-17T19:59:57Z) - On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。
本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
論文 参考訳（メタデータ） (2024-05-18T15:59:41Z) - Free-form Flows: Make Any Architecture a Normalizing Flow [8.163244519983298]
本研究では,変数の変動の勾配を効率的に推定する訓練手法を開発した。
これにより、任意の次元保存ニューラルネットワークが、最大限のトレーニングを通じて生成モデルとして機能することが可能になる。
我々は$E(n)$-equivariantネットワークを用いた分子生成ベンチマークにおいて優れた結果を得た。
論文 参考訳（メタデータ） (2023-10-25T13:23:08Z) - FedDIP: Federated Learning with Extreme Dynamic Pruning and Incremental
Regularization [5.182014186927254]
大規模Deep Neural Networks(DNN)の分散トレーニングと推論にFL(Federated Learning)が成功している。
我々は、(i)動的プルーニングとエラーフィードバックを組み合わせて冗長な情報交換を排除する新しいFLフレームワーク(Coined FedDIP)にコントリビュートする。
我々は、FedDIPの収束解析と総合的な性能について報告し、最先端手法との比較評価を行う。
論文 参考訳（メタデータ） (2023-09-13T08:51:19Z) - AccFlow: Backward Accumulation for Long-Range Optical Flow [70.4251045372285]
本稿では、長距離光フロー推定のためのAccFlowと呼ばれる新しいリカレントフレームワークを提案する。
従来の前方累積よりも後方累積の方が優れていることを示す。
長距離光流量推定におけるAccFlowの有効性を検証する実験
論文 参考訳（メタデータ） (2023-08-25T01:51:26Z) - Training Energy-Based Normalizing Flow with Score-Matching Objectives [36.0810550035231]
エネルギーベース正規化フロー(EBFlow)と呼ばれる新しいフローベースモデリング手法を提案する。
本研究では,EBFlowをスコアマッチング目的に最適化することにより,線形変換に対するヤコビ行列式の計算を完全に回避できることを実証する。
論文 参考訳（メタデータ） (2023-05-24T15:54:29Z) - Manifold Interpolating Optimal-Transport Flows for Trajectory Inference [64.94020639760026]
最適輸送流(MIOFlow)を補間するマニフォールド補間法を提案する。
MIOFlowは、散発的なタイムポイントで撮影された静的スナップショットサンプルから、連続的な人口動態を学習する。
本手法は, 胚体分化および急性骨髄性白血病の治療から得られたscRNA-seqデータとともに, 分岐とマージによるシミュレーションデータについて検討した。
論文 参考訳（メタデータ） (2022-06-29T22:19:03Z) - Deep Equilibrium Optical Flow Estimation [80.80992684796566]
最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。
これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。
暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
論文 参考訳（メタデータ） (2022-04-18T17:53:44Z) - GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
光フロー推定学習のためのGMFlowフレームワークを提案する。
機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。
我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
論文 参考訳（メタデータ） (2021-11-26T18:59:56Z) - Self Normalizing Flows [65.73510214694987]
本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。
これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。
実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
論文 参考訳（メタデータ） (2020-11-14T09:51:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。