Fugu-MT 論文翻訳(概要): Normalizing flow neural networks by JKO scheme

論文の概要: Normalizing flow neural networks by JKO scheme

arxiv url: http://arxiv.org/abs/2212.14424v4
Date: Fri, 16 Feb 2024 02:13:06 GMT
ステータス: 処理完了
システム内更新日: 2024-02-19 21:17:35.804486
Title: Normalizing flow neural networks by JKO scheme
Title（参考訳）: JKOスキームによる流れニューラルネットワークの正規化
Authors: Chen Xu, Xiuyuan Cheng, Yao Xie
Abstract要約: 我々はJKO-iFlowと呼ばれるニューラルネットワークを開発し、Jordan-Kinderleherer-Ottoスキームに触発された。提案手法は,残余ブロックを次々と積み重ねることにより,残余ブロックの効率的なブロックワイズ訓練を可能にする。合成および実データを用いた実験により,提案したJKO-iFlowネットワークが競合性能を発揮することが示された。
参考スコア（独自算出の注目度）: 22.320632565424745
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Normalizing flow is a class of deep generative models for efficient sampling and likelihood estimation, which achieves attractive performance, particularly in high dimensions. The flow is often implemented using a sequence of invertible residual blocks. Existing works adopt special network architectures and regularization of flow trajectories. In this paper, we develop a neural ODE flow network called JKO-iFlow, inspired by the Jordan-Kinderleherer-Otto (JKO) scheme, which unfolds the discrete-time dynamic of the Wasserstein gradient flow. The proposed method stacks residual blocks one after another, allowing efficient block-wise training of the residual blocks, avoiding sampling SDE trajectories and score matching or variational learning, thus reducing the memory load and difficulty in end-to-end training. We also develop adaptive time reparameterization of the flow network with a progressive refinement of the induced trajectory in probability space to improve the model accuracy further. Experiments with synthetic and real data show that the proposed JKO-iFlow network achieves competitive performance compared with existing flow and diffusion models at a significantly reduced computational and memory cost.
Abstract（参考訳）: 正規化フローは効率的なサンプリングと推定のための深層生成モデルのクラスであり、特に高次元において魅力的な性能を達成する。フローは、しばしば可逆的残留ブロックの列を使って実装される。既存の作業では、特別なネットワークアーキテクチャとフロートラジェクトリの正規化が採用されている。本稿では、ワッサーシュタイン勾配流の離散時間力学を展開させるJordan-Kinderleherer-Otto(JKO)スキームにインスパイアされた、JKO-iFlowと呼ばれるニューラルODEフローネットワークを開発する。提案手法は残差ブロックを次々と積み重ねることで,残差ブロックの効率的なブロックワイドトレーニングを可能にし,SDEトラジェクトリのサンプリングやスコアマッチングや変動学習を回避し,エンドツーエンドトレーニングにおけるメモリ負荷と難易度を低減する。また,確率空間における誘導軌道の漸進的改善によるフローネットワークの適応時間パラメータ化を開発し,モデル精度をさらに向上する。合成および実データを用いた実験により,提案するjko-iflowネットワークは,計算コストとメモリコストを大幅に削減し,既存のフローモデルや拡散モデルと比較して競合性能が向上することを示した。

関連論文リスト

Adaptive Anomaly Detection in Network Flows with Low-Rank Tensor Decompositions and Deep Unrolling [9.20186865054847]
異常検出(AD)は、将来の通信システムのレジリエンスを確保するための重要な要素として、ますます認識されている。この研究は、不完全測定を用いたネットワークフローにおけるADについて考察する。本稿では,正規化モデル適合性に基づくブロック帰属凸近似アルゴリズムを提案する。ベイズ的アプローチに触発されて、我々はモデルアーキテクチャを拡張し、フローごとのオンライン適応とステップごとの統計処理を行う。
論文参考訳（メタデータ） (2024-09-17T19:59:57Z)
On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
論文参考訳（メタデータ） (2024-05-18T15:59:41Z)
Free-form Flows: Make Any Architecture a Normalizing Flow [8.163244519983298]
本研究では,変数の変動の勾配を効率的に推定する訓練手法を開発した。これにより、任意の次元保存ニューラルネットワークが、最大限のトレーニングを通じて生成モデルとして機能することが可能になる。我々は$E(n)$-equivariantネットワークを用いた分子生成ベンチマークにおいて優れた結果を得た。
論文参考訳（メタデータ） (2023-10-25T13:23:08Z)
FedDIP: Federated Learning with Extreme Dynamic Pruning and Incremental Regularization [5.182014186927254]
大規模Deep Neural Networks(DNN)の分散トレーニングと推論にFL(Federated Learning)が成功している。我々は、(i)動的プルーニングとエラーフィードバックを組み合わせて冗長な情報交換を排除する新しいFLフレームワーク(Coined FedDIP)にコントリビュートする。我々は、FedDIPの収束解析と総合的な性能について報告し、最先端手法との比較評価を行う。
論文参考訳（メタデータ） (2023-09-13T08:51:19Z)
AccFlow: Backward Accumulation for Long-Range Optical Flow [70.4251045372285]
本稿では、長距離光フロー推定のためのAccFlowと呼ばれる新しいリカレントフレームワークを提案する。従来の前方累積よりも後方累積の方が優れていることを示す。長距離光流量推定におけるAccFlowの有効性を検証する実験
論文参考訳（メタデータ） (2023-08-25T01:51:26Z)
Training Energy-Based Normalizing Flow with Score-Matching Objectives [36.0810550035231]
エネルギーベース正規化フロー(EBFlow)と呼ばれる新しいフローベースモデリング手法を提案する。本研究では,EBFlowをスコアマッチング目的に最適化することにより,線形変換に対するヤコビ行列式の計算を完全に回避できることを実証する。
論文参考訳（メタデータ） (2023-05-24T15:54:29Z)
Manifold Interpolating Optimal-Transport Flows for Trajectory Inference [64.94020639760026]
最適輸送流(MIOFlow)を補間するマニフォールド補間法を提案する。 MIOFlowは、散発的なタイムポイントで撮影された静的スナップショットサンプルから、連続的な人口動態を学習する。本手法は, 胚体分化および急性骨髄性白血病の治療から得られたscRNA-seqデータとともに, 分岐とマージによるシミュレーションデータについて検討した。
論文参考訳（メタデータ） (2022-06-29T22:19:03Z)
Deep Equilibrium Optical Flow Estimation [80.80992684796566]
最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
論文参考訳（メタデータ） (2022-04-18T17:53:44Z)
GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
光フロー推定学習のためのGMFlowフレームワークを提案する。機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
論文参考訳（メタデータ） (2021-11-26T18:59:56Z)
Self Normalizing Flows [65.73510214694987]
本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
論文参考訳（メタデータ） (2020-11-14T09:51:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。