Fugu-MT 論文翻訳(概要): Invertible normalizing flow neural networks by JKO scheme

論文の概要: Invertible normalizing flow neural networks by JKO scheme

arxiv url: http://arxiv.org/abs/2212.14424v1
Date: Thu, 29 Dec 2022 18:55:00 GMT
ステータス: 処理完了
システム内更新日: 2023-01-02 15:47:20.264727
Title: Invertible normalizing flow neural networks by JKO scheme
Title（参考訳）: JKOスキームによる可逆正規化フローニューラルネットワーク
Authors: Chen Xu, Xiuyuan Cheng, Yao Xie
Abstract要約: そこで我々はJordan-Kinderleherer-OttoスキームにインスパイアされたニューラルODEフローネットワークを開発した。提案モデルでは,残余ネットワークブロックを1対1でスタックし,メモリ負荷を低減し,エンドツーエンドのトレーニングを行うのが困難である。提案したJKO-iFlowモデルでは,既存の流れモデルや拡散モデルと比較して,新しいサンプルの生成において類似あるいは良好な性能が得られることを示す。
参考スコア（独自算出の注目度）: 22.140275054568985
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Normalizing flow is a class of deep generative models for efficient sampling and density estimation. In practice, the flow often appears as a chain of invertible neural network blocks; to facilitate training, existing works have regularized flow trajectories and designed special network architectures. The current paper develops a neural ODE flow network inspired by the Jordan-Kinderleherer-Otto (JKO) scheme, which allows efficient block-wise training of the residual blocks and avoids inner loops of score matching or variational learning. As the JKO scheme unfolds the dynamic of gradient flow, the proposed model naturally stacks residual network blocks one-by-one, reducing the memory load and difficulty of performing end-to-end training of deep flow networks. We also develop adaptive time reparameterization of the flow network with a progressive refinement of the trajectory in probability space, which improves the model training efficiency and accuracy in practice. Using numerical experiments with synthetic and real data, we show that the proposed JKO-iFlow model achieves similar or better performance in generating new samples compared with existing flow and diffusion models at a significantly reduced computational and memory cost.
Abstract（参考訳）: 正規化フローは、効率的なサンプリングと密度推定のための深層生成モデルのクラスである。トレーニングを容易にするために、既存の作品には正規化されたフロー軌跡があり、特別なネットワークアーキテクチャが設計されている。本論文は,Jordan-Kinderleherer-Otto (JKO) スキームにインスパイアされたニューラルODEフローネットワークを開発し,残余ブロックの効率的なブロックワイズトレーニングを可能にし,スコアマッチングや変分学習の内ループを回避する。 JKO スキームは勾配流の力学を展開させるため,提案モデルでは,残差ブロックを1対1で積み重ねることで,メモリ負荷を低減し,深層流網のエンドツーエンドトレーニングを行うのが困難である。また,確率空間における軌道の漸進的改善によるフローネットワークの適応時間再パラメータ化も実現し,モデルの訓練効率と精度を向上させる。合成および実データを用いた数値実験により, 提案したJKO-iFlowモデルでは, 既存のフローモデルや拡散モデルと比較して, 計算・メモリコストを大幅に削減した新しいサンプルの生成において, 類似あるいは良好な性能が得られることを示す。

関連論文リスト

Adaptive Anomaly Detection in Network Flows with Low-Rank Tensor Decompositions and Deep Unrolling [9.20186865054847]
異常検出(AD)は、将来の通信システムのレジリエンスを確保するための重要な要素として、ますます認識されている。この研究は、不完全測定を用いたネットワークフローにおけるADについて考察する。本稿では,正規化モデル適合性に基づくブロック帰属凸近似アルゴリズムを提案する。ベイズ的アプローチに触発されて、我々はモデルアーキテクチャを拡張し、フローごとのオンライン適応とステップごとの統計処理を行う。
論文参考訳（メタデータ） (2024-09-17T19:59:57Z)
On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
論文参考訳（メタデータ） (2024-05-18T15:59:41Z)
Free-form Flows: Make Any Architecture a Normalizing Flow [8.163244519983298]
本研究では,変数の変動の勾配を効率的に推定する訓練手法を開発した。これにより、任意の次元保存ニューラルネットワークが、最大限のトレーニングを通じて生成モデルとして機能することが可能になる。我々は$E(n)$-equivariantネットワークを用いた分子生成ベンチマークにおいて優れた結果を得た。
論文参考訳（メタデータ） (2023-10-25T13:23:08Z)
FedDIP: Federated Learning with Extreme Dynamic Pruning and Incremental Regularization [5.182014186927254]
大規模Deep Neural Networks(DNN)の分散トレーニングと推論にFL(Federated Learning)が成功している。我々は、(i)動的プルーニングとエラーフィードバックを組み合わせて冗長な情報交換を排除する新しいFLフレームワーク(Coined FedDIP)にコントリビュートする。我々は、FedDIPの収束解析と総合的な性能について報告し、最先端手法との比較評価を行う。
論文参考訳（メタデータ） (2023-09-13T08:51:19Z)
AccFlow: Backward Accumulation for Long-Range Optical Flow [70.4251045372285]
本稿では、長距離光フロー推定のためのAccFlowと呼ばれる新しいリカレントフレームワークを提案する。従来の前方累積よりも後方累積の方が優れていることを示す。長距離光流量推定におけるAccFlowの有効性を検証する実験
論文参考訳（メタデータ） (2023-08-25T01:51:26Z)
Training Energy-Based Normalizing Flow with Score-Matching Objectives [36.0810550035231]
エネルギーベース正規化フロー(EBFlow)と呼ばれる新しいフローベースモデリング手法を提案する。本研究では,EBFlowをスコアマッチング目的に最適化することにより,線形変換に対するヤコビ行列式の計算を完全に回避できることを実証する。
論文参考訳（メタデータ） (2023-05-24T15:54:29Z)
Manifold Interpolating Optimal-Transport Flows for Trajectory Inference [64.94020639760026]
最適輸送流(MIOFlow)を補間するマニフォールド補間法を提案する。 MIOFlowは、散発的なタイムポイントで撮影された静的スナップショットサンプルから、連続的な人口動態を学習する。本手法は, 胚体分化および急性骨髄性白血病の治療から得られたscRNA-seqデータとともに, 分岐とマージによるシミュレーションデータについて検討した。
論文参考訳（メタデータ） (2022-06-29T22:19:03Z)
Deep Equilibrium Optical Flow Estimation [80.80992684796566]
最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
論文参考訳（メタデータ） (2022-04-18T17:53:44Z)
GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
光フロー推定学習のためのGMFlowフレームワークを提案する。機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
論文参考訳（メタデータ） (2021-11-26T18:59:56Z)
Self Normalizing Flows [65.73510214694987]
本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
論文参考訳（メタデータ） (2020-11-14T09:51:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。