論文の概要: Local Flow Matching Generative Models

• arxiv url: http://arxiv.org/abs/2410.02548v2
• Date: Tue, 31 Dec 2024 01:50:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-03 17:39:31.560736
• Title: Local Flow Matching Generative Models
• Title（参考訳）: 局所フローマッチング生成モデル
• Authors: Chen Xu, Xiuyuan Cheng, Yao Xie,
• Abstract要約: 局所フローマッチング(Local Flow Matching)は、フローベース生成モデルに基づく密度推定のための計算フレームワークである。 $textttLFM$はシミュレーション不要のスキームを採用し、フローマッチングサブモデルのシーケンスを漸進的に学習する。 FMと比較して, $textttLFM$ のトレーニング効率と競争的生成性能の改善を実証した。
• 参考スコア（独自算出の注目度）: 19.859984725284896
• License:
• Abstract: Density estimation is a fundamental problem in statistics and machine learning. We consider a modern approach using flow-based generative models, and propose Local Flow Matching ($\texttt{LFM}$), a computational framework for density estimation based on such models, which learn a continuous and invertible flow to map noise samples to data samples. Unlike existing methods, $\texttt{LFM}$ employs a simulation-free scheme and incrementally learns a sequence of Flow Matching sub-models. Each sub-model matches a diffusion process over a small step size in the data-to-noise direction. This iterative process reduces the gap between the two distributions interpolated by the sub-models, enabling smaller models with faster training times. Theoretically, we prove a generation guarantee of the proposed flow model regarding the $\chi^2$-divergence between the generated and true data distributions. Experimentally, we demonstrate the improved training efficiency and competitive generative performance of $\texttt{LFM}$ compared to FM on the unconditional generation of tabular data and image datasets and its applicability to robotic manipulation policy learning.
• Abstract（参考訳）: 密度推定は統計学と機械学習の基本的な問題である。 本稿では,フローベース生成モデルを用いた現代的な手法を検討するとともに,そのようなモデルに基づく密度推定のための計算フレームワークであるローカルフローマッチング($\texttt{LFM}$)を提案し,連続的かつ可逆的な流れを学習して,ノイズサンプルをデータサンプルにマッピングする。 既存のメソッドとは異なり、$\texttt{LFM}$はシミュレーションのないスキームを採用し、フローマッチングサブモデルのシーケンスを漸進的に学習する。 各サブモデルは、データ・ツー・ノイズ方向の小さなステップサイズの拡散プロセスと一致する。 この反復的なプロセスは、サブモデルによって補間された2つの分布間のギャップを減らし、より速いトレーニング時間でより小さなモデルを可能にする。 理論的には、生成したデータ分布と真のデータ分布の間の$\chi^2$-divergenceに関するフローモデルの生成を保証する。 実験では,表形式データと画像データセットの無条件生成におけるFMと比較して,$\texttt{LFM}$のトレーニング効率と競争的生成性能の改善と,ロボット操作ポリシー学習への適用性を実証した。

関連論文リスト

• Constrained Diffusion Models via Dual Training [80.03953599062365]
  拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。 所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-08-27T14:25:42Z)
• Informed Correctors for Discrete Diffusion Models [32.87362154118195]
  モデルで学習した情報を活用することにより、より確実に離散化誤差に対処できる情報修正系を提案する。 また,$k$-Gillespie'sも提案する。これは,各モデル評価をよりよく活用するサンプリングアルゴリズムで,$tau$-leapingの速度と柔軟性を引き続き享受する。 いくつかの実・合成データセットにおいて,情報付き修正器を用いた$k$-Gillespieは,より低い計算コストで高い品質のサンプルを確実に生成することを示す。
  論文  参考訳（メタデータ） (2024-07-30T23:29:29Z)
• Provable Statistical Rates for Consistency Diffusion Models [87.28777947976573]
  最先端の性能にもかかわらず、拡散モデルは、多くのステップが伴うため、遅いサンプル生成で知られている。 本稿では, 整合性モデルに関する最初の統計理論に寄与し, 分散不整合最小化問題としてトレーニングを定式化している。
  論文  参考訳（メタデータ） (2024-06-23T20:34:18Z)
• Flow Map Matching [15.520853806024943]
  フローマップマッチングは、基礎となる常微分方程式の2時間フローマップを学習するアルゴリズムである。 フローマップマッチングは, 拡散法や補間法と比較して, サンプリングコストを大幅に削減した高品質なサンプルとなることを示す。
  論文  参考訳（メタデータ） (2024-06-11T17:41:26Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Diffusion-Model-Assisted Supervised Learning of Generative Models for Density Estimation [10.793646707711442]
  本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。 スコアベース拡散モデルを用いてラベル付きデータを生成する。 ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
  論文  参考訳（メタデータ） (2023-10-22T23:56:19Z)
• Bayesian Flow Networks [4.585102332532472]
  本稿では,ベイジアン・フロー・ネットワーク(BFN)について述べる。ベイジアン・フロー・ネットワーク(BFN)は,独立分布の集合のパラメータをベイジアン推論で修正した新しい生成モデルである。 単純な事前および反復的な2つの分布の更新から始めると、拡散モデルの逆過程に似た生成手順が得られる。 BFNは動的にバイナライズされたMNISTとCIFAR-10で画像モデリングを行うために競合するログライクフレーションを実現し、text8文字レベルの言語モデリングタスクにおいて既知のすべての離散拡散モデルより優れている。
  論文  参考訳（メタデータ） (2023-08-14T09:56:35Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Discrete Denoising Flows [87.44537620217673]
  分類的確率変数に対する離散的フローベースモデル(DDF)を提案する。 他の離散フローベースモデルとは対照的に、我々のモデルは勾配バイアスを導入することなく局所的に訓練することができる。 そこで本研究では, DDFs が離散フローより優れていることを示し, 対数類似度で測定した2値MNIST と Cityscapes のセグメンテーションマップをモデル化した。
  論文  参考訳（メタデータ） (2021-07-24T14:47:22Z)
• Variational Mixture of Normalizing Flows [0.0]
  生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。 正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。 本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
  論文  参考訳（メタデータ） (2020-09-01T17:20:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。