論文の概要: Discrete Flow Matching

• arxiv url: http://arxiv.org/abs/2407.15595v2
• Date: Tue, 5 Nov 2024 10:02:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 15:45:25.696962
• Title: Discrete Flow Matching
• Title（参考訳）: 離散フローマッチング
• Authors: Itai Gat, Tal Remez, Neta Shaul, Felix Kreuk, Ricky T. Q. Chen, Gabriel Synnaeve, Yossi Adi, Yaron Lipman,
• Abstract要約: 本稿では,離散データ生成に特化して設計された新しい離散フローパラダイムを提案する。 我々のアプローチは、非自己回帰的な方法で高品質な離散データを生成することができる。
• 参考スコア（独自算出の注目度）: 74.04153927689313
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite Flow Matching and diffusion models having emerged as powerful generative paradigms for continuous variables such as images and videos, their application to high-dimensional discrete data, such as language, is still limited. In this work, we present Discrete Flow Matching, a novel discrete flow paradigm designed specifically for generating discrete data. Discrete Flow Matching offers several key contributions:(i) it works with a general family of probability paths interpolating between source and target distributions; (ii) it allows for a generic formula for sampling from these probability paths using learned posteriors such as the probability denoiser ($x$-prediction) and noise-prediction ($\epsilon$-prediction); (iii) practically, focusing on specific probability paths defined with different schedulers improves generative perplexity compared to previous discrete diffusion and flow models; and (iv) by scaling Discrete Flow Matching models up to 1.7B parameters, we reach 6.7% Pass@1 and 13.4% Pass@10 on HumanEval and 6.7% Pass@1 and 20.6% Pass@10 on 1-shot MBPP coding benchmarks. Our approach is capable of generating high-quality discrete data in a non-autoregressive fashion, significantly closing the gap between autoregressive models and discrete flow models.
• Abstract（参考訳）: フローマッチングや拡散モデルは、画像やビデオのような連続変数の強力な生成パラダイムとして登場したが、言語のような高次元の離散データへの応用は依然として限られている。 本稿では,離散データ生成に特化して設計された離散フローパラダイムである離散フローマッチングについて述べる。 離散フローマッチングは、いくつかの重要なコントリビューションを提供する。 (i)ソースとターゲットの分布を補間する確率経路の一般ファミリーで動作する。 (ii)確率分解器(x$-prediction)やノイズ予測(\epsilon$-prediction)などの学習後続法を用いて、これらの確率経路からサンプリングするための一般的な式を作成できる。 三 概して、異なるスケジューラで定義された特定の確率経路に焦点をあてることにより、従来の離散拡散流モデルと比較して、生成的パープレキシティが向上する。 (iv) 離散フローマッチングモデルを1.7Bパラメータにスケールすることで、HumanEvalでは6.7% Pass@1、13.4% Pass@10、1ショットMBPPコーディングベンチマークでは6.7% Pass@1、20.6% Pass@10に達する。 非自己回帰的な方法で高品質な離散データを生成することができ、自己回帰モデルと離散フローモデルとのギャップを著しく縮めることができる。

関連論文リスト

• Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion [61.03681839276652]
  拡散強制(Diffusion Forcing)は、拡散モデルをトレーニングし、トークンの集合に独立した音レベルを付与する、新たなトレーニングパラダイムである。 因果的次トーケン予測モデルを訓練して1つまたは複数の未来のトークンを生成することで、シーケンス生成モデルに拡散強制を適用する。
  論文  参考訳（メタデータ） (2024-07-01T15:43:25Z)
• Bayesian Flow Networks [4.585102332532472]
  本稿では,ベイジアン・フロー・ネットワーク(BFN)について述べる。ベイジアン・フロー・ネットワーク(BFN)は,独立分布の集合のパラメータをベイジアン推論で修正した新しい生成モデルである。 単純な事前および反復的な2つの分布の更新から始めると、拡散モデルの逆過程に似た生成手順が得られる。 BFNは動的にバイナライズされたMNISTとCIFAR-10で画像モデリングを行うために競合するログライクフレーションを実現し、text8文字レベルの言語モデリングタスクにおいて既知のすべての離散拡散モデルより優れている。
  論文  参考訳（メタデータ） (2023-08-14T09:56:35Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• The Score-Difference Flow for Implicit Generative Modeling [1.309716118537215]
  Inlicit Generative Modelingは、対象データ分布と一致する合成データのサンプルを作成することを目的としている。 最近の研究は、合成音源データをターゲット分布へプッシュする観点から、IGG問題にアプローチしている。 任意のターゲット分布とソース分布のスコア差を,Kulback-Leibler分散を最適に低減するフローとして提示する。
  論文  参考訳（メタデータ） (2023-04-25T15:21:12Z)
• Stochastic Interpolants: A Unifying Framework for Flows and Diffusions [16.95541777254722]
  フローベースおよび拡散ベースを統一する生成モデルのクラスを紹介する。 これらのモデルは、Albergo & VandenEijnden (2023) で提案されたフレームワークを拡張し、確率補間子と呼ばれる広範囲の連続時間プロセスの使用を可能にする。 これらの補間材は、2つの所定の密度のデータと、橋を柔軟に形作る追加の潜伏変数を組み合わせることで構築される。
  論文  参考訳（メタデータ） (2023-03-15T17:43:42Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Matching Normalizing Flows and Probability Paths on Manifolds [57.95251557443005]
  連続正規化フロー (Continuous Normalizing Flows, CNFs) は、常微分方程式(ODE)を解くことによって、先行分布をモデル分布に変換する生成モデルである。 我々は,CNFが生成する確率密度パスと目標確率密度パスとの間に生じる新たな分岐系であるPPDを最小化して,CNFを訓練することを提案する。 PPDの最小化によって得られたCNFは、既存の低次元多様体のベンチマークにおいて、その可能性とサンプル品質が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-11T08:50:19Z)
• Sparse Communication via Mixed Distributions [29.170302047339174]
  我々は「混合確率変数」の理論基盤を構築する。 本フレームワークは,混合確率変数の表現とサンプリングのための2つの戦略を提案する。 我々は、創発的な通信ベンチマークにおいて、両方のアプローチを実験する。
  論文  参考訳（メタデータ） (2021-08-05T14:49:03Z)
• Discrete Denoising Flows [87.44537620217673]
  分類的確率変数に対する離散的フローベースモデル(DDF)を提案する。 他の離散フローベースモデルとは対照的に、我々のモデルは勾配バイアスを導入することなく局所的に訓練することができる。 そこで本研究では, DDFs が離散フローより優れていることを示し, 対数類似度で測定した2値MNIST と Cityscapes のセグメンテーションマップをモデル化した。
  論文  参考訳（メタデータ） (2021-07-24T14:47:22Z)
• Variational Mixture of Normalizing Flows [0.0]
  生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。 正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。 本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
  論文  参考訳（メタデータ） (2020-09-01T17:20:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。