論文の概要: Minibatch Optimal Transport and Perplexity Bound Estimation in Discrete Flow Matching

• arxiv url: http://arxiv.org/abs/2411.00759v2
• Date: Wed, 13 Nov 2024 20:48:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-15 15:22:57.882663
• Title: Minibatch Optimal Transport and Perplexity Bound Estimation in Discrete Flow Matching
• Title（参考訳）: 離散流整合におけるミニバッチ最適輸送とパープレキシティ境界推定
• Authors: Etrit Haxholli, Yeti Z. Gürbüz, Oğul Can, Eli Waxman,
• Abstract要約: テキストデータなどの分類データ分布における自己回帰モデルの性能は、連続拡散とフローモデルでは依然として困難である。 対流補間剤を用いた離散流に対する動的最適輸送様最小化法を提案する。 連続フローとは異なり、変数の即時変化は密度推定を可能にするが、離散モデルは固有の非決定性や経路の不連続性のために同様のメカニズムを欠いている。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Outperforming autoregressive models on categorical data distributions, such as textual data, remains challenging for continuous diffusion and flow models. Discrete flow matching, a recent framework for modeling categorical data, has shown competitive performance with autoregressive models. Despite its similarities with continuous flow matching, the rectification strategy applied in the continuous version does not directly extend to the discrete one due to the inherent stochasticity of discrete paths. This limitation necessitates exploring alternative methods to minimize state transitions during generation. To address this, we propose a dynamic-optimal-transport-like minimization objective for discrete flows with convex interpolants and derive its equivalent Kantorovich formulation. The latter defines transport cost solely in terms of inter-state similarity and is optimized using a minibatch strategy. Another limitation we address in the discrete flow framework is model evaluation. Unlike continuous flows, wherein the instantaneous change of variables enables density estimation, discrete models lack a similar mechanism due to the inherent non-determinism and discontinuity of their paths. To alleviate this issue, we propose an upper bound on the perplexity of discrete flow models, enabling performance evaluation and comparison with other methods.
• Abstract（参考訳）: テキストデータなどの分類データ分布における自己回帰モデルの性能は、連続拡散とフローモデルでは依然として困難である。 分類データをモデリングするための最近のフレームワークである離散フローマッチングは、自動回帰モデルと競合する性能を示している。 連続フローマッチングと類似しているにもかかわらず、連続バージョンで適用された補正戦略は離散パスの固有の確率性のため、直接離散に拡張されない。 この制限は、生成中の状態遷移を最小化する代替方法を模索する必要がある。 そこで本研究では, 対流補間剤を用いた離散流の動的最適輸送様最小化目標を提案し, 等価なカントロビッチの定式化を導出する。 後者は、状態間類似性の観点からのみ輸送コストを定義し、ミニバッチ戦略を用いて最適化されている。 離散フローフレームワークにおけるもう1つの制限は、モデル評価である。 連続フローとは異なり、変数の即時変化は密度推定を可能にするが、離散モデルは固有の非決定性や経路の不連続性のために同様のメカニズムを欠いている。 この問題を軽減するために、離散フローモデルのパープレキシティの上限を提案し、性能評価と他の手法との比較を可能にする。

関連論文リスト

• Conditional Lagrangian Wasserstein Flow for Time Series Imputation [3.914746375834628]
  本研究では,条件付きラグランジアンワッサースタイン流という時系列計算法を提案する。 提案手法は(条件付き)最適輸送理論を利用して,シミュレーションのない方法で確率流を学習する。 実単語データセットを用いた実験結果から,提案手法は時系列計算における競合性能を実現することが示された。
  論文  参考訳（メタデータ） (2024-10-10T02:46:28Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• Stochastic Interpolants: A Unifying Framework for Flows and Diffusions [16.95541777254722]
  フローベースおよび拡散ベースを統一する生成モデルのクラスを紹介する。 これらのモデルは、Albergo & VandenEijnden (2023) で提案されたフレームワークを拡張し、確率補間子と呼ばれる広範囲の連続時間プロセスの使用を可能にする。 これらの補間材は、2つの所定の密度のデータと、橋を柔軟に形作る追加の潜伏変数を組み合わせることで構築される。
  論文  参考訳（メタデータ） (2023-03-15T17:43:42Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Manifold Interpolating Optimal-Transport Flows for Trajectory Inference [64.94020639760026]
  最適輸送流(MIOFlow)を補間するマニフォールド補間法を提案する。 MIOFlowは、散発的なタイムポイントで撮影された静的スナップショットサンプルから、連続的な人口動態を学習する。 本手法は, 胚体分化および急性骨髄性白血病の治療から得られたscRNA-seqデータとともに, 分岐とマージによるシミュレーションデータについて検討した。
  論文  参考訳（メタデータ） (2022-06-29T22:19:03Z)
• Attentive Contractive Flow with Lipschitz-constrained Self-Attention [25.84621883831624]
  注意的収縮フロー(ACF)と呼ばれる新しいアプローチを導入する。 ACFは、フローベースの生成モデル - 収縮フロー - の特別なカテゴリを利用する。 我々は, ACFをプラグアンドプレイ方式で, 各種のアートフローモデルに導入できることを実証した。
  論文  参考訳（メタデータ） (2021-09-24T18:02:49Z)
• Discrete Denoising Flows [87.44537620217673]
  分類的確率変数に対する離散的フローベースモデル(DDF)を提案する。 他の離散フローベースモデルとは対照的に、我々のモデルは勾配バイアスを導入することなく局所的に訓練することができる。 そこで本研究では, DDFs が離散フローより優れていることを示し, 対数類似度で測定した2値MNIST と Cityscapes のセグメンテーションマップをモデル化した。
  論文  参考訳（メタデータ） (2021-07-24T14:47:22Z)
• Comparing Probability Distributions with Conditional Transport [63.11403041984197]
  新しい発散として条件輸送(CT)を提案し、償却されたCT(ACT)コストと近似します。 ACTは条件付き輸送計画の計算を補正し、計算が容易な非バイアスのサンプル勾配を持つ。 さまざまなベンチマークデータセットのジェネレーティブモデリングでは、既存のジェネレーティブ敵対ネットワークのデフォルトの統計距離をACTに置き換えることで、一貫してパフォーマンスを向上させることが示されています。
  論文  参考訳（メタデータ） (2020-12-28T05:14:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。