論文の概要: $α$-Flow: A Unified Framework for Continuous-State Discrete Flow Matching Models
- arxiv url: http://arxiv.org/abs/2504.10283v1
- Date: Mon, 14 Apr 2025 14:51:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-15 16:55:03.298471
- Title: $α$-Flow: A Unified Framework for Continuous-State Discrete Flow Matching Models
- Title（参考訳）: $α$-Flow: 連続状態離散フローマッチングモデルのための統一フレームワーク
- Authors: Chaoran Cheng, Jiahan Li, Jiajun Fan, Ge Liu,
- Abstract要約: この研究は、連続状態離散フローマッチングモデルのための統一されたフレームワークを提示します。
統計多様体の標準 $alpha$-geometry に固執する CS-DFM モデルのファミリである $alpha$-Flow を導入する。
我々は,$alpha$-flowのフローマッチング損失が,離散的な負の対数類似度に対して統一的な変動境界を確立することを示す。
- 参考スコア（独自算出の注目度）: 8.705749038874137
- License:
- Abstract: Recent efforts have extended the flow-matching framework to discrete generative modeling. One strand of models directly works with the continuous probabilities instead of discrete tokens, which we colloquially refer to as Continuous-State Discrete Flow Matching (CS-DFM). Existing CS-DFM models differ significantly in their representations and geometric assumptions. This work presents a unified framework for CS-DFM models, under which the existing variants can be understood as operating on different $\alpha$-representations of probabilities. Building upon the theory of information geometry, we introduce $\alpha$-Flow, a family of CS-DFM models that adheres to the canonical $\alpha$-geometry of the statistical manifold, and demonstrate its optimality in minimizing the generalized kinetic energy. Theoretically, we show that the flow matching loss for $\alpha$-flow establishes a unified variational bound for the discrete negative log-likelihood. We comprehensively evaluate different instantiations of $\alpha$-flow on various discrete generation domains to demonstrate their effectiveness in discrete generative modeling, including intermediate values whose geometries have never been explored before. $\alpha$-flow significantly outperforms its discrete-state counterpart in image and protein sequence generation and better captures the entropy in language modeling.
- Abstract（参考訳）: 近年の取り組みは、フローマッチングフレームワークを離散生成モデルに拡張している。
モデルの1つのストランドは、離散トークンの代わりに連続確率で直接動作し、連続状態離散フローマッチング (continuous-State Discrete Flow Matching, CS-DFM) と呼ぶ。
既存のCS-DFMモデルは、それらの表現と幾何学的仮定で大きく異なる。
この研究はCS-DFMモデルのための統一的なフレームワークを示し、既存の変種は異なる$\alpha$-representations of probabilitiesで操作できる。
情報幾何学の理論に基づいて、統計多様体の標準$\alpha$-geometryに従属するCS-DFMモデルのファミリである$\alpha$-Flowを導入し、一般化された運動エネルギーの最小化におけるその最適性を示す。
理論的には、$\alpha$-flowのフローマッチング損失は、離散的な負の対数類似度に対して統一的な変動境界を確立する。
様々な離散生成領域における$\alpha$-flowの異なるインスタンス化を包括的に評価し、ジオメトリがこれまで探索されたことのない中間値を含む離散生成モデリングにおけるそれらの効果を実証する。
$\alpha$-flowは、画像およびタンパク質配列生成において、その離散状態よりも大幅に優れており、言語モデリングにおけるエントロピーをよりよく捉えている。
関連論文リスト
- Preconditioned Inexact Stochastic ADMM for Deep Model [35.37705488695026]
本稿では,拡張性のある並列計算を可能にするアルゴリズム PISA を開発し,様々な第2モーメント方式をサポートする。
厳密な理論的な保証の下で、アルゴリズムは勾配のリプシッツの唯一の仮定の下で収束する。
視覚モデル、大規模言語モデル、強化学習モデル、生成的敵ネットワーク、繰り返しニューラルネットワークを含む様々なFMの総合的または微調整実験は、様々な最先端の方向と比較して優れた数値性能を示す。
論文 参考訳（メタデータ） (2025-02-15T12:28:51Z) - Categorical Flow Matching on Statistical Manifolds [12.646272756981672]
本稿では,情報幾何学に着想を得たパラメータ化確率尺度の多様体上でのフローマッチングフレームワークを提案する。
我々は,多様体間の微分同相法により数値安定性を克服する効率的なトレーニングとサンプリングアルゴリズムを開発した。
我々は、SFMが、既存のモデルがしばしば失敗するような統計多様体上でより複雑なパターンを学習できることを示した。
論文 参考訳（メタデータ） (2024-05-26T05:50:39Z) - Convergence Analysis of Discrete Diffusion Model: Exact Implementation
through Uniformization [17.535229185525353]
連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。
我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
論文 参考訳（メタデータ） (2024-02-12T22:26:52Z) - Generative Flows on Discrete State-Spaces: Enabling Multimodal Flows with Applications to Protein Co-Design [37.634098563033795]
本稿では、フローベース生成モデルの実現に欠落したリンクを提供する離散データのフローベースモデルを提案する。
私たちの重要な洞察は、連続時間マルコフ連鎖を用いて連続空間フローマッチングの離散的等価性を実現できるということです。
この能力をタンパク質共設計のタスクに適用し、タンパク質の構造と配列を共同生成するモデルを学ぶ。
論文 参考訳（メタデータ） (2024-02-07T16:15:36Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳（メタデータ） (2023-06-15T16:30:08Z) - Distributed Bayesian Learning of Dynamic States [65.7870637855531]
提案アルゴリズムは有限状態隠れマルコフモデルに対する分散ベイズフィルタタスクである。
逐次状態推定や、動的環境下でのソーシャルネットワーク上での意見形成のモデル化に使用できる。
論文 参考訳（メタデータ） (2022-12-05T19:40:17Z) - Diffusion models as plug-and-play priors [98.16404662526101]
我々は、事前の$p(mathbfx)$と補助的な制約である$c(mathbfx,mathbfy)$からなるモデルにおいて、高次元データ$mathbfx$を推論する問題を考える。
拡散モデルの構造は,異なるノイズ量に富んだ定性デノナイジングネットワークを通じて,微分を反復することで近似推論を行うことができる。
論文 参考訳（メタデータ） (2022-06-17T21:11:36Z) - Discrete Denoising Flows [87.44537620217673]
分類的確率変数に対する離散的フローベースモデル(DDF)を提案する。
他の離散フローベースモデルとは対照的に、我々のモデルは勾配バイアスを導入することなく局所的に訓練することができる。
そこで本研究では, DDFs が離散フローより優れていることを示し, 対数類似度で測定した2値MNIST と Cityscapes のセグメンテーションマップをモデル化した。
論文 参考訳（メタデータ） (2021-07-24T14:47:22Z) - Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。
次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文 参考訳（メタデータ） (2020-10-25T18:51:15Z) - Probabilistic Circuits for Variational Inference in Discrete Graphical
Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。
エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。
Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。
選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文 参考訳（メタデータ） (2020-10-22T05:04:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。