論文の概要: Scaling Categorical Flow Maps

• arxiv url: http://arxiv.org/abs/2605.07820v2
• Date: Mon, 11 May 2026 13:50:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 19:24:01.425365
• Title: Scaling Categorical Flow Maps
• Title（参考訳）: カテゴリフローマップのスケーリング
• Abstract要約: 連続拡散とフローマッチングモデルは、言語モデリングにおける自己回帰的なアプローチの強力な代替となるかもしれない。 ほぼデータレベルのトークンエントロピーを維持しつつ,4ドル程度の推論ステップで多種多様な高品質テキストを生成する方法を示す。 これらのモデルを大規模にトレーニングすることで生じる課題を明らかにし、損失重み付けと時間スケジューリングに関する規範的な洞察を提供する。
• 参考スコア（独自算出の注目度）: 29.25832277355597
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continuous diffusion and flow matching models could represent a powerful alternative to autoregressive approaches for language modelling (LM), as they unlock a host of advantages currently reserved for continuous modalities, including accelerated sampling and tilting. Recently, several works have demonstrated the possibility of generating discrete data continuously by a simple flow matching process between a Gaussian and the one-hot encoded data distribution. They have further shown the feasibility of accelerated sampling via Categorical Flow Maps (CFMs), resulting in competitive sample quality in the few-step regime. However, this method had only been evaluated at relatively modest scales ($<1$B), leaving the question of its scalability completely open. In this article, we train a $1.7$B-parameter base flow model on $2.1$T tokens and self-distill it into a CFM that generates diverse, high-quality text in as few as $4$ inference steps while maintaining near-data-level token entropy. Furthermore, we introduce a likelihood bound for CFMs in the semi-discrete setting, and show that they can be used to score the model on standard LM benchmarks, achieving results in the same range as discrete diffusion methods. Finally, we uncover some of the challenges that arise from training these models at scale, and we provide prescriptive insights on loss weighting and time scheduling.
• Abstract（参考訳）: 連続拡散とフローマッチングモデルは、言語モデリング(LM)に対する自己回帰的なアプローチの強力な代替となり得る。 近年,ガウスアンとワンホット符号化データ分布の単純なフローマッチングプロセスにより,離散データを連続的に生成する可能性を示す研究がいくつかある。 彼らはさらに、カテゴリーフローマップ (CFMs) による加速サンプリングの実現可能性を示し、その結果、数ステップ体制における競合的なサンプル品質がもたらされた。 しかし、この手法は比較的控えめな規模(<1$B)でのみ評価され、スケーラビリティの問題は完全に解決された。 本稿では,2.1ドルのトークンをベースフローモデルとして17ドルBパラメータをトレーニングし,それをCFMに自己分解し,データレベルのトークンエントロピーを維持しつつ,最大4ドルの推論ステップで多種多様な高品質テキストを生成する。 さらに、半離散的な設定でCFMの確率境界を導入し、標準のLMベンチマークでモデルをスコアリングすることができ、離散拡散法と同じ範囲で結果が得られることを示す。 最後に、これらのモデルを大規模にトレーニングすることで生じる課題を明らかにし、損失重み付けと時間スケジューリングに関する規範的な洞察を提供する。

関連論文リスト

• Synergizing Transport-Based Generative Models and Latent Geometry for Stochastic Closure Modeling [1.665466637453776]
  低次元潜在空間における流れのマッチングは閉包モデルの高速サンプリングに適していることを示す。 我々は、潜時空間の歪みを制御し、サンプリングされた閉包項の物理的忠実度を確保する。
  論文  参考訳（メタデータ） (2026-02-19T05:24:00Z)
• Joint Distillation for Fast Likelihood Evaluation and Sampling in Flow-based Models [100.28111930893188]
  今日の最高の生成モデルの中には、単一の可能性を計算するために、数百から数千の神経機能評価を必要とするものもあります。 本研究では, 高速流動継手蒸留法 (F2D2) を提案し, サンプリングに必要なNFEの数を2桁に減らした。 F2D2はモジュール構造であり、既存のフローベースの数ステップサンプリングモデルと互換性がある。
  論文  参考訳（メタデータ） (2025-12-02T10:48:20Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Almost Linear Convergence under Minimal Score Assumptions: Quantized Transition Diffusion [25.542593757387095]
  本稿では,データ量子化と離散拡散力学を統合する新しい手法である量子化遷移拡散(QTD)を提案する。 提案手法はまず,連続データ分布の$p_*$をヒストグラム近似とバイナリ符号化により離散的な$q_*$に変換する。 逆時間サンプリングでは,逆CTMCをシミュレートするために,テクスティットランキャットによる一様化手法を導入する。
  論文  参考訳（メタデータ） (2025-05-28T02:10:11Z)
• Feynman-Kac Correctors in Diffusion: Annealing, Guidance, and Product of Experts [64.34482582690927]
  事前学習したスコアベースモデルから得られた熱処理, 幾何平均, 製品分布の配列から, 効率的かつ原理的に抽出する方法を提供する。 本稿では,サンプリング品質を向上させるために,推論時間スケーリングを利用する逐次モンテカルロ(SMC)再サンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-04T17:46:51Z)
• Local Flow Matching Generative Models [19.859984725284896]
  フローマッチング(英: Flow Matching, FM)は、2つの分布を補間する連続的かつ非可逆的な流れを学習するためのシミュレーション不要な手法である。 FMサブモデルのシーケンスを連続的に学習するLFM(Local Flow Matching)と呼ばれるステップワイズFMモデルを提案する。 FMと比較して, LFMの訓練効率と競争的生成性能の改善を実証的に実証した。
  論文  参考訳（メタデータ） (2024-10-03T14:53:10Z)
• Discrete Flow Matching [74.04153927689313]
  本稿では,離散データ生成に特化して設計された新しい離散フローパラダイムを提案する。 我々のアプローチは、非自己回帰的な方法で高品質な離散データを生成することができる。
  論文  参考訳（メタデータ） (2024-07-22T12:33:27Z)
• Consistency Trajectory Models: Learning Probability Flow ODE Trajectory of Diffusion [56.38386580040991]
  Consistency Trajectory Model (CTM) は Consistency Models (CM) の一般化である CTMは、対戦訓練とスコアマッチング損失を効果的に組み合わせることで、パフォーマンスを向上させる。 CMとは異なり、CTMのスコア関数へのアクセスは、確立された制御可能/条件生成メソッドの採用を合理化することができる。
  論文  参考訳（メタデータ） (2023-10-01T05:07:17Z)
• Bayesian Flow Networks [4.197165999892042]
  本稿では,ベイジアン・フロー・ネットワーク(BFN)について述べる。ベイジアン・フロー・ネットワーク(BFN)は,独立分布の集合のパラメータをベイジアン推論で修正した新しい生成モデルである。 単純な事前および反復的な2つの分布の更新から始めると、拡散モデルの逆過程に似た生成手順が得られる。 BFNは動的にバイナライズされたMNISTとCIFAR-10で画像モデリングを行うために競合するログライクフレーションを実現し、text8文字レベルの言語モデリングタスクにおいて既知のすべての離散拡散モデルより優れている。
  論文  参考訳（メタデータ） (2023-08-14T09:56:35Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。