論文の概要: Scaling Categorical Flow Maps

• arxiv url: http://arxiv.org/abs/2605.07820v2
• Date: Mon, 11 May 2026 13:50:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 19:24:01.425365
• Title: Scaling Categorical Flow Maps
• Title（参考訳）: カテゴリフローマップのスケーリング
• Authors: Oscar Davis, Anastasiia Filippova, Pierre Ablin, Victor Turrisi, Amitis Shidani, Marco Cuturi, Louis Béthune,
• Abstract要約: 連続拡散とフローマッチングモデルは、言語モデリングにおける自己回帰的なアプローチの強力な代替となるかもしれない。 ほぼデータレベルのトークンエントロピーを維持しつつ,4ドル程度の推論ステップで多種多様な高品質テキストを生成する方法を示す。 これらのモデルを大規模にトレーニングすることで生じる課題を明らかにし、損失重み付けと時間スケジューリングに関する規範的な洞察を提供する。
• 参考スコア（独自算出の注目度）: 29.25832277355597
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continuous diffusion and flow matching models could represent a powerful alternative to autoregressive approaches for language modelling (LM), as they unlock a host of advantages currently reserved for continuous modalities, including accelerated sampling and tilting. Recently, several works have demonstrated the possibility of generating discrete data continuously by a simple flow matching process between a Gaussian and the one-hot encoded data distribution. They have further shown the feasibility of accelerated sampling via Categorical Flow Maps (CFMs), resulting in competitive sample quality in the few-step regime. However, this method had only been evaluated at relatively modest scales ($<1$B), leaving the question of its scalability completely open. In this article, we train a $1.7$B-parameter base flow model on $2.1$T tokens and self-distill it into a CFM that generates diverse, high-quality text in as few as $4$ inference steps while maintaining near-data-level token entropy. Furthermore, we introduce a likelihood bound for CFMs in the semi-discrete setting, and show that they can be used to score the model on standard LM benchmarks, achieving results in the same range as discrete diffusion methods. Finally, we uncover some of the challenges that arise from training these models at scale, and we provide prescriptive insights on loss weighting and time scheduling.
• Abstract（参考訳）: 連続拡散とフローマッチングモデルは、言語モデリング(LM)に対する自己回帰的なアプローチの強力な代替となり得る。 近年,ガウスアンとワンホット符号化データ分布の単純なフローマッチングプロセスにより,離散データを連続的に生成する可能性を示す研究がいくつかある。 彼らはさらに、カテゴリーフローマップ (CFMs) による加速サンプリングの実現可能性を示し、その結果、数ステップ体制における競合的なサンプル品質がもたらされた。 しかし、この手法は比較的控えめな規模(<1$B)でのみ評価され、スケーラビリティの問題は完全に解決された。 本稿では,2.1ドルのトークンをベースフローモデルとして17ドルBパラメータをトレーニングし,それをCFMに自己分解し,データレベルのトークンエントロピーを維持しつつ,最大4ドルの推論ステップで多種多様な高品質テキストを生成する。 さらに、半離散的な設定でCFMの確率境界を導入し、標準のLMベンチマークでモデルをスコアリングすることができ、離散拡散法と同じ範囲で結果が得られることを示す。 最後に、これらのモデルを大規模にトレーニングすることで生じる課題を明らかにし、損失重み付けと時間スケジューリングに関する規範的な洞察を提供する。

関連論文リスト

• Feynman-Kac Correctors in Diffusion: Annealing, Guidance, and Product of Experts [64.34482582690927]
  事前学習したスコアベースモデルから得られた熱処理, 幾何平均, 製品分布の配列から, 効率的かつ原理的に抽出する方法を提供する。 本稿では,サンプリング品質を向上させるために,推論時間スケーリングを利用する逐次モンテカルロ(SMC)再サンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-04T17:46:51Z)
• Local Flow Matching Generative Models [19.859984725284896]
  フローマッチング(英: Flow Matching, FM)は、2つの分布を補間する連続的かつ非可逆的な流れを学習するためのシミュレーション不要な手法である。 FMサブモデルのシーケンスを連続的に学習するLFM(Local Flow Matching)と呼ばれるステップワイズFMモデルを提案する。 FMと比較して, LFMの訓練効率と競争的生成性能の改善を実証的に実証した。
  論文  参考訳（メタデータ） (2024-10-03T14:53:10Z)
• Consistency Trajectory Models: Learning Probability Flow ODE Trajectory of Diffusion [56.38386580040991]
  Consistency Trajectory Model (CTM) は Consistency Models (CM) の一般化である CTMは、対戦訓練とスコアマッチング損失を効果的に組み合わせることで、パフォーマンスを向上させる。 CMとは異なり、CTMのスコア関数へのアクセスは、確立された制御可能/条件生成メソッドの採用を合理化することができる。
  論文  参考訳（メタデータ） (2023-10-01T05:07:17Z)
• Bayesian Flow Networks [4.197165999892042]
  本稿では,ベイジアン・フロー・ネットワーク(BFN)について述べる。ベイジアン・フロー・ネットワーク(BFN)は,独立分布の集合のパラメータをベイジアン推論で修正した新しい生成モデルである。 単純な事前および反復的な2つの分布の更新から始めると、拡散モデルの逆過程に似た生成手順が得られる。 BFNは動的にバイナライズされたMNISTとCIFAR-10で画像モデリングを行うために競合するログライクフレーションを実現し、text8文字レベルの言語モデリングタスクにおいて既知のすべての離散拡散モデルより優れている。
  論文  参考訳（メタデータ） (2023-08-14T09:56:35Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。