論文の概要: PairFlow: Closed-Form Source-Target Coupling for Few-Step Generation in Discrete Flow Models

• arxiv url: http://arxiv.org/abs/2512.20063v1
• Date: Tue, 23 Dec 2025 05:31:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-24 19:17:49.760771
• Title: PairFlow: Closed-Form Source-Target Coupling for Few-Step Generation in Discrete Flow Models
• Title（参考訳）: PairFlow:離散フローモデルにおけるFew-Step生成のためのクローズドフォームソースターゲット結合
• Authors: Mingue Park, Jisung Hwang, Seungwoo Yoo, Kyeongmin Yeo, Minhyuk Sung,
• Abstract要約: $texttPairFlow$は離散フローモデル(DFM)をトレーニングするための軽量な前処理ステップである DFMは反復的な性質のためにサンプリングが遅い。 $texttPairFlow$ matchs or more over the performance of two-stage training involved finetuning。
• 参考スコア（独自算出の注目度）: 24.911180095603658
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce $\texttt{PairFlow}$, a lightweight preprocessing step for training Discrete Flow Models (DFMs) to achieve few-step sampling without requiring a pretrained teacher. DFMs have recently emerged as a new class of generative models for discrete data, offering strong performance. However, they suffer from slow sampling due to their iterative nature. Existing acceleration methods largely depend on finetuning, which introduces substantial additional training overhead. $\texttt{PairFlow}$ addresses this issue with a lightweight preprocessing step. Inspired by ReFlow and its extension to DFMs, we train DFMs from coupled samples of source and target distributions, without requiring any pretrained teacher. At the core of our approach is a closed-form inversion for DFMs, which allows efficient construction of paired source-target samples. Despite its extremely low cost, taking only up to 1.7% of the compute needed for full model training, $\texttt{PairFlow}$ matches or even surpasses the performance of two-stage training involving finetuning. Furthermore, models trained with our framework provide stronger base models for subsequent distillation, yielding further acceleration after finetuning. Experiments on molecular data as well as binary and RGB images demonstrate the broad applicability and effectiveness of our approach.
• Abstract（参考訳）: 我々は、DFM(Disdisrete Flow Models)をトレーニングするための軽量な前処理ステップである$\texttt{PairFlow}$を導入し、事前訓練された教師を必要とせずに、数ステップのサンプリングを実現した。 DFMは最近、離散データのための新しい生成モデルとして登場し、強力なパフォーマンスを提供している。 しかし、反復的な性質のため、サンプリングが遅い。 既存の加速法は微調整に大きく依存しており、トレーニングのオーバーヘッドが大幅に増加する。 $\texttt{PairFlow}$は、軽量な前処理ステップでこの問題に対処します。 ReFlowとDFMの拡張にインスパイアされた私たちは、事前訓練された教師を必要とせずに、ソースとターゲットの分散したサンプルからDFMをトレーニングします。 我々のアプローチの核心は、DFMの閉形式反転であり、ペアのソースターゲットサンプルを効率的に構築することができる。 非常に低コストであり、フルモデルトレーニングに必要な計算の1.7%しか必要としないが、$\texttt{PairFlow}$matatchは、微調整を含む2段階トレーニングのパフォーマンスを超える。 さらに, 本フレームワークでトレーニングしたモデルでは, 蒸留後のより強力なベースモデルが提供され, 微粒化後のさらなる加速がもたらされる。 分子データおよびバイナリおよびRGB画像の実験は、我々のアプローチの幅広い適用性と有効性を示している。

関連論文リスト

• TwinFlow: Realizing One-step Generation on Large Models with Self-adversarial Flows [25.487712175353035]
  1ステップ生成モデルをトレーニングするフレームワークであるTwinFlowを提案する。 本手法は,テキスト・ツー・イメージタスクにおいて1-NFEで0.83のGenEvalスコアを得る。 提案手法は,GenEval および DPG-Bench ベンチマーク上でのオリジナルの 100-NFE モデルの性能と一致する。
  論文  参考訳（メタデータ） (2025-12-03T07:45:46Z)
• Joint Distillation for Fast Likelihood Evaluation and Sampling in Flow-based Models [100.28111930893188]
  今日の最高の生成モデルの中には、単一の可能性を計算するために、数百から数千の神経機能評価を必要とするものもあります。 本研究では, 高速流動継手蒸留法 (F2D2) を提案し, サンプリングに必要なNFEの数を2桁に減らした。 F2D2はモジュール構造であり、既存のフローベースの数ステップサンプリングモデルと互換性がある。
  論文  参考訳（メタデータ） (2025-12-02T10:48:20Z)
• Improving Progressive Generation with Decomposable Flow Matching [50.63174319509629]
  Decomposable Flow Matching (DFM)は、ビジュアルメディアのプログレッシブな生成のためのシンプルで効果的なフレームワークである。 Imagenet-1k 512pxでは、DFMはベースアーキテクチャよりも35.2%改善され、ベースラインは26.4%向上した。
  論文  参考訳（メタデータ） (2025-06-24T17:58:02Z)
• Adding Conditional Control to Diffusion Models with Reinforcement Learning [68.06591097066811]
  拡散モデルは、生成されたサンプルの特性を正確に制御できる強力な生成モデルである。 大規模なデータセットでトレーニングされたこれらの拡散モデルは成功したが、下流の微調整プロセスに新たな制御を導入する必要があることが多い。 本研究では、オフラインデータセットを用いた強化学習(RL)に基づく新しい制御手法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T22:00:26Z)
• Improving Consistency Models with Generator-Augmented Flows [16.049476783301724]
  一貫性モデルは、ニューラルネットワークの単一前方通過におけるスコアベース拡散の多段階サンプリングを模倣する。 それらは、一貫性の蒸留と一貫性のトレーニングの2つの方法を学ぶことができる。 本稿では,一貫性モデルから得られたノイズデータを対応する出力へ転送する新しい流れを提案する。
  論文  参考訳（メタデータ） (2024-06-13T20:22:38Z)
• Adaptive Training Meets Progressive Scaling: Elevating Efficiency in Diffusion Models [52.1809084559048]
  TDCトレーニングと呼ばれる新しい2段階分割型トレーニング戦略を提案する。 タスクの類似性と難易度に基づいてタイムステップをグループ化し、高度にカスタマイズされた復調モデルを各グループに割り当て、拡散モデルの性能を向上させる。 2段階のトレーニングでは、各モデルを個別にトレーニングする必要がなくなるが、総トレーニングコストは、単一の統合されたデノナイジングモデルをトレーニングするよりもさらに低い。
  論文  参考訳（メタデータ） (2023-12-20T03:32:58Z)
• FTFT: Efficient and Robust Fine-Tuning by Transferring Training Dynamics [7.58472343957521]
  トレーニングダイナミクスは,モデルサイズや事前学習手法間で非常に伝達可能であることを示す。 本稿では,TransFerring Training dynamics (FTFT)によるファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-10T12:53:48Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Structural Pruning for Diffusion Models [65.02607075556742]
  Diff-Pruningは、既存のものから軽量拡散モデルの学習に適した効率的な圧縮手法である。 複数のデータセットにまたがって実施した経験的評価は,提案手法の2つの利点を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-05-18T12:38:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。