論文の概要: Few-Step Generation via Data-Space Iteration
- arxiv url: http://arxiv.org/abs/2610.12102v1
- Date: Thu, 08 Oct 2026 15:03:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:54.106063
- Title: Few-Step Generation via Data-Space Iteration
- Title(参考訳): データ空間反復によるFew-Step生成
- Abstract要約: フローマッチングは高品質な生成モデルをトレーニングするためのスケーラブルなパラダイムとして登場した。
一段階の世代はしばしば品質を犠牲にし、少数の世代が実用的な運用体制となる。
フローの離散化を完全に排除する数ステップ生成フレームワークであるデータ空間反復を導入する。
- 参考スコア(独自算出の注目度): 18.371794682592654
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Flow matching has emerged as a scalable paradigm for training high-quality generative models, but sampling from the learned probability flow requires many network evaluations. Distillation can reduce this cost to one or a few evaluations; however, one-step generation often sacrifices quality, making few-step generation the practical operating regime. Existing few-step methods perform their iterative computation along the probability flow and therefore require a fixed, manually chosen timestep discretization. This discretization is often chosen heuristically and is expensive to tune; it may also be restrictive when refinement difficulty differs across samples or spatial locations. We introduce data-space iteration, a few-step generation framework that removes flow discretization altogether. Starting from noise, a shared generator directly refines its prediction in data space, with every iteration trained to produce the best sample permitted by its capacity. Our formulation integrates with distribution matching distillation (DMD) with minimal changes, enabling a controlled comparison between iteration methods under matched training settings. On class-conditional ImageNet 256x256, data-space iteration outperforms standard discretization baselines and matches or improves upon variants selected through schedule search, without requiring schedule-specific training. These results show that data-space iteration provides a simple and effective alternative to discretized flow-space iteration for fast generation.
- Abstract(参考訳): フローマッチングは高品質な生成モデルをトレーニングするためのスケーラブルなパラダイムとして登場したが、学習した確率フローからのサンプリングには多くのネットワーク評価が必要である。
蒸留は、このコストを1つまたは数つの評価に削減することができるが、一段階の世代は品質を犠牲にして、少数の段階の世代を実用的な運用体制にする。
既存の数ステップの手法は確率フローに沿って反復計算を行い、したがって固定された手動で選択された時間ステップの離散化を必要とする。
この離散化は、しばしばヒューリスティックに選択され、チューニングするのに高価である。
フローの離散化を完全に排除する数ステップ生成フレームワークであるデータ空間反復を導入する。
ノイズから始めると、共有ジェネレータはデータ空間の予測を直接洗練し、各イテレーションは、そのキャパシティによって許容される最高のサンプルを生成するように訓練される。
本定式化は, 分散マッチング蒸留(DMD)と最小限の変更を加え, 一致したトレーニング条件下での反復法の比較を制御可能とした。
クラス条件のImageNet 256x256では、データ空間のイテレーションは標準の離散化ベースラインよりも優れており、スケジュール固有のトレーニングを必要とせず、スケジュール検索によって選択された変種にマッチまたは改善されている。
これらの結果は、データ空間の反復は、高速な生成のために離散化されたフロー空間の反復に、シンプルで効果的な代替手段を提供することを示している。
関連論文リスト
- Few-Step Diffusion Sampling Through Instance-Aware Discretizations [16.93105640007355]
正規あるいは微分方程式(ODEs/SDEs)で定義される経路をシミュレートして拡散・流れマッチングモデルにより高忠実度データを生成する
本稿では、入力依存の事前情報に基づいてタイムステップアロケーションを適応させることを学習する、インスタンス対応の離散化フレームワークを提案する。
提案手法は,トレーニングや無視可能な推論オーバーヘッドと比較して,限界チューニングコストで生成品質を継続的に向上する。
論文 参考訳(メタデータ) (2026-03-18T12:49:38Z) - Distributional Diffusion Models with Scoring Rules [83.38210785728994]
拡散モデルは高品質な合成データを生成する。
高品質な出力を生成するには、多くの離散化ステップが必要です。
クリーンデータサンプルの後部エム分布を学習し,サンプル生成を実現することを提案する。
論文 参考訳(メタデータ) (2025-02-04T16:59:03Z) - Self-Refining Diffusion Samplers: Enabling Parallelization via Parareal Iterations [53.180374639531145]
自己精製拡散サンプリング(SRDS)は、サンプル品質を維持し、追加の並列計算コストでレイテンシを向上させることができる。
微分方程式の並列時間積分法であるPararealアルゴリズムから着想を得た。
論文 参考訳(メタデータ) (2024-12-11T11:08:09Z) - Score-Optimal Diffusion Schedules [29.062842062257918]
高品質なサンプルを得るためには、適切な離散化スケジュールが不可欠である。
本稿では,最適な離散化スケジュールを適応的に選択するための新しいアルゴリズムを提案する。
学習したスケジュールは、これまで手動検索でのみ発見されていたパフォーマンススケジュールを復元する。
論文 参考訳(メタデータ) (2024-12-10T19:26:51Z) - One Step Diffusion via Shortcut Models [109.72495454280627]
単一ネットワークとトレーニングフェーズを用いて高品質なサンプルを生成する,生成モデルのファミリであるショートカットモデルを導入する。
ショートカットモデルは、現在のノイズレベルと所望のステップサイズにネットワークを条件付け、生成プロセスでモデルをスキップすることができる。
蒸留と比較して、ショートカットモデルは複雑性を1つのネットワークとトレーニングフェーズに減らし、推論時に様々なステップ予算を許容する。
論文 参考訳(メタデータ) (2024-10-16T13:34:40Z) - Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized
Language Model Finetuning Using Shared Randomness [86.61582747039053]
分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。
分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
論文 参考訳(メタデータ) (2023-06-16T17:59:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。