論文の概要: FlowLM: Few-Step Language Modeling via Diffusion-to-Flow Adaptation
- arxiv url: http://arxiv.org/abs/2605.20199v1
- Date: Mon, 06 Apr 2026 10:36:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-25 12:34:33.964247
- Title: FlowLM: Few-Step Language Modeling via Diffusion-to-Flow Adaptation
- Title（参考訳）: FlowLM:拡散-フロー適応によるFew-Step言語モデリング
- Authors: Runzhe Zhang, Letian Chen, Wenpeng Zhang, Zhouhan Lin, Peilin Zhao,
- Abstract要約: FlowLMは、事前訓練された拡散言語モデルから変換されたフローマッチング言語モデルである。
微調整のFlowLMは、スクラッチからトレーニングする時間の半分のトレーニングエポックでパフォーマンス飽和に達する。
- 参考スコア（独自算出の注目度）: 40.51046085293661
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present FlowLM, a flow matching language model transformed from pre-trained diffusion language models via efficient fine-tuning. By re-aligning the curved sampling trajectories of diffusion models into straight-line flows, FlowLM enables high quality few-step generation that rivals or even outperforms the quality of 2,000-step diffusion sampling with very few training epochs. Remarkably, finetuned FlowLM reaches performance saturation with only half as many training epochs as training from scratch, both approaches greatly outperforming the original diffusion model, thereby validating our method. Furthermore, we validate a more effective training objective for flow matching: predicting clean data to consistently guide the sampling process towards the true data distribution. Empirical results demonstrate that our approach is highly effective for high-quality, few-step text generation.
- Abstract（参考訳）: 本稿では,フローマッチング言語モデルであるFlowLMについて述べる。
拡散モデルの湾曲したサンプリング軌跡を直線流に再調整することにより、FlowLMは2000ステップの拡散サンプリングの質に匹敵するような高品質な数ステップ生成を可能にする。
顕著なことに,FlowLMはスクラッチからトレーニングする際のトレーニングエポックの半減で性能飽和に達し,どちらも元の拡散モデルを大幅に上回り,本手法の有効性を検証した。
さらに,フローマッチングのためのより効果的なトレーニング目標として,サンプリングプロセスを真のデータ分布へ一貫したガイドとしてクリーンなデータを予測することを検証する。
実験結果から,本手法は高品質で数段階のテキスト生成に極めて有効であることが示された。
関連論文リスト
- One-Step Generative Modeling via Wasserstein Gradient Flows [56.266175641614986]
W-Flowは、単純な参照分布からサンプルをターゲットデータ分布からサンプルに変換するジェネレータを1ステップでトレーニングするフレームワークである。
我々は1ステップのImageNet 256$times$256 生成のための新しい技術状況を設定し、モードカバレッジとドメイン転送を改善した 1.29 FID を達成した。
論文 参考訳（メタデータ） (2026-05-12T08:29:44Z) - Discrete Meanflow Training Curriculum [11.664282029505353]
一段階生成モデルは高品質な画像サンプルを生成することができるが、最適化は困難である。
平均フローモデルは優れた数ステップサンプリング性能と1ステップサンプリング性能を示す。
論文 参考訳（メタデータ） (2026-04-10T00:25:44Z) - One-step Language Modeling via Continuous Denoising [36.18484491074519]
本研究では,フローベース連続デノゲーションを利用した言語モデルが,品質と速度の両面で離散拡散よりも優れていることを示す。
我々の研究は、離散拡散過程は離散モダリティ上の生成的モデリングに必要である、という広く支持されている仮説に疑問を投げかける。
論文 参考訳（メタデータ） (2026-02-18T19:23:07Z) - Align Your Flow: Scaling Continuous-Time Flow Map Distillation [63.927438959502226]
フローマップは、任意の2つのノイズレベルを1ステップで接続し、すべてのステップカウントで有効に保ちます。
画像生成ベンチマークにおいて、Align Your Flowと呼ばれるフローマップモデルを広範囲に検証する。
テキスト条件付き合成において、既存の非横断的訓練された数ステップのサンプルよりも優れたテキスト間フローマップモデルを示す。
論文 参考訳（メタデータ） (2025-06-17T15:06:07Z) - ProReflow: Progressive Reflow with Decomposed Velocity [52.249464542399636]
フローマッチングは、拡散モデルの拡散過程を数ステップまたは1ステップ生成のために直線に再フローすることを目的としている。
局所的な時間ステップで拡散モデルを段階的に再フローし,拡散全体を進行させるプログレッシブ・リフローを導入する。
また,フローマッチングにおける方向整合の重要性を強調し,位置整合性を考慮したV-Predictionを導入する。
論文 参考訳（メタデータ） (2025-03-05T04:50:53Z) - Self-Corrected Flow Distillation for Consistent One-Step and Few-Step Text-to-Image Generation [3.8959351616076745]
フローマッチングは、生成モデルをトレーニングするための有望なフレームワークとして登場した。
本稿では, 整合性モデルと対向学習を統合した自己補正型流動蒸留法を提案する。
この研究は、数ステップと1ステップのサンプリングで一貫した生成品質を達成するための先駆者である。
論文 参考訳（メタデータ） (2024-12-22T07:48:49Z) - Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。
特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
論文 参考訳（メタデータ） (2023-11-22T15:07:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。