論文の概要: Trajectory as the Teacher: Few-Step Discrete Flow Matching via Energy-Navigated Distillation

• arxiv url: http://arxiv.org/abs/2605.07924v1
• Date: Fri, 08 May 2026 15:58:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:39.181823
• Title: Trajectory as the Teacher: Few-Step Discrete Flow Matching via Energy-Navigated Distillation
• Title（参考訳）: 教師としての軌道:エネルギー・ナビゲーション蒸留による離散フローマッチング
• Authors: Amin Karimi Monsefi, Dominic Culver, Nikhil Bhendawade, Manuel R. Ciosici, Yizhe Zhang, Irina Belousova,
• Abstract要約: Trajectory-Shaped Discrete Flow Matchingは、ブラインドジャンプをガイドナビゲーションに置き換える。 170M-024言語モデリングでは、8ステップの形状の学生は1,024ステップの教師よりも32%低い難易度を達成する。
• 参考スコア（独自算出の注目度）: 8.736935937857192
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete flow matching generates text by iteratively transforming noise tokens into coherent language, but may require hundreds of forward passes. Distillation uses the multi-step trajectory to train a student to reproduce the process in a few steps. When the student underperforms, the usual explanation is insufficient capacity. We argue the opposite: the trajectory is the bottleneck, not the student. Each training trajectory is built through a chain of blind stochastic jumps with no evaluation of sequence quality; a single bad decision at an early midpoint propagates through subsequent steps, yet the student must imitate the result. Trajectory-Shaped Discrete Flow Matching (TS-DFM) replaces these blind jumps with guided navigation: a lightweight energy compass evaluates candidate continuations at each midpoint, selecting the most coherent. All shaping is training-only; inference cost is unchanged. On 170M-parameter language modeling, the shaped student at 8 steps achieves 32% lower perplexity than the 1,024-step teacher while being 128x faster, with gains consistent across source distributions and three evaluators of increasing scale. TS-DFM achieves the best perplexity of any discrete-generation baseline we compare against, including methods trained on 6x more data or using 5x larger models.
• Abstract（参考訳）: 離散フローマッチングは、繰り返しノイズトークンをコヒーレント言語に変換することによってテキストを生成するが、数百のフォワードパスが必要になる可能性がある。 蒸留は多段階の軌道を使って、学生に数ステップでプロセスの再現を訓練する。 学生の成績が下がれば、通常の説明は不十分である。 私たちは反対を主張する: 軌道はボトルネックであり、学生ではない。 それぞれの訓練軌跡は、シーケンス品質の評価のないブラインド確率ジャンプの連鎖を通して構築され、初期の中間点における1つの悪い判断は、その後のステップを通じて伝播するが、学生は結果を模倣しなければならない。 Trajectory-Shaped Discrete Flow Matching (TS-DFM) は、これらのブラインドジャンプをガイド付きナビゲーションで置き換える。 すべてのシェイピングはトレーニングのみであり、推論コストは変わらない。 170Mパラメータ言語モデリングでは、8ステップの形状の学生は1,024ステップの教師よりも32%低いパープレキシティを実現し、128倍高速であり、ソース分布に一貫性があり、3つの評価器が拡大している。 TS-DFMは、6倍以上のデータで訓練された手法や5倍大きなモデルを使用する方法など、私たちが比較した任意の離散世代ベースラインの最も難易度を達成します。

関連論文リスト

• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• EDIT: Early Diffusion Inference Termination for dLLMs Based on Dynamics of Training Gradients [6.736735746633275]
  拡散に基づく大規模言語モデル (dLLMs) は反復的妄想を通じてトークン生成を洗練させるが、全てのステップが完了する前に答えは安定することが多い。 本稿では,トレーニング時推論に対する十分な推論安定性が検出された場合に,適応的にデノイングを停止する推論時基準であるEDITを提案する。
  論文  参考訳（メタデータ） (2025-11-29T23:47:47Z)
• FlowSteer: Guiding Few-Step Image Synthesis with Authentic Trajectories [82.90132015584359]
  ReFlowはフローマッチングと理論的に整合性があるが、現実的なシナリオでは最適ではない。 本研究では,ReFlowをベースとした蒸留手法であるFlowSteerを提案する。
  論文  参考訳（メタデータ） (2025-11-24T07:13:23Z)
• One-Step Generative Policies with Q-Learning: A Reformulation of MeanFlow [56.13949180229929]
  ノイズを直接行動にマッピングするオフライン強化学習のための一段階の生成ポリシーを,MeanFlowの残留的な再構成を通じて導入する。 本手法はオフライン・オフライン両方の強化学習環境において高い性能を実現する。
  論文  参考訳（メタデータ） (2025-11-17T06:34:17Z)
• CMT: Mid-Training for Efficient Learning of Consistency, Mean Flow, and Flow Map Models [75.81132530657682]
  Consistency Models (CM) や Mean Flow (MF) のようなフローマップモデルは、拡散モデルのODE解の長い跳躍を学習することで、少数のステップ生成を可能にする。 本研究では,(拡散)事前学習と最終フローマップトレーニングの間に,軽量な中間段階を挿入する最初の概念と実践的手法であるミドルトレーニングを紹介する。
  論文  参考訳（メタデータ） (2025-09-29T09:42:08Z)
• Few-step Flow for 3D Generation via Marginal-Data Transport Distillation [104.76254102015794]
  数段階の3次元流体蒸留のための新しいフレームワーク MDT-dist を提案する。 我々のアプローチは、事前訓練されたモデルを蒸留して、Marginal-Data Transportを学習する、という第一の目的に基づいて構築されている。 提案手法は,A800におけるA800の9.0倍,6.5倍の速度で0.68s (1 Step x2) と0.94s (2 Step x2) のレイテンシを実現するため,各流れトランスのサンプリングステップを25から2に短縮する。
  論文  参考訳（メタデータ） (2025-09-04T17:24:31Z)
• Learning Few-Step Diffusion Models by Trajectory Distribution Matching [18.229753357571116]
  トラジェクティブ・ディストリビュータ・マッチング(TDM)は、トラジェクタ・マッチングとトラジェクタ・マッチングの強さを組み合わせた統合蒸留パラダイムである。 我々は,学習目標を異なるステップで分離し,より調整可能なサンプリングを可能にする,サンプリングステップ対応の目標を開発する。 我々のモデルであるTDMは、様々なバックボーン上で既存の手法よりも優れており、優れた品質を提供し、トレーニングコストを大幅に削減する。
  論文  参考訳（メタデータ） (2025-03-09T15:53:49Z)
• Distribution Backtracking Builds A Faster Convergence Trajectory for Diffusion Distillation [19.88187051373436]
  本研究では,拡散モデルのサンプリング速度を高速化する分散バックトラック蒸留(DisBack)を提案する。 DisBackは既存の蒸留法よりも高速で収束性が高く、ImageNet 64x64データセットのFIDスコアは1.38である。
  論文  参考訳（メタデータ） (2024-08-28T17:58:17Z)
• Self-Point-Flow: Self-Supervised Scene Flow Estimation from Point Clouds with Optimal Transport and Random Walk [59.87525177207915]
  シーンフローを近似する2点雲間の対応性を確立するための自己教師型手法を開発した。 本手法は,自己教師付き学習手法の最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-18T03:12:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。