論文の概要: Gumbel Straight Flow: Distilling Autoregressive Models into One-step Flow Maps

• arxiv url: http://arxiv.org/abs/2610.00497v1
• Date: Wed, 30 Sep 2026 18:01:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.67995
• Title: Gumbel Straight Flow: Distilling Autoregressive Models into One-step Flow Maps
• Title（参考訳）: Gumbel Straight Flow: 一段階のフローマップに自己回帰モデルを蒸留する
• Abstract要約: Gumbel Straight Flow (GSF) は、事前訓練された自己回帰言語(AR)モデルのノイズデータ結合を利用する連続フローマップ言語モデルである。 自動回帰モデルにより誘導されるGumbelノイズと1ホットトークンシーケンスの結合が、ノイズとシーケンス表現を接続する非交差線形経路をもたらすことを理論的に実証する。
• 参考スコア（独自算出の注目度）: 42.27697820956576
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Gumbel Straight Flow (GSF), a continuous flow map language model that leverages the noise-data coupling of a pretrained autoregressive language (AR) model. We theoretically demonstrate that the coupling between Gumbel noise and one-hot token sequences induced by an autoregressive model yields non-intersecting linear paths connecting the noise to the sequence representations. To further enhance high-quality few-step path sampling, we use a flow map semigroup objective where the tangent (velocity) condition is guided directly by the AR teacher. Across various benchmarks, including pretraining and downstream tasks, GSF can outperform current few-step language generation baselines.
• Abstract（参考訳）: 本稿では,事前学習した自己回帰言語(AR)モデルのノイズデータ結合を利用した連続フローマップ言語モデルであるGumbel Straight Flow(GSF)を提案する。 自動回帰モデルにより誘導されるGumbelノイズと1ホットトークンシーケンスの結合が、ノイズとシーケンス表現を接続する非交差線形経路をもたらすことを理論的に実証する。 高品質な数ステップの経路サンプリングをさらに強化するために,AR教師から直接接点(速度)条件を導出するフローマップ半群目標を用いる。 事前トレーニングやダウンストリームタスクなど、さまざまなベンチマークを通じて、GSFは現在の数ステップの言語生成ベースラインを上回っている。

関連論文リスト

• Discrete Flow Maps [19.374556402778207]
  Flow Mapは生成軌道を1ステップのマッピングに圧縮する。 標準定式化は、離散データに対して幾何学的に不適なユークリッド回帰損失に依存する。 離散領域の標準的なフローマップトレーニングをリキャストし、トレーニングのダイナミクスと言語の性質を一致させる。
  論文  参考訳（メタデータ） (2026-04-10T18:10:14Z)
• Categorical Flow Maps [42.309126712129384]
  カテゴリーフローマップ(Categorical Flow Map)は, 自己蒸留による数段階のカテゴリーデータ生成を高速化するフローマッチング手法である。 画像, 分子グラフ, テキストにおける最先端数ステップの結果を, 単一ステップ生成においても高い性能で達成する。
  論文  参考訳（メタデータ） (2026-02-12T18:10:46Z)
• Align Your Flow: Scaling Continuous-Time Flow Map Distillation [63.927438959502226]
  フローマップは、任意の2つのノイズレベルを1ステップで接続し、すべてのステップカウントで有効に保ちます。 画像生成ベンチマークにおいて、Align Your Flowと呼ばれるフローマップモデルを広範囲に検証する。 テキスト条件付き合成において、既存の非横断的訓練された数ステップのサンプルよりも優れたテキスト間フローマップモデルを示す。
  論文  参考訳（メタデータ） (2025-06-17T15:06:07Z)
• Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion [61.03681839276652]
  拡散強制(Diffusion Forcing)は、拡散モデルをトレーニングし、トークンの集合に独立した音レベルを付与する、新たなトレーニングパラダイムである。 因果的次トーケン予測モデルを訓練して1つまたは複数の未来のトークンを生成することで、シーケンス生成モデルに拡散強制を適用する。
  論文  参考訳（メタデータ） (2024-07-01T15:43:25Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• Closing the Dequantization Gap: PixelCNN as a Single-Layer Flow [16.41460104376002]
  有限体積を変換し、離散データに対する確率の正確な計算を可能にするサブセットフローを導入する。 我々は、WaveNets、PixelCNNs、Transformersを含む通常の離散自己回帰モデルを単層フローとして識別する。 我々は, CIFAR-10 を用いて, 脱量子化を訓練した流れモデルについて, 実測結果を示す。
  論文  参考訳（メタデータ） (2020-02-06T22:58:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。