論文の概要: Self-conditioned Flow Map Language Models via Fixed-point Flows

• arxiv url: http://arxiv.org/abs/2607.00714v1
• Date: Wed, 01 Jul 2026 10:02:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-02 19:56:07.839548
• Title: Self-conditioned Flow Map Language Models via Fixed-point Flows
• Title（参考訳）: 固定点フローによる自己条件付きフローマップ言語モデル
• Abstract要約: 自己条件付きフロー言語モデルは、学習したデノイザの性能をブートストラップする固定点反復を解く。 固定点フローが有効なフローマップを定義することを示し、自己条件付きフローモデルからそれらを蒸留できることを示す。 結果のフローマップ言語モデルであるFMLM$star$は、OpenWebText上で、最先端のセルフコンディショニングモデルと数ステップモデルよりも優れています。
• 参考スコア（独自算出の注目度）: 22.49893428630857
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-conditioning is a core technique that enhances continuous flow-based language models, where the model learns to denoise generated text by conditioning on its own denoising estimate. While empirically successful, its performance improvements are poorly understood. Moreover, there is growing interest in the use of few-step generators based on flow maps, for which how to leverage self-conditioning is unclear. Here, we show that flow language models with self-conditioning solve a fixed-point iteration that bootstraps the performance of the learned denoiser. We use this viewpoint to formulate fixed-point flows, a two-dimensional class of self-conditioned flows, where the first dimension represents the flow process and the second represents the fixed-point iteration. We show that fixed-point flows define valid flow maps, and show that they can be distilled from self-conditioned flow models by compressing both fixed-point iterations and the flow process, the former with fixed-point distillation and the latter with flow map distillation. Our resulting flow map language model, FMLM$^\star$, outperforms state-of-the-art self-conditioned models and few-step models in one- and few-step generation on OpenWebText. Code is available at https://github.com/Ugness/self-conditioned-fmlm.
• Abstract（参考訳）: 自己条件付け(Self-conditioning)は、連続的なフローベースの言語モデルを強化するコアテクニックである。 経験的には成功したが、性能改善はあまり理解されていない。 さらに、フローマップに基づく数ステップジェネレータの使用への関心が高まっており、セルフコンディショニングの活用方法が不明である。 ここでは、自己条件付きフロー言語モデルにより、学習したデノイザの性能をブートストラップする固定点反復が解けることを示す。 この視点を用いて固定点流を定式化する。これは2次元の自己条件流のクラスであり、第1次元はフロー過程を表し、第2次元は固定点反復を表す。 固定点流が有効なフローマップを定義することを示し、固定点反復とフロープロセスの両方を圧縮して自己条件付きフローモデルから蒸留できることを示し、前者は固定点蒸留、後者はフローマップ蒸留を行った。 結果のフローマップ言語モデルであるFMLM$^\star$は、OpenWebText上で、最先端のセルフコンディションモデルと数ステップモデルよりも優れています。 コードはhttps://github.com/Ugness/self-conditioned-fmlmで入手できる。

関連論文リスト

• Categorical Flow Maps [42.309126712129384]
  カテゴリーフローマップ(Categorical Flow Map)は, 自己蒸留による数段階のカテゴリーデータ生成を高速化するフローマッチング手法である。 画像, 分子グラフ, テキストにおける最先端数ステップの結果を, 単一ステップ生成においても高い性能で達成する。
  論文  参考訳（メタデータ） (2026-02-12T18:10:46Z)
• Decoupled MeanFlow: Turning Flow Models into Flow Maps for Accelerated Sampling [68.76215229126886]
  Decoupled MeanFlowは、フローモデルをアーキテクチャ変更なしにフローマップモデルに変換するシンプルなデコード戦略である。 提案手法では, 拡散変圧器の最終ブロックを後続の時間ステップに設定し, 事前学習した流れモデルを直接フローマップとして再利用する。 ImageNet 256x256 と 512x512 では、われわれのモデルはそれぞれ2.16 と2.12 の1ステップ FID に達し、先行技術よりも大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2025-10-28T14:43:48Z)
• Align Your Flow: Scaling Continuous-Time Flow Map Distillation [63.927438959502226]
  フローマップは、任意の2つのノイズレベルを1ステップで接続し、すべてのステップカウントで有効に保ちます。 画像生成ベンチマークにおいて、Align Your Flowと呼ばれるフローマップモデルを広範囲に検証する。 テキスト条件付き合成において、既存の非横断的訓練された数ステップのサンプルよりも優れたテキスト間フローマップモデルを示す。
  論文  参考訳（メタデータ） (2025-06-17T15:06:07Z)
• Contrastive Flow Matching [61.60002028726023]
  コントラストフローマッチング(Contrastive Flow Matching)は、全ての条件フローに対して一意性を明示するフローマッチング対象の拡張である。 提案手法は,任意のサンプル対からの予測フロー間の相違を最大化するための対照的な目的を与える。 比較フローマッチングによるトレーニングモデル(1)は最大9倍のトレーニング速度,(2)は最大5倍のノイズ除去ステップ,(3)FIDを最大8.9以下に向上させる。
  論文  参考訳（メタデータ） (2025-06-05T17:59:58Z)
• How to build a consistency model: Learning flow maps via self-distillation [18.299322342860517]
  フローベース生成モデルは最先端のサンプルの品質を達成するが、推論時に微分方程式の高価な解を必要とする。 これらのモデルには、実際に効率的に学習する方法を明確に説明する統一的な記述がない。 本稿では,フローや拡散モデルに関連するフローマップを直接学習するための体系的なアルゴリズムフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-24T18:50:50Z)
• FELLE: Autoregressive Speech Synthesis with Token-Wise Coarse-to-Fine Flow Matching [56.30231216917128]
  FELLEは、言語モデリングとトークンワイドフローマッチングを統合する自動回帰モデルである。 各連続値トークンに対して、FELLEは、前ステップからの情報を組み込んで、フローマッチングにおける一般的な事前分布を変更する。 FELLEは、言語モデルの出力に基づいて階層的に連続値のトークンを生成する。
  論文  参考訳（メタデータ） (2025-02-16T13:54:32Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• Generative Flows with Invertible Attentions [135.23766216657745]
  生成フローモデルに対する2種類の非可逆的注意機構を導入する。 フロー特徴写像の2分割毎に注意重みと入力表現を学習するために,分割に基づく注意機構を利用する。 提案手法は, トラクタブルジャコビアン行列を用いた非可逆アテンションモジュールをフローベースモデルの任意の位置にシームレスに統合する。
  論文  参考訳（メタデータ） (2021-06-07T20:43:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。