論文の概要: Large Flow Language Models

• arxiv url: http://arxiv.org/abs/2610.28559v1
• Date: Tue, 20 Oct 2026 17:20:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.944651
• Title: Large Flow Language Models
• Title（参考訳）: 大規模フロー言語モデル
• Abstract要約: 高速なフロー言語モデルLafaをデータ効率で8Bパラメータに拡張する。 Lafaはブロックワイズフローモデルであり、各ブロック内のプレフィックスと双方向の非同期フローに因果的な注意を払っている。 0.5B、7B、8BでLafaを30B未満のトークンで訓練し、従来の拡散モデルよりも効率的です。
• 参考スコア（独自算出の注目度）: 41.73884733421606
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continuous flow language models offer a path to parallel generation with tools for control and acceleration unavailable to discrete diffusion, yet effective techniques for building them at the billion-parameter scale remain less established. We present Lafa (Large flow language model), a fast, high-performing flow language model scaled to 8B parameters in a data-efficient manner. Lafa is a blockwise flow model with causal attention on the prefix and bidirectional, asynchronous flow within each block. This design enables efficient training by adapting pretrained autoregressive (AR) models and fast inference via prefix caching and blockwise parallel decoding. We train Lafa at 0.5B, 7B, and 8B scales with fewer than 30B tokens, more efficient than previous diffusion models, and evaluate it on instruction following, reasoning, and coding, where the learned flow matches or surpasses the quality of AR and can be distilled into flow maps for one- and few-step generation. Notably, flow training preserves or even improves pretrained AR capabilities via a multi-token prediction effect, which we leverage in a self-speculative decoding scheme that verifies flow-based drafts autoregressively within a single model. This yields 2.54x the throughput of an AR model at comparable quality, outperforming multi-token prediction and discrete diffusion methods. Our findings show that continuous flows can serve as a scalable foundation for language modeling.
• Abstract（参考訳）: 連続フロー言語モデルは、離散拡散に適さない制御と加速のためのツールを備えた並列生成の経路を提供するが、それを10億パラメータスケールで構築する効果的な技術は確立されていない。 高速かつ高性能なフロー言語モデルであるLafa(Large Flow Language Model)を,データ効率のよい方法で8Bパラメータに拡張した。 Lafaはブロックワイズフローモデルであり、各ブロック内のプレフィックスと双方向の非同期フローに因果的な注意を払っている。 この設計により、事前訓練された自己回帰(AR)モデルと、プレフィックスキャッシングとブロックワイド並列復号による高速推論を適用することで、効率的なトレーニングが可能になる。 0.5B、7B、8BでLafaを30B未満のトークンで訓練し、従来の拡散モデルよりも効率的で、学習したフローがARの質と一致または超え、一段階および二段階の生成のためにフローマップに蒸留できるような命令、推論、符号化に基づいて評価する。 特に,フローベースドラフトを単一モデル内で自己回帰的に検証する自己投機的復号化方式を用いて,多点予測による事前学習AR能力の維持や改善を行う。 これにより、ARモデルのスループットは2.54倍になり、マルチトーケン予測や離散拡散法よりも優れる。 この結果から,連続フローが言語モデリングのスケーラブルな基盤となる可能性が示唆された。

関連論文リスト

• DiffusionGemma Technical Report [72.10570774996219]
  DiffusionGemma(ディフュージョン・ジェマ)は、離散拡散を用いてテキストを生成する言語モデルである。 DiffusionGemmaは、一度に1つのトークンをデコードする代わりに、256個のトークンのブロックを並列に繰り返し洗練する。 私たちの計算効率の良い2段階トレーニングパイプラインは、開始したARモデルの総トレーニングトークン予算の10%未満を使用します。
  論文  参考訳（メタデータ） (2026-07-31T16:11:46Z)
• One-step Language Modeling via Continuous Denoising [36.18484491074519]
  本研究では,フローベース連続デノゲーションを利用した言語モデルが,品質と速度の両面で離散拡散よりも優れていることを示す。 我々の研究は、離散拡散過程は離散モダリティ上の生成的モデリングに必要である、という広く支持されている仮説に疑問を投げかける。
  論文  参考訳（メタデータ） (2026-02-18T19:23:07Z)
• Decoupled MeanFlow: Turning Flow Models into Flow Maps for Accelerated Sampling [68.76215229126886]
  Decoupled MeanFlowは、フローモデルをアーキテクチャ変更なしにフローマップモデルに変換するシンプルなデコード戦略である。 提案手法では, 拡散変圧器の最終ブロックを後続の時間ステップに設定し, 事前学習した流れモデルを直接フローマップとして再利用する。 ImageNet 256x256 と 512x512 では、われわれのモデルはそれぞれ2.16 と2.12 の1ステップ FID に達し、先行技術よりも大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2025-10-28T14:43:48Z)
• Fast-dLLM v2: Efficient Block-Diffusion LLM [64.38006546510337]
  Fast-dLLM v2はブロック拡散言語モデルで、訓練済みのARモデルをdLLMに適応して並列テキストを生成する。 これは、Dream(580Bトークン)のようなフルアテンション拡散LDMと比較して、トレーニングデータの500倍の減少を示す。
  論文  参考訳（メタデータ） (2025-09-30T14:40:18Z)
• FlashDLM: Accelerating Diffusion Language Model Inference via Efficient KV Caching and Guided Diffusion [22.207275433870937]
  拡散言語モデルは並列トークン生成と本質的に双方向性を提供する。 最先端拡散モデル(ドリーム7B、LLaDA 8Bなど)は推論が遅い。 我々は,トークンアンマキングを監督するために,軽量な事前学習型自己回帰モデルを用いた学習自由度法であるガイドド拡散を導入する。
  論文  参考訳（メタデータ） (2025-05-27T17:39:39Z)
• Mean Flows for One-step Generative Modeling [64.4997821467102]
  本稿では,一段階生成モデリングのための原理的かつ効果的なフレームワークを提案する。 ニューラルネットワークトレーニングのガイドには,平均速度と瞬時速度を適切に定義したアイデンティティが導出され,使用される。 提案手法はMeanFlowモデルと呼ばれ,自己完結型であり,事前学習,蒸留,カリキュラム学習は不要である。
  論文  参考訳（メタデータ） (2025-05-19T17:59:42Z)
• Block Diffusion: Interpolating Between Autoregressive and Diffusion Language Models [15.853201399662344]
  拡散言語モデルは自己回帰モデルよりも独特な利点を提供する。 確率モデリングに遅れがあり、固定長生成に制限される。 本稿では,離散化拡散モデルと自己回帰モデルとを補間するブロック拡散言語モデルについて紹介する。
  論文  参考訳（メタデータ） (2025-03-12T17:43:40Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。