論文の概要: Self-Regularized Flow Language Models

• arxiv url: http://arxiv.org/abs/2610.37115v1
• Date: Tue, 27 Oct 2026 12:12:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.582734
• Title: Self-Regularized Flow Language Models
• Title（参考訳）: 自己正規化フロー言語モデル
• Abstract要約: SERF(Self-Regularized Flow Language Models)は、連続拡散言語モデルを改善するためのフレームワークである。 我々はSERFがOpenWebText上で最大7.7倍のウォールクロックのトレーニングアクセラレーションを達成することを示す。
• 参考スコア（独自算出の注目度）: 13.292849179066993
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce SERF (Self-Regularized Flow Language Models), a simple self-supervised framework for improving continuous diffusion language models by exploiting the denoising trajectory itself. While continuous flow-based language models offer a promising alternative to autoregressive generation, their training objectives typically rely on supervision from clean target tokens, leaving the denoising trajectory underexploited as a learning signal. SERF addresses this limitation through noisy-to-clean self-distillation: an exponential moving average (EMA) teacher receives a cleaner version of the student's noisy input along the same interpolation path and provides additional supervision. We investigate two variants: SERF-L, which aligns the student's intermediate representations with deeper teacher representations, and SERF-P, which aligns their output token distributions, either at the student's output or at an early student layer. All variants augment the standard training objective without requiring external pretrained models or modifying the inference procedure. Experiments across three continuous language-model paradigms (one-hot FLM, latent ELF, and hyper-spherical S-FLM) demonstrate substantial improvements in training efficiency, generation quality, and few-step generation. In particular, SERF achieves up to 7.7x wall-clock training acceleration on OpenWebText, improves MAUVE by 24.3% and GSM8K accuracy by up to 28.8%, and matches baseline performance with up to 64x fewer sampling steps. These results establish noisy-to-clean self-distillation as an effective approach to improving continuous diffusion language models.
• Abstract（参考訳）: 提案するSERF(Self-Regularized Flow Language Models)は,連続拡散言語モデルを改善するための簡易な自己教師型フレームワークである。 継続的フローベースの言語モデルは自己回帰生成に代わる有望な代替手段を提供するが、トレーニングの目的は通常、クリーンなターゲットトークンからの監視に依存し、学習信号として過小評価された軌道を残しておく。 指数移動平均(EMA)教師は、同じ補間経路に沿って生徒の雑音入力のよりクリーンなバージョンを受け取り、追加の監督を行う。 学生の中間表現をより深い教師表現と整列するSERF-Lと、学生の出力層と初期学生層の両方で出力トークン分布を整列するSERF-Pの2つの変種について検討する。 すべての派生型は、外部の事前訓練されたモデルや推論手順を変更することなく、標準のトレーニング目標を増強する。 3つの連続言語モデルパラダイム(One-hot FLM, latent ELF, hyper-spherical S-FLM)による実験は、トレーニング効率、生成品質、および数ステップ生成において大幅に改善されている。 特に、SERFはOpenWebText上で最大7.7倍のウォールクロックトレーニングアクセラレーションを実現し、MAUVEを24.3%改善し、GSM8Kの精度を28.8%向上させ、ベースライン性能を最大64倍のサンプリングステップで一致させる。 これらの結果は、連続拡散言語モデルを改善する効果的なアプローチとして、ノイズからクリーンな自己蒸留を確立する。

関連論文リスト

• One-step Language Modeling via Continuous Denoising [36.18484491074519]
  本研究では,フローベース連続デノゲーションを利用した言語モデルが,品質と速度の両面で離散拡散よりも優れていることを示す。 我々の研究は、離散拡散過程は離散モダリティ上の生成的モデリングに必要である、という広く支持されている仮説に疑問を投げかける。
  論文  参考訳（メタデータ） (2026-02-18T19:23:07Z)
• Representation Alignment for Generation: Training Diffusion Transformers Is Easier Than You Think [72.48325960659822]
  生成のための大規模拡散モデルの訓練における主要なボトルネックは、これらの表現を効果的に学習することにある。 本稿では,RePresentation Alignment (REPA) と呼ばれる単純な正規化を導入し,ノイズの多い入力隠れ状態の投影を,外部の事前学習された視覚エンコーダから得られるクリーンな画像表現と整合させる手法を提案する。 我々の単純な戦略は、一般的な拡散やDiTsやSiTsといったフローベースのトランスフォーマーに適用した場合、トレーニング効率と生成品質の両方に大きな改善をもたらす。
  論文  参考訳（メタデータ） (2024-10-09T14:34:53Z)
• DiffusionBERT: Improving Generative Masked Language Models with Diffusion Models [81.84866217721361]
  DiffusionBERTは離散拡散モデルに基づく新しい生成マスク付き言語モデルである。 本稿では,各ステップに付加される雑音の度合いを制御する前方拡散プロセスのための新しいノイズスケジュールを提案する。 非条件テキスト生成の実験では、DiffusionBERTは既存のテキスト拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-11-28T03:25:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。