論文の概要: Rectified Language Flow

• arxiv url: http://arxiv.org/abs/2610.33811v1
• Date: Sat, 24 Oct 2026 17:16:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.452023
• Title: Rectified Language Flow
• Title（参考訳）: 整形言語の流れ
• Abstract要約: 本稿では,正規化フローを用いたトークン埋め込みにノイズを伝達してテキストを生成する言語モデルであるRectified Language Flow(ReLF)を提案する。 OpenWebText上で64の関数評価を行うと、ReLFは一致した多様性における自己回帰ベースラインよりも、生成の難易度が低い。 ReLFは16の関数評価で自己回帰ベースラインを上回り、バッチサイズ1では1,024のシークエンスを15～19倍高速に生成する。
• 参考スコア（独自算出の注目度）: 9.00515911221295
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Continuous-state flow and diffusion models offer a promising approach to fast, parallel language generation, but matching the generation quality of autoregressive models remains challenging. We present Rectified Language Flow (ReLF), a language model that generates text by transporting noise to token embeddings using rectified flow. ReLF combines several complementary design choices: fixed token embeddings constructed with Hellinger-SVD, self-conditioning guidance trained with cross-entropy, and regularized reflow for few-step generation. We further introduce singular logits, which combine an analytically computed term that drives commitment to a valid token embedding as noise vanishes with a bounded neural residual that learns contextual token preferences. With 64 function evaluations on OpenWebText, ReLF achieves lower generative perplexity than autoregressive baselines at matched diversity across all three model sizes tested, while also outperforming prior continuous flow methods in this setting. After two reflow rounds, ReLF still outperforms autoregressive baselines with 16 function evaluations while generating 1,024-token sequences 15-19 times faster at batch size 1.
• Abstract（参考訳）: 連続状態の流れと拡散モデルは、高速で並列な言語生成に有望なアプローチを提供するが、自己回帰モデルの生成品質に一致することは依然として困難である。 本稿では,正規化フローを用いたトークン埋め込みにノイズを伝達してテキストを生成する言語モデルであるRectified Language Flow(ReLF)を提案する。 ReLFは、Hellinger-SVDで構築された固定トークン埋め込み、クロスエントロピーで訓練されたセルフコンディショニングガイダンス、数ステップ生成のための正規化リフローなど、いくつかの相補的な設計選択を組み合わせている。 さらに、ノイズが消えるにつれて有効なトークン埋め込みへのコミットメントを駆動する解析的に計算された用語と、文脈的トークン嗜好を学習する有界なニューラルネットワーク残差を組み合わせた特異なロジットも導入する。 OpenWebText上で64の関数評価を行うことで、ReLFは、テストされた3つのモデルサイズすべてで一致した多様性において、自己回帰ベースラインよりも低い生成的パープレキシティを実現し、また、この設定で以前の連続フローメソッドよりも優れています。 2回のリフローラウンドの後、ReLFは16の関数評価で自己回帰ベースラインを上回っ、バッチサイズ1で15～19倍高速な1,024のシーケンスを生成する。

関連論文リスト

• Large Flow Language Models [41.73884733421606]
  高速なフロー言語モデルLafaをデータ効率で8Bパラメータに拡張する。 Lafaはブロックワイズフローモデルであり、各ブロック内のプレフィックスと双方向の非同期フローに因果的な注意を払っている。 0.5B、7B、8BでLafaを30B未満のトークンで訓練し、従来の拡散モデルよりも効率的です。
  論文  参考訳（メタデータ） (2026-10-20T17:20:29Z)
• Contextual Flow Matching: Adaptive Step Selection in Flow Models for Efficient Visual Generation [19.964937692962902]
  フローマッチングは、連続時間ダイナミクスによる高品質なビジュアル生成を可能にする。 提案するCOFLOWは,逐次的特徴に基づいて各世代のステップカウントを適応的に選択する推論時手法である。 本手法はプラグ・アンド・プレイであり,基礎となる生成モデルの再学習は不要である。
  論文  参考訳（メタデータ） (2026-10-02T12:19:49Z)
• Hierarchical Continuous Diffusion Language Models [50.34180702812139]
  階層型連続拡散言語モデル(HC-DLM)を提案する。 HC-DLMは離散トークン生成と連続的な潜在軌道を1つの原理化過程で結合する。 これは、一致したモデルサイズでの離散的かつ連続的な拡散ベースライン、スドゥークとカウントダウンのパズル精度、およびLM1Bの生成パープレキシティを向上する。
  論文  参考訳（メタデータ） (2026-10-01T17:59:39Z)
• FOCUS & RePAIR: Mitigating Text Degeneration via Token-Level Guidance for Pruned Large Language Models [3.1974216220560816]
  プルーニングは大規模言語モデル(LLM)を圧縮するための実践的アプローチである 本稿では,復号化を動的プロセスとして見ることによって,この障害モードのトークンレベル解析を行う。 本研究の目的は,2つのトークンレベルの指導目標を提案することである。
  論文  参考訳（メタデータ） (2026-08-27T06:31:18Z)
• Hacking Generative Perplexity: Why Unconditional Text Evaluation Needs Distributional Metrics [49.443264461057645]
  拡散および連続フローベースの言語モデルは、言語モデリングに対する非自己回帰的な主要な代替手段として現れている。 両方のパラダイムの進歩は、生成的複雑度(gen-PPL)によって圧倒的に追跡される。 我々は、この指標は正しくないと主張している。構築により、gen-PPLは、文法性やセマンティックコヒーレンスではなく、スコアARの下でのみ予測可能性を測定する。
  論文  参考訳（メタデータ） (2026-06-07T02:35:56Z)
• Towards Closing the Autoregressive Gap in Language Modeling via Entropy-Gated Continuous Bitstream Diffusion [14.692250535148196]
  拡散言語モデル(DLM)は並列で順序に依存しない生成を約束するが、歴史的にはサンプルの品質と多様性において自己回帰モデルに遅れを取ってきた。 トークン埋め込みに対する最近の連続流れと拡散アプローチは、このギャップを狭め、連続状態空間が言語に非常に有効であることを示唆している。 本研究では,テキストを固定幅のバイナリビットストリーム上での連続拡散プロセスとしてモデル化することにより,自己回帰的ギャップをさらに埋める。
  論文  参考訳（メタデータ） (2026-05-07T22:50:51Z)
• Continuous Autoregressive Language Models [56.49239051750678]
  我々はCALM(Continuous Autoregressive Language Models)を紹介する。 CALMは高忠実度オートエンコーダを使用して、Kトークンの塊を1つの連続ベクトルに圧縮する。 我々は、堅牢なトレーニング、評価、および制御可能なサンプリングを可能にする包括的可能性のないフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-10-31T17:58:11Z)
• OneFlow: Concurrent Mixed-Modal and Interleaved Generation with Edit Flows [59.052955667723985]
  可変長および同時混合モード生成が可能な最初の非自己回帰型マルチモーダルモデルであるOneFlowを提案する。 テキストと画像生成の間の厳格な因果順序を強制する自己回帰モデルとは異なり、OneFlowは個別のテキストトークンに対する挿入ベースのEdit Flowと、画像潜伏者のためのFlow Matchingを組み合わせる。
  論文  参考訳（メタデータ） (2025-10-03T20:40:30Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• PLANNER: Generating Diversified Paragraph via Latent Language Diffusion Model [37.2192243883707]
  本稿では,潜在意味の拡散と自己回帰生成を組み合わせ,流動的なテキストを生成するモデルであるPLANNERを提案する。 意味生成, テキスト補完, 要約の結果は, 高品質な長文を生成する上での有効性を示す。
  論文  参考訳（メタデータ） (2023-06-05T01:36:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。