論文の概要: Asynchronous Flow Map Language Models

• arxiv url: http://arxiv.org/abs/2610.42018v1
• Date: Fri, 30 Oct 2026 16:51:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.817759
• Title: Asynchronous Flow Map Language Models
• Title（参考訳）: 非同期フローマップ言語モデル
• Abstract要約: AFMLMは、非同期フローのフローマップを学習することにより、予測順序を1ステップのモデリングに組み込む。 GSM8K数学語問題に対するスドゥークの解法とコード生成について、AFMLMは最先端のワンステップのパフォーマンスを新たに確立する。
• 参考スコア（独自算出の注目度）: 37.75320589369087
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The order in which tokens are predicted in language modeling has a profound impact on the quality of generated sequences. Autoregressive and masked diffusion models iteratively fill in tokens and can exploit such orderings across generation steps, but how to leverage an ordering for one-step parallel language modeling is unclear. We introduce asynchronous flow map language models (aFMLMs), which incorporate prediction order into one-step modeling by learning the flow maps of asynchronous flows. These flows specify an ordering through a tokenwise time schedule that controls the relative denoising progress of tokens. We formulate a general class of asynchronous flows that admit both prescribed and learned, state-adaptive schedules, show that they define valid flow maps, and develop new methods for their flow map distillation. The resulting models can generate all tokens in a single forward pass by internalizing the ordering encoded in the flow into their hidden computations. On Sudoku solving and code generation for GSM8K math word problems, aFMLM establishes new state-of-the-art one-step performance.
• Abstract（参考訳）: 言語モデリングにおけるトークンの予測順序は、生成されたシーケンスの品質に大きな影響を及ぼす。 自己回帰的およびマスク付き拡散モデルはトークンを反復的に満たし、生成ステップ間でそのような順序付けを活用できるが、一段階並列言語モデリングの順序付けをどのように活用するかは不明確である。 本稿では,非同期フローのフローマップを学習することにより,予測順序を一段階モデリングに組み込む非同期フローマップ言語モデル(aFMLM)を提案する。 これらのフローはトークンの相対的な記述の進行を制御するトークン単位の時間スケジュールを通して順序を指定する。 我々は、所定のスケジュールと状態適応スケジュールの両方を許容する非同期フローの一般的なクラスを定式化し、有効なフローマップを定義することを示し、フローマップ蒸留のための新しい方法を開発した。 結果として得られたモデルは、フローにエンコードされた順序を内部化し、すべてのトークンを単一の前方通過で生成することができる。 GSM8K数学語問題に対するスドゥークの解法とコード生成について、AFMLMは最先端のワンステップのパフォーマンスを新たに確立する。

関連論文リスト

• Hierarchical Continuous Diffusion Language Models [50.34180702812139]
  階層型連続拡散言語モデル(HC-DLM)を提案する。 HC-DLMは離散トークン生成と連続的な潜在軌道を1つの原理化過程で結合する。 これは、一致したモデルサイズでの離散的かつ連続的な拡散ベースライン、スドゥークとカウントダウンのパズル精度、およびLM1Bの生成パープレキシティを向上する。
  論文  参考訳（メタデータ） (2026-10-01T17:59:39Z)
• Self-conditioned Flow Map Language Models via Fixed-point Flows [22.49893428630857]
  自己条件付きフロー言語モデルは、学習したデノイザの性能をブートストラップする固定点反復を解く。 固定点フローが有効なフローマップを定義することを示し、自己条件付きフローモデルからそれらを蒸留できることを示す。 結果のフローマップ言語モデルであるFMLM$star$は、OpenWebText上で、最先端のセルフコンディショニングモデルと数ステップモデルよりも優れています。
  論文  参考訳（メタデータ） (2026-07-01T10:02:20Z)
• Masked Language Flow Models [10.204151640924454]
  フロー言語モデル(FLM)は、ノイズをクリーンなシーケンスへ輸送する連続的な流れを学習することで、この制限を横切る。 本研究では,マスキングをFLMに組み込んだMLFM(Masked Language Flow Models)を導入する。 フローベースの言語モデルがダウンストリーム推論や命令追従タスクを解決するために,初めてスケールできることが分かりました。
  論文  参考訳（メタデータ） (2026-06-26T00:16:40Z)
• Auto-Regressive Masked Diffusion Models [9.239507801466322]
  仮面拡散モデル (MDM) は言語モデリングの有望なアプローチとして登場している。 自動回帰モデル(ARM)と比較してパフォーマンスのギャップがあり、より多くのトレーニングイテレーションが必要です。 本稿では,自己回帰型マスケッド拡散モデルを提案する。これは,自己回帰型モデルのトレーニング効率と,拡散型モデルの並列生成能力を統一するものである。
  論文  参考訳（メタデータ） (2026-01-23T18:42:30Z)
• How to build a consistency model: Learning flow maps via self-distillation [18.299322342860517]
  フローベース生成モデルは最先端のサンプルの品質を達成するが、推論時に微分方程式の高価な解を必要とする。 これらのモデルには、実際に効率的に学習する方法を明確に説明する統一的な記述がない。 本稿では,フローや拡散モデルに関連するフローマップを直接学習するための体系的なアルゴリズムフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-24T18:50:50Z)
• Reviving Any-Subset Autoregressive Models with Principled Parallel Sampling and Speculative Decoding [55.2480439325792]
  任意の順序言語モデルでは、正しい関節分布からトークンを並列にサンプリングする方法がオープンな問題である。 我々は,任意のサブセット自動回帰モデル (AS-ARM) という,異なるモデルのクラスが解を持っていることを発見した。 我々は,AS-ARMがベンチマークタスクを埋め込んだ200M未満のパラメータモデル間で最先端の性能を実現し,コード生成における50倍のモデルの性能とほぼ一致していることを示す。
  論文  参考訳（メタデータ） (2025-04-29T06:33:13Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• Non-autoregressive Sequence-to-Sequence Vision-Language Models [59.445765313094434]
  本稿では,デコーダ内の複数の推論経路をマージする並列デコードシーケンス・ツー・シーケンス・ビジョン言語モデルを提案する。 このモデルは最先端の自己回帰モデルと同等のパフォーマンスを実現するが、推論時間では高速である。
  論文  参考訳（メタデータ） (2024-03-04T17:34:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。