論文の概要: Efficient Reasoning with Flow Language Models

• arxiv url: http://arxiv.org/abs/2610.09416v1
• Date: Wed, 07 Oct 2026 04:18:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.715447
• Title: Efficient Reasoning with Flow Language Models
• Title（参考訳）: フロー言語モデルによる効率的な推論
• Abstract要約: フロー言語モデル(FLM)は、離散拡散言語モデルに代わる連続状態として登場した。 連続した状態に保持された情報がどのように推論の恩恵をもたらすかを示す。 迷路計画と数独課題の実験は、FLMが数段階体制においてより高い推論効率を達成することを示す。
• 参考スコア（独自算出の注目度）: 7.898040854536975
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Flow Language Models (FLMs) have emerged as a continuous-state alternative to discrete diffusion language models, yet the role of their continuous representations in reasoning remains unclear. We investigate this question by comparing the reasoning efficiency of FLMs and discrete diffusion models, measured by solution accuracy under matched denoising steps. Unlike discrete diffusion, which passes categorical states between denoising steps, FLMs evolve a continuous sequence representation throughout denoising and decodes it into discrete tokens only at the end. Our theoretical analysis shows, from a superposition perspective, how information retained in these continuous states can benefit reasoning. Intermediate-state interventions provide further empirical support for this theoretical account, showing that removing information about alternative candidates reduces subsequent solution recovery. Together, these findings show that FLMs allow evidence for multiple candidates to persist and inform subsequent reasoning before a discrete answer is produced. Furthermore, our experiments on maze planning and Sudoku tasks show that FLMs achieve greater reasoning efficiency in the few-step regime: FLMs achieves higher sequence accuracy than discrete diffusion baselines at matched model sizes and small denoising steps. On maze planning tasks, FLMs can also achieve comparable accuracy with smaller models. For example, on Maze15, FLM reaches the 95\% accuracy target at 64 denoising steps with 36.5\% fewer parameters than MDLM. These findings point to continuous state spaces as a promising foundation for reasoning models that require fewer refinement steps.
• Abstract（参考訳）: フロー言語モデル(FLM)は、離散拡散言語モデルに代わる連続状態として登場したが、推論におけるそれらの連続表現の役割はいまだ不明である。 本研究では,FLMの推論効率と離散拡散モデルを比較し,解の精度を一致したデノナイジングステップで測定した。 分解段階間のカテゴリー的状態を通過する離散拡散とは異なり、FLMは分解過程を通じて連続的なシーケンス表現を進化させ、最後にのみ離散トークンに復号する。 我々の理論的分析は、重ね合わせの観点から、これらの連続状態に保持された情報が推論にどう役立つかを示している。 中間状態の介入は、この理論的な説明をさらに実証的に支持し、代替候補に関する情報の除去がその後の解の回復を減少させることを示す。 これらの結果は、FLMは複数の候補が個別の回答が生成される前に、後続の推論を継続し、通知する証拠を許容していることを示している。 さらに, 迷路計画と数独課題に関する実験により, FLM は数段階体制においてより推論効率が高く, FLM は一致したモデルサイズと小さなデノナイジングステップにおいて, 離散拡散ベースラインよりも高いシークエンス精度を達成できることを示した。 迷路計画タスクでは、FLMはより小さなモデルで同等の精度を達成できる。 例えば Maze15 では、FLM は MDLM よりもパラメータが 36.5 % 少ない 64 ステップで 95 % の精度目標に達する。 これらの知見は、改善ステップの少ない推論モデルの基礎として、連続状態空間を示唆している。

関連論文リスト

• Semantic DLM+: Improving Diffusion Language Models through Bias-variance Trade-off in Transition Kernel Design [59.05127237532803]
  拡散言語モデル(DLM)は、自己回帰言語モデルの代替として、強力なスケーリング能力を示している。 本稿では,この感度を一般化誤差の原理解析により検討し,3つの重要な因子を同定する。 本稿では,サンプリング中にグローバルな遷移と意味頻度のペナルティを付加するSemDLM+を提案する。
  論文  参考訳（メタデータ） (2026-06-13T14:41:55Z)
• Continuous Diffusion Scales Competitively with Discrete Diffusion for Language [48.290726603587444]
  確率ベース連続拡散言語モデル(DLM)としてRePlaidを構築する。 自己回帰モデルと比較すると,RePlaidの計算ギャップは20ドル程度であることがわかった。 また、可能性に基づくトレーニングの利点を理解するための理論的洞察も提供します。
  論文  参考訳（メタデータ） (2026-05-18T15:15:24Z)
• WeMMU: Enhanced Bridging of Vision-Language Models and Diffusion Models via Noisy Query Tokens [69.97021957331326]
  本稿では,VLMと拡散モデル間の分散表現空間をエンドツーエンドの最適化により学習するノイズクエリトークンを提案する。 また、細粒度画像の詳細を復元する線形投影を用いたVAE分岐も導入する。
  論文  参考訳（メタデータ） (2025-12-02T09:02:20Z)
• MRO: Enhancing Reasoning in Diffusion Language Models via Multi-Reward Optimization [66.82303841930752]
  拡散言語モデル (DLMs) は従来の自己回帰型大規模言語モデル (LLMs) に代わる有望な選択肢を提供する。 DLMは、特にデノナイジングステップの数が減少するにつれて、LLMよりも遅れている。 本稿では,マルチリワード最適化 (MRO) 手法を提案する。
  論文  参考訳（メタデータ） (2025-10-24T13:57:59Z)
• Latent Discrete Diffusion Models [18.979326092796896]
  言語および他の分類データに対する離散拡散について検討する。 EmphLatent Discrete Diffusion Models (LDDM)を提案する。 i)トークンと潜伏剤の完全結合分解を行うFUJI-LDDMと(ii)シークエントを逐次分解するSEQ-LDDMの2つのインスタンスを提案する。 どちらの変種に対しても、ELBOスタイルの目的を導出し、ディファソインモデリングに適さない情報的潜伏者を学習するための設計選択について議論する。
  論文  参考訳（メタデータ） (2025-10-20T21:26:52Z)
• Theoretical Benefit and Limitation of Diffusion Language Model [47.579673047639126]
  拡散言語モデルは、テキスト生成の有望なアプローチとして現れてきた。 本稿では,広く使われている拡散言語モデルMasked Diffusion Model(MDM)の厳密な理論的解析について述べる。 我々の分析は、MDMの利点と限界を理解するための最初の理論的基盤を確立している。
  論文  参考訳（メタデータ） (2025-02-13T18:59:47Z)
• Conditional [MASK] Discrete Diffusion Language Model [14.208510167132983]
  Diffusion-EAGSは、条件付きマスキング言語モデルと拡散言語モデルを統合するフレームワークである。 本研究では,Diffusion-EAGSが最高の品質・多様性のトレードオフを実現し,非自己回帰テキスト生成の有効性を示す。
  論文  参考訳（メタデータ） (2024-11-10T11:49:36Z)
• ADEPT: A DEbiasing PrompT Framework [64.54665501064659]
  ファインタニングは文脈化された単語の埋め込みを曖昧にするための応用手法である。 意味的な意味を持つ個別のプロンプトは、タスクを乱すのに有効であることが示されている。 本稿では, PLM をデバイアス化する方法であるADEPT を提案し, バイアス除去と表現能力の確保の微妙なバランスを維持しながら, 即時チューニングによる PLM のデバイアス化手法を提案する。
  論文  参考訳（メタデータ） (2022-11-10T08:41:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。