論文の概要: Recursive Scaling in Masked Diffusion Models

• arxiv url: http://arxiv.org/abs/2606.18022v1
• Date: Tue, 16 Jun 2026 15:02:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.500599
• Title: Recursive Scaling in Masked Diffusion Models
• Title（参考訳）: 仮設拡散モデルにおける再帰的スケーリング
• Authors: Alba Carballo-Castro, Julianna Piskorz, Paulius Rauba, Mihaela van der Schaar, Pascal Frossard,
• Abstract要約: マスク付き拡散モデル (MDMs) は近年, シーケンス生成において有望なパラダイムとして浮上している。 本稿では,R-MDM(Recursive Masked Diffusion Models)を導入し,パラメータ数を増やすことなくモデル深度を増加させる。 Sudoku や Countdown などの構造化された生成タスク全体で、R-MDM がパラメータ効率を大幅に向上することを示す。
• 参考スコア（独自算出の注目度）: 67.93066069475753
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked diffusion models (MDMs) have recently emerged as a promising paradigm for sequence generation. Scaling MDMs is conventionally achieved by increasing the parameter count or the number of denoising steps. We introduce Recursive Masked Diffusion Models (R-MDMs), which add recursive depth as a third scaling axis by repeatedly applying the same denoising transformer within each diffusion step. Recursion enables iterative refinement of the output through parameter reuse, increasing effective model depth without increasing parameter count. Across structured generation tasks, including Sudoku and Countdown, we show that R-MDMs achieve substantially improved parameter efficiency: a model with $L$ recursive iterations often matches the performance of non-recursive baselines with roughly $L\times$ more parameters. Moreover, recursive refinement can partially substitute for additional denoising steps, allowing recursive models to reach the same generation quality with fewer forward passes at inference time. These results suggest that recursive depth is a practically useful scaling mechanism for MDMs, improving both parameter efficiency and the allocation of test-time compute.
• Abstract（参考訳）: マスク付き拡散モデル (MDMs) は近年, シーケンス生成において有望なパラダイムとして浮上している。 従来のMDMのスケーリングは、パラメータ数やデノナイジングステップの数を増やすことで実現されている。 拡散ステップ毎に同じデノナイジング変圧器を繰り返し適用することにより、再帰深さを第3のスケーリング軸として付加する再帰的マスク付き拡散モデル(R-MDMs)を導入する。 再帰はパラメータ再利用による出力の反復的改善を可能にし、パラメータ数を増やすことなく効果的なモデル深度を増大させる。 Sudoku や Countdown などの構造化された生成タスク全体で、R-MDM はパラメータ効率を大幅に向上することを示す:$L$再帰反復のモデルはしばしば、約$L\times$より多くのパラメータで非再帰ベースラインのパフォーマンスと一致する。 さらに、再帰的改善は、部分的に追加のデノナイジングステップに代えて、再帰的モデルが推論時にフォワードパスを減らして同じ世代品質に到達できるようにする。 これらの結果から,再帰深度はMDMのスケーリング機構として有用であることが示唆された。

関連論文リスト

• Looped Diffusion Language Models [47.8566079047557]
  マスケード拡散モデル(MDM)は、言語モデリングのための自己回帰モデルに代わる有望な代替品として登場した。 初期中間変圧器層を選択的にループすることで,MDMのトレーニング効率とモデル性能が向上することを示す。
  論文  参考訳（メタデータ） (2026-05-25T17:58:24Z)
• Discrete Stochastic Localization for Non-autoregressive Generation [17.56505846228918]
  エンハンチングだけでMDLM/ReMDMサンプリングのステップ効率を大幅に改善できることを示す。 OpenWebTextでは、textsc fine-tuningはMDLM+ReMDMを上回り、低ステップの予算でMAUVEが大きな利益を得る。 分析の結果、自己補正と不確実性の校正が改善され、リマキングは計算効率が著しく向上した。
  論文  参考訳（メタデータ） (2026-02-18T04:05:40Z)
• SpiralFormer: Looped Transformers Can Learn Hierarchical Dependencies via Multi-Resolution Recursion [24.26069897783496]
  SpiralFormerはループトランスフォーマーで、マルチレゾリューション再帰スケジュール下で繰り返し実行される。 モデルスケール160Mから1.4Bのループベースラインと非ループベースラインのどちらよりも,SpralFormerの方がパラメータと計算効率がよいことを示す。
  論文  参考訳（メタデータ） (2026-02-12T08:23:21Z)
• Looping Back to Move Forward: Recursive Transformers for Efficient and Flexible Large Multimodal Models [63.47909317137073]
  大規模マルチモーダルモデル (LMM) は視覚言語計算タスクにおいて顕著な成功を収めた。 しかし、その膨大なパラメータ数は、トレーニングと推論の両方で利用されていないことが多い。 LMMに適した再帰トランスフォーマーアーキテクチャであるRecursiveVLMを提案する。
  論文  参考訳（メタデータ） (2026-02-09T17:58:23Z)
• MeSH: Memory-as-State-Highways for Recursive Transformers [23.995570647573484]
  パラメータが少ない再帰モデルは、マッチした計算の下では非再帰的モデルよりも遅れることが多い。 隠れた状態を探索することで、このパフォーマンスギャップを2つの主要なボトルネックにトレースします。 メモリ管理を明示的なメモリバッファに外部化するメモリ・アズ・ステート・ハイウェイ方式を導入する。
  論文  参考訳（メタデータ） (2025-10-09T03:23:38Z)
• Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Computation [61.67090981767583]
  本研究では,Mixture-of-Recursions (MoR)を導入した。 MoRはパラメータ効率を達成するために再帰ステップをまたいだ共有レイヤのスタックを再利用し、軽量ルータは適応トークンレベルの思考を可能にする。 また、メモリフットプリントをさらに削減するために、KVペアを最初の再帰から再利用するKV共有変種を提案する。
  論文  参考訳（メタデータ） (2025-07-14T17:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。