論文の概要: Looped Diffusion Transformer

• arxiv url: http://arxiv.org/abs/2609.40305v1
• Date: Wed, 30 Sep 2026 17:52:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:28.281892
• Title: Looped Diffusion Transformer
• Title（参考訳）: ループ拡散変圧器
• Abstract要約: 分割ステップ毎に共有トランスフォーマーブロックを繰り返し実行することで、計算をスケールする別の方法を模索する。 ナイーブループは 画像の質を 常に向上させません ループ型拡散変換器(Looped Diffusion Transformer, Looped-DiT)を提案する。
• 参考スコア（独自算出の注目度）: 126.10100109922593
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Improving text-to-image models has traditionally relied on increasing model size or the number of denoising steps. In this work, we explore an alternative way to scale computation by repeatedly running shared Transformer blocks within each denoising step, effectively increasing computational depth while keeping the parameter count fixed. This looped computation enables iterative refinement of internal representations without explicit reasoning tokens. However, naive looping fails to consistently improve image quality. We trace this problem to weak supervision across intermediate loops and unregulated attention updates that progressively erode local information. To overcome these challenges, we propose Looped Diffusion Transformer (Looped-DiT), which combines deep supervision across intermediate loops with self-modulating attention to stabilize looped feature updates. Under matched-parameter and matched-compute settings, Looped-DiT consistently outperforms non-looped baselines. Notably, a 260M-parameter looped model can surpass a model 6.5x larger across multiple text-to-image benchmarks while requiring 4.9x lower inference compute. Beyond this performance gain, we find that looped computation can offer a more effective form of iterative computation for diffusion models, with increasing loop depth yielding larger gains than adding more denoising steps under a fixed inference budget. Furthermore, deeper loops can progressively correct mistakes made in earlier loops, exhibiting behaviors suggestive of latent reasoning. Together, these results show that looped computation offers a promising way to scale visual generation models.
• Abstract（参考訳）: テキスト・ツー・イメージモデルの改善は伝統的に、モデルのサイズやデノナイジングステップの数の増加に依存してきた。 本研究では,各聴覚ステップ内で共有トランスフォーマーブロックを繰り返し実行し,パラメータ数を一定に保ちながら計算深度を効果的に増大させることにより,計算をスケールする別の方法を検討する。 このループ計算により、明示的な推論トークンを使わずに内部表現を反復的に洗練することができる。 しかし、ナイーブループは画像品質を継続的に改善することができない。 我々は、この問題を、中間ループをまたいだ監督の弱さと、局所情報を段階的に消去する非規制の注意更新に追跡する。 これらの課題を克服するため,ループ型拡散変換器 (Looped-DiT) を提案する。 マッチしたパラメータとマッチした計算設定では、Looped-DiTは非ループのベースラインを一貫して上回る。 特に、260Mのパラメトリックループモデルでは、複数のテキストと画像のベンチマークでモデル6.5倍大きくなり、推論計算は4.9倍低くなる。 この性能向上以外にも、ループ計算は拡散モデルに対してより効果的な反復計算形式を提供し、ループ深度の増加は、固定された推論予算の下でより多くのデノイングステップを追加するよりも大きなゲインをもたらす。 さらに、より深いループは、初期のループで犯された誤りを徐々に修正し、潜伏した推論を示唆する振る舞いを示す。 これらの結果から,ループ計算が視覚生成モデルを拡張するための有望な方法であることが示された。

関連論文リスト

• Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models [75.80275843320511]
  トランスフォーマーのバックボーンを固定したまま、各トークンにより多くの計算を割り当てることで、既存のバックボーンが改善を続けることができるかどうかを検討する。 継続事前学習中に適用されたシーケンス長スケーリング手法であるHidden Decodingを提案する。
  論文  参考訳（メタデータ） (2026-07-09T07:37:59Z)
• Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
  共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。 この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。 私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
  論文  参考訳（メタデータ） (2026-06-29T08:58:09Z)
• One Step Forward and K Steps Back: Better Reasoning with Denoising Recursion Models [4.903188186588148]
  Denoising Recursion Modelsは、データをノイズで汚すが、複数のステップで破損を逆転させるようモデルを訓練する手法である。 この戦略は、中間状態の抽出可能なカリキュラムを提供すると同時に、テストとの整合性を向上し、非グレーディで前向きな世代にインセンティブを与える。 この手法はARC-AGI上のTiny Recursion Modelよりも優れており、最近はブレークスルー性能を達成している。
  論文  参考訳（メタデータ） (2026-04-20T21:06:12Z)
• LoopFormer: Elastic-Depth Looped Transformers for Latent Reasoning via Shortcut Modulation [9.943277041891788]
  可変長トラジェクタで訓練されたループ変換器であるLoopFormerを導入し、予算条件の推論を可能にする。 私たちのコアコントリビューションは、異なる長さの軌跡を整列するショートカット一貫性トレーニングスキームです。 LoopFormerは、アグレッシブな計算制約下でさえ、言語モデリングと推論ベンチマークで堅牢なパフォーマンスを示す。
  論文  参考訳（メタデータ） (2026-02-11T23:58:28Z)
• LazyDiT: Lazy Learning for the Acceleration of Diffusion Transformers [79.07412045476872]
  拡散変換器は、様々な生成タスクの優越的なモデルとして登場してきた。 各拡散段階におけるモデル全体の実行は不要であることを示し、いくつかの計算は以前のステップの結果を遅延的に再利用することでスキップできることを示した。 遅延学習フレームワークを提案する。このフレームワークは,初期ステップからキャッシュされた結果を効率よく活用し,冗長な計算を省略する。
  論文  参考訳（メタデータ） (2024-12-17T01:12:35Z)
• Fast constrained sampling in pre-trained diffusion models [80.99262780028015]
  任意の制約下で高速で高品質な生成を可能にするアルゴリズムを提案する。 我々の手法は、最先端のトレーニングフリー推論手法に匹敵するか、超越した結果をもたらす。
  論文  参考訳（メタデータ） (2024-10-24T14:52:38Z)
• Loop Neural Networks for Parameter Sharing [1.1049608786515839]
  本稿では,モデルサイズを増大させることなく,より長い計算時間を活用することにより,より優れた性能を実現するループニューラルネットワークを提案する。 提案手法では,残差接続を持つモデルのサブセットを反復的にループすることで,入力を複数回再検討する。 本手法の有効性を,GPT-2とループモデルの比較実験により実証し,類似したパラメータ数を維持しつつ,言語モデリングタスクの性能向上を示す。
  論文  参考訳（メタデータ） (2024-09-21T17:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。