論文の概要: LoopREG: Representation Supervision Enables Test-Time Recurrent Depth in Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2610.17877v1
• Date: Tue, 13 Oct 2026 07:34:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 08:25:21.456743
• Title: LoopREG: Representation Supervision Enables Test-Time Recurrent Depth in Diffusion Transformers
• Title（参考訳）: LoopREG: Representation Supervisionは拡散変換器におけるテスト時間繰り返し深さを可能にする
• Abstract要約: Reusing Transformerブロックは、テスト時に拡散モデル計算を改善する手段を提供するが、単純反復はトレーニング深度を超えて生成を劣化させることができる。 プリトレーニングされたビジュアルエンコーダによって制御される状態に共有ブロックを繰り返し適用する,表現制御型再帰拡散変換器であるLoopREGを導入する。 LoopREGは局所REGベースラインの15.08から4.91までのSiT-B/2 FIDを400Kトレーニングステップで削減し,67.41%の削減を示した。
• 参考スコア（独自算出の注目度）: 24.697458829632
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reusing Transformer blocks offers a way to increase diffusion-model computation at test time, but naive recurrence can degrade generation beyond its training depth. We introduce LoopREG, a representation-supervised recurrent diffusion Transformer that repeatedly applies a shared block at the state supervised by a pretrained visual encoder. Alignment is applied after the final recurrent visit during training; inference extends the same learned operator to additional visits. On ImageNet 256 x 256, LoopREG reduces SiT-B/2 FID from the local REG baseline's 15.08 to 4.91 at 400K training steps, a 67.41% reduction. Within a checkpoint trained with two visits, one extra inference visit improves FID from 14.71 to 5.34 with unchanged weights. The benefit persists on SiT-L/2 and SiT-XL/2. Controlled interventions show that useful recurrence follows the location of representation supervision, while REPA alignment produces a smaller extrapolation benefit. These results make representation-supervised recurrence a practical route to improving diffusion generation through additional inference depth.
• Abstract（参考訳）: Reusing Transformerブロックは、テスト時に拡散モデル計算を改善する手段を提供するが、単純反復はトレーニング深度を超えて生成を劣化させることができる。 プリトレーニングされたビジュアルエンコーダによって制御される状態に共有ブロックを繰り返し適用する,表現制御型再帰拡散変換器であるLoopREGを導入する。 トレーニング中の最後の繰り返し訪問の後、アライメントが適用される。 ImageNet 256 x 256では、LoopREGはSiT-B/2 FIDを地元のREGベースラインの15.08から400Kのトレーニングステップで4.91に削減し、67.41%の削減を実現した。 2回の訪問で訓練されたチェックポイント内では、1回の追加の推測訪問により、FIDが14.71から5.34に改善され、重量は変化しない。 この利点はSiT-L/2とSiT-XL/2に持続する。 制御された介入は、REPAアライメントがより小さな外挿効果をもたらすのに対して、表現監督の場所に続く有用な再発が示される。 これらの結果から,表現指導による再帰は,追加の推論深度による拡散生成を改善するための実践的な経路となる。

関連論文リスト

• Scaffold Then Internalize: Representation Injection for Diffusion Transformers [28.881809006155436]
  最近の表現アライメント(REPA)法は拡散変圧器訓練を加速させる。 拡散変換器にエンコーダ表現を注入し、復調プロセスに積極的に参加できるようにする。 わずか160Kのトレーニングステップで、REPI + REPAのバニラSiTが7Mのステップでトレーニングされた。
  論文  参考訳（メタデータ） (2026-09-28T14:36:31Z)
• Beyond the Training Horizon: Mechanisms and Limits of Length Generalization in Looped Transformers [33.164973715246866]
  ループトランスフォーマーは、トレーニング中に遭遇したチェーンよりも長い推論チェーンに一般化することができる。 We compare two looped-transformer, which we called Matched-Recurrence Looped Transformer (MR-Loop) and Decoupled-Recurrence Looped Transformer (DR-Loop)。 リカレントステートはタスク関連コンテンツだけでなく,その計算状態も符号化する。
  論文  参考訳（メタデータ） (2026-09-27T03:15:00Z)
• DeepLoop: Depth Scaling for Looped Transformers [91.7922038545625]
  ループ変換器は、複数のラウンドにコンパクトな物理ブロックのスタックを適用することで、シーケンシャルな計算をスケールする。 我々は、この密着した深さ効果を、訪問配向係数によって制御された一階の摂動によって定式化する。 結果のメソッド textbfDeepLoop は Post-LN DeepNorm アーキテクチャを保持し、非ロール深度に対して $= (2N)1/2$ と $=(8N)-1/2$ をセットする。
  論文  参考訳（メタデータ） (2026-07-15T06:37:05Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• Representation Entanglement for Generation: Training Diffusion Transformers Is Much Easier Than You Think [63.25744258438214]
  REPAとその変種は、事前訓練されたモデルから外部の視覚表現を取り入れることで、拡散モデルのトレーニング課題を効果的に軽減する。 偏見推論過程全体において欠落している外部アライメントは、識別的表現の可能性を完全に活用するに足らないと我々は主張する。 本稿では,事前学習した基礎モデルから,低レベル画像ラテントを1つの高レベルクラストークンで絡み合わせるRepresentation Entanglement for Generation (REG)を提案する。
  論文  参考訳（メタデータ） (2025-07-02T08:29:18Z)
• REPA-E: Unlocking VAE for End-to-End Tuning with Latent Diffusion Transformers [52.55041244336767]
  従来のディープラーニングの知恵は、エンド・ツー・エンドのトレーニングが可能な限り望ましいと判断する。 遅延拡散変換器では,標準拡散損失を用いたVAEと拡散モデルの両方のエンドツーエンドトレーニングが有効でないことが観察された。 拡散損失は非効率であるが,表現アライメント(REPA)の損失によってエンドツーエンドのトレーニングをアンロックできることが示されている。
  論文  参考訳（メタデータ） (2025-04-14T17:59:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。