論文の概要: Scaffold Then Internalize: Representation Injection for Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2609.35292v1
• Date: Mon, 28 Sep 2026 14:36:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 06:46:39.968337
• Title: Scaffold Then Internalize: Representation Injection for Diffusion Transformers
• Title（参考訳）: Scaffold が内部化:拡散変換器の表現注入
• Abstract要約: 最近の表現アライメント(REPA)法は拡散変圧器訓練を加速させる。 拡散変換器にエンコーダ表現を注入し、復調プロセスに積極的に参加できるようにする。 わずか160Kのトレーニングステップで、REPI + REPAのバニラSiTが7Mのステップでトレーニングされた。
• 参考スコア（独自算出の注目度）: 28.881809006155436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent representation alignment (REPA) methods accelerate diffusion transformer training by aligning projections of the transformer's hidden states with representations from pretrained visual encoders. In this work, we explore a reverse and complementary direction to REPA: rather than projecting diffusion representations into the encoder's space, we inject encoder representations into the diffusion transformer, allowing them to actively participate in the denoising process. To this end, we introduce \textit{REPresentation Injection} (REPI), a training framework based on a scaffold-to-internalization strategy, in which projected encoder representations initially serve as a temporary scaffold and are then progressively internalized by the diffusion transformer. REPI outperforms REPA across a wide range of backbones and is highly complementary to it: combining the two yields substantial gains over either alone. Notably, with only 160K training steps, REPI + REPA matches vanilla SiT trained for 7M steps, a speedup of over $43.5\times$. Code will be available at https://jeneveuxpas.github.io/REPI
• Abstract（参考訳）: 最近の表現アライメント (REPA) 法は, トランスフォーマーの隠蔽状態の投影と, 予め訓練した視覚エンコーダの表現を協調させることにより, 拡散トランスフォーマトレーニングを加速させる。 本研究では,拡散表現をエンコーダ空間に投影する代わりに,拡散変換器にエンコーダ表現を注入し,復調過程に積極的に参加できるようにする。 そこで本研究では,まず,プロジェクションされたエンコーダ表現が一時的な足場として機能し,拡散変換器によって段階的に内部化されるような,足場から内部化戦略に基づくトレーニングフレームワークである「textit{REPresentation Injection} (REPI)」を紹介する。 REPIはREPAを幅広いバックボーンで上回り、それと非常に相補的な働きをする。 特に、わずか160Kのトレーニングステップで、REPI + REPAのバニラSiTが7Mのステップでトレーニングされ、スピードアップは43.5\times$.99ドルである。 コードはhttps://jeneveuxpas.github.io/REPIで公開される。

関連論文リスト

• Improved Baselines with Representation Autoencoders [61.47127824064028]
  表現オートエンコーダ(RAE)は、従来のVAEを事前訓練された視覚エンコーダに置き換える。 RAEを単純化し、改善する3つの洞察が得られます。 RAEv2はオリジナルのRAEよりも10倍以上早く収束する。
  論文  参考訳（メタデータ） (2026-05-18T12:42:34Z)
• VAE-REPA: Variational Autoencoder Representation Alignment for Efficient Diffusion Training [53.09658039757408]
  本稿では,効率的な拡散訓練のための軽量な固有ガイダンスフレームワークである textbfnamex を提案する。 nameは、拡散トランスフォーマーの中間潜時特徴を、軽量なプロジェクション層を介してVAE特徴と整列し、特徴アライメントロスによって教師される。 実験により、バニラ拡散変圧器と比較して、名称が生成品質とトレーニング収束速度の両方を改善することが示された。
  論文  参考訳（メタデータ） (2026-01-25T13:22:38Z)
• Diffusion Transformers with Representation Autoencoders [35.43400861279246]
  事前学習された自己エンコーダが拡散過程の遅延空間に画素をマッピングする潜在生成モデリングは拡散変換器(DiT)の標準戦略となっている。 ほとんどのDiTはオリジナルのVAEエンコーダに依存しており、いくつかの制限が課されている。 本研究では、VAEをトレーニングされたデコーダと組み合わせた事前訓練された表現エンコーダに置き換え、Representation Autoencoders (RAE) と呼ぶものを形成する。
  論文  参考訳（メタデータ） (2025-10-13T17:51:39Z)
• REPA-E: Unlocking VAE for End-to-End Tuning with Latent Diffusion Transformers [52.55041244336767]
  従来のディープラーニングの知恵は、エンド・ツー・エンドのトレーニングが可能な限り望ましいと判断する。 遅延拡散変換器では,標準拡散損失を用いたVAEと拡散モデルの両方のエンドツーエンドトレーニングが有効でないことが観察された。 拡散損失は非効率であるが,表現アライメント(REPA)の損失によってエンドツーエンドのトレーニングをアンロックできることが示されている。
  論文  参考訳（メタデータ） (2025-04-14T17:59:53Z)
• Fast Training of Diffusion Models with Masked Transformers [107.77340216247516]
  マスク付き変圧器を用いた大規模拡散モデルの学習に有効な手法を提案する。 具体的には、トレーニング中に拡散された入力画像のパッチの割合をランダムにマスキングする。 ImageNet-256x256 と ImageNet-512x512 の実験により,我々の手法は最先端の拡散変換器 (DiT) モデルよりも競争力があり,より優れた生成性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-06-15T17:38:48Z)
• Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers [149.78470371525754]
  セマンティックセグメンテーションをシーケンスからシーケンスへの予測タスクとして扱う。 具体的には、イメージをパッチのシーケンスとしてエンコードするために純粋なトランスをデプロイします。 トランスのすべての層でモデル化されたグローバルコンテキストにより、このエンコーダは、SETR(SEgmentation TRansformer)と呼ばれる強力なセグメンテーションモデルを提供するための単純なデコーダと組み合わせることができる。 SETRはADE20K(50.28% mIoU)、Pascal Context(55.83% mIoU)、およびCityscapesの競争力のある結果に関する最新技術を達成している。
  論文  参考訳（メタデータ） (2020-12-31T18:55:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。