論文の概要: Residual-Stream Burden Shapes Representation Learning in Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2609.33895v1
• Date: Sun, 27 Sep 2026 20:17:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 15:50:19.082619
• Title: Residual-Stream Burden Shapes Representation Learning in Diffusion Transformers
• Title（参考訳）: 拡散変換器における残留ストリームバーデン形状表現学習
• Abstract要約: 拡散ベースの生成では、ニューラルネットワークをトレーニングして、ノイズやノイズの入力からクリーンなデータを予測することができる。 最終読み出しの深さを通したノイズ依存入力変動を維持するために,雑音のターゲットは残差ストリームを必要とすると論じる。 スペクトル集中されたクリーンターゲットは、より軽量な要求を課し、その後の計算のために隠れた表現を整理する自由を保ちます。
• 参考スコア（独自算出の注目度）: 74.0530486095232
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In diffusion-based generation, a neural network can be trained to predict the clean data, the noise, or the velocity from a noisy input. These prediction targets are interconvertible and describe the same generative process, yet plain Diffusion Transformers operating on large pixel patches succeed with clean prediction and fail with noise or velocity prediction. We argue that this asymmetry arises because noisy targets require the residual stream to preserve noise-dependent input variation through depth for the final readout, forcing subsequent layers to compute on noisy representations. A spectrally concentrated clean target imposes a lighter demand, leaving greater freedom to organize hidden representations for subsequent computation. We call this preservation requirement *residual-stream burden* and show how it shapes representation learning in Diffusion Transformers. Controlled experiments indicate that the exploitable structure is spectral concentration in patch space and that the bandwidth of the persistent residual state is a key resource for noisy prediction. We further show that this account is consistent with recent decoupled pixel-space architectures, whose diverse designs all reduce the residual-stream burden on the main pathway. To examine this understanding from a complementary direction, we expand and reorganize the residual-stream bandwidth directly, introducing Spatially Indexed Hyper-Connections (SiHC) that reach FID 1.71 on ImageNet $256^2$. Together, these results identify residual-stream burden as a mechanism through which prediction targets and architecture jointly shape representation learning in Diffusion Transformers.
• Abstract（参考訳）: 拡散ベースの生成では、ニューラルネットワークをトレーニングして、ノイズやノイズの入力からクリーンなデータを予測することができる。 これらの予測対象は変換可能であり、同じ生成過程を記述するが、大きなピクセルパッチで動作する平易な拡散変換器はクリーンな予測に成功し、ノイズや速度予測に失敗する。 この非対称性は、ノイズのターゲットが最後の読み出しの深さを通してノイズ依存の入力変動を保存するために残差ストリームを必要とするためであり、後続の層はノイズの表現を計算せざるを得ないからである、と我々は主張する。 スペクトル集中されたクリーンターゲットは、より軽量な要求を課し、その後の計算のために隠れた表現を整理する自由を保ちます。 我々は、この保存要件を*残留ストリーム負荷*と呼び、拡散変換器における表現学習をどのように形作るかを示す。 制御された実験により、悪用可能な構造はパッチ空間のスペクトル集中であり、残留状態のバンド幅がノイズ予測の鍵となることが示されている。 さらに、この説明は、近年の分離された画素空間アーキテクチャと一致しており、様々な設計が主経路の残差を低減していることを示す。 この理解を補完的な方向から検証するため,ImageNet $256^2$でFID 1.71に達するSpatially Indexed Hyper-Connections (SiHC)を導入して,残ストリーム帯域を直接拡張・再編成する。 これらの結果から,拡散変換器における予測対象とアーキテクチャの連成形表現学習のメカニズムとして残流重みを同定した。

関連論文リスト

• Tracing distinguishability through transformer processing with stochastic LayerNorm [0.0]
  表現量を与え、類似性を統計的識別可能性に変換する。 我々は、LayerNormへのライトタッチ修正により、事前訓練されたトランスフォーマーでこのアイデアを実現した。 これらの結果は、トランス計算における機能接地レンズとしての識別可能性を確立する。
  論文  参考訳（メタデータ） (2026-08-31T12:57:38Z)
• Where Does Generative Difficulty Reside? An Empirical Study of Target Representations [62.54876287800644]
  ターゲット表現は、イメージジェネレータが学ぶ必要がある分布を定義するが、しばしば交換可能なインターフェースとして扱われる。 マスク付き自己回帰整流モデルにおいて,生画素,SD-VAE潜伏剤,DINOv2,MAE表現-オートエンコーダの特徴について検討した。 その結果, 圧縮, 再構成忠実度, トークン次元, 可視的セマンティッククラスタリングは生成挙動を個別に予測できないことがわかった。
  論文  参考訳（メタデータ） (2026-08-01T12:32:31Z)
• TRaM-VSR: Importance-Aware Token Routing and Merging for One-Step Diffusion Video Super-Resolution [52.96050253456634]
  TRaM-VSRは、コンテキスト対応のビデオプリエントとネットワークレベルを用いた適応トークンアロケーションのためのフレームワークである。 その結果、TRaM-VSRは、最先端の復元品質と頑健な時間的整合性を維持しつつ、推論を著しく加速することがわかった。
  論文  参考訳（メタデータ） (2026-07-24T11:57:26Z)
• CrossFlow: One-Step Generation Across Latent and Pixel Spaces [61.08358796319721]
  CrossFlowは、ノイズの多い遅延入力を直接ピクセル空間イメージにマッピングする、クロススペースフローの定式化である。 クラス条件のImageNet-1kの$256times256$では、CrossFlow-XLは1つの関数評価で1.62 FIDを達成する。
  論文  参考訳（メタデータ） (2026-06-18T09:10:28Z)
• Show the Signal, Hide the Noise: Spectral Forcing for Pixel-Space Diffusion [46.51681899437508]
  本稿では,パラメータフリーで時間条件付き2D-DCTローパス演算子であるSpectral Forcingを導入する。 その遮断は拡散時間とともに単調に膨張し、データエンドポイントのアイデンティティとなる。 JiT-700M/32のImageNet-256では、Spectral Forcingは、異なるトレーニングエポック間で、FIDとInception Scoreの両方を一貫して改善している。
  論文  参考訳（メタデータ） (2026-06-13T10:29:11Z)
• FreSca: Scaling in Frequency Space Enhances Diffusion Models [55.75504192166779]
  本稿では,潜時拡散モデルにおける周波数制御について検討する。 本稿では,低周波成分と高周波成分にノイズ差を分解する新しいフレームワークFreScaを紹介する。 FreScaはモデルの再トレーニングやアーキテクチャの変更なしに動作し、モデルとタスクに依存しない制御を提供する。
  論文  参考訳（メタデータ） (2025-04-02T22:03:11Z)
• Diffusion-GAN: Training GANs with Diffusion [135.24433011977874]
  GAN(Generative Adversarial Network)は、安定してトレーニングすることが難しい。 フォワード拡散チェーンを利用してインスタンスノイズを生成する新しいGANフレームワークであるDiffusion-GANを提案する。 我々は,Diffusion-GANにより,最先端のGANよりも高い安定性とデータ効率で,よりリアルな画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2022-06-05T20:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。