論文の概要: No Channels Left Behind: Understanding Diffusion Acceleration through Residual Gates

• arxiv url: http://arxiv.org/abs/2610.40914v1
• Date: Thu, 29 Oct 2026 19:35:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.481076
• Title: No Channels Left Behind: Understanding Diffusion Acceleration through Residual Gates
• Title（参考訳）: 内部ゲートによる拡散加速の理解
• Abstract要約: REPAや分散正規化のような拡散変圧器の訓練加速法は、追加の監督、空間構造事前、改良された特徴幾何によって一般的に説明される。 AdaLN-Zero残差ゲート$$は、条件付き更新が残差ストリームに入る方法を直接制御するものであり、これらの方法で実質的に再編成されている。
• 参考スコア（独自算出の注目度）: 40.35809182042111
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training acceleration methods for diffusion transformers, such as REPA and dispersive regularization, are commonly explained by additional supervision, spatial-structure priors, or improved feature geometry. We revisit this view and uncover a striking internal change: the AdaLN-Zero residual gate $α$, which directly controls how conditioned updates enter the residual stream, is substantially reorganized by these methods. This observation motivates our hypothesis that acceleration arises, at least in part, from reshaping the residual gating pathway rather than solely from the feature structures explicitly imposed by auxiliary objectives. Supporting this view, accelerated models are markedly more sensitive to perturbations of $α$, and their gate geometry reflects semantic relationships among classes. We further introduce the normalized participation ratio (nPR) to characterize the channel-wise organization of the gates and find that, across REPA teachers, projector architectures, and radial-objective targets, broader gate participation accompanies better generation quality. Guided by this insight, we propose a simple teacher-free radial objective that promotes broader gate participation through feature-norm regularization, without pairwise feature comparisons. On ImageNet $256\times256$ with SiT-B/2, our method improves FID over dispersive loss while increasing mean gate participation over timesteps and classes, further supporting the link between gate organization and training acceleration. Our results identify residual-gate reorganization as a measurable axis of diffusion training acceleration and suggest a simple direction for further acceleration.
• Abstract（参考訳）: REPAや分散正規化のような拡散変圧器の訓練加速法は、追加の監督、空間構造事前、改良された特徴幾何によって一般的に説明される。 AdaLN-Zero残差ゲート$α$は、条件付き更新が残差ストリームに入る方法を直接制御し、これらの手法により実質的に再構成される。 この観察は、少なくとも部分的には、補助目的によって明示的に課される特徴構造のみからではなく、残留ゲーティング経路を再構成することによる加速が生じるという我々の仮説を動機付けている。 この見解を支持するために、加速されたモデルは$α$の摂動に非常に敏感であり、それらのゲート幾何学はクラス間の意味的関係を反映している。 さらに、正規化参加比(nPR)を導入し、REPAの教師、プロジェクターアーキテクチャ、放射目標、より広いゲート参加は、より優れた世代品質を伴って、ゲートのチャネルワイドな構成を特徴付ける。 この知見に導かれて,両機能比較を伴わずに,機能-ノルム正則化によるより広いゲート参加を促進する,シンプルな教師自由なラジアル目標を提案する。 In ImageNet $256\times256$ with SiT-B/2, our method improveing FID over dispersive loss while increase mean gate participation over timesteps and class, further support the link between gate organization and training accelerate。 実験の結果, 残留ゲート再組織化は拡散訓練加速の計測可能な軸として同定され, さらなる加速のための簡単な方向が示唆された。

関連論文リスト

• Pairwise AUC Optimization Needs Corrective Power: A Unified View [91.5488253165522]
  ペアワイドのミニバッチ更新が、より厳格なランキングエラーに対して、より強く信頼性の高い改善をもたらすかどうかを検討する。 我々の主な観察では、直接的なペアワイズトレーニングは、深刻なエラーが相変わらずありふれた領域に入ることができるが、もはや有用な修正動作は生じない。
  論文  参考訳（メタデータ） (2026-10-15T12:02:54Z)
• Structured Residual Connectivity Matters for Diffusion Transformers [91.88563792356344]
  Diffusion Transformers (DiTs) は、高忠実度画像合成のためのスケーラブルなバックボーンとしての地位を確立している。 本稿では,DiTの残差接続を画像復調に最適化した能動的検索機構に変換することを提案する。
  論文  参考訳（メタデータ） (2026-09-27T04:42:36Z)
• SpaceDiffusion: Over-the-Orbit Diffusion for Space Generate-and-Forward Communications [49.1286806757327]
  本稿では,GF(Generator-and-forward)通信と呼ばれる新しいリレー方式を提案する。 衛星支援画像伝送のための超軌道拡散フレームワークであるSpaceDiffusionを提案する。 実験により,SpaceDiffusionはDF方式に比べてエンドツーエンドのレイテンシが低いことを示す。
  論文  参考訳（メタデータ） (2026-09-17T13:07:45Z)
• Adaptive Depth in Looped Transformers: Diagnosing Learned Halting Gates and Trajectory Readouts [16.36140240070991]
  ループ変換器の適応深度をトラジェクトリ・リードアウトレンズを用いて検討する。 固定最優先深度監視は,その中間状態が有用な停止信号を示す難易度対応トラジェクトリを生成する。 ループ変換器の適応深さを軌跡形成と出口読み出しの連成問題として再検討した。
  論文  参考訳（メタデータ） (2026-07-08T02:54:03Z)
• TopoCurate:Modeling Interaction Topology for Tool-Use Agent Training [53.93696896939915]
  訓練用ツール使用エージェントは一般的に、パスレート選択されたタスクに対して、軌道変更の成功と強化学習(RL)に依存している。 TopoCurateは,同一タスクから多段階的なロールアウトを統一的な意味的商トポロジに投影する対話型フレームワークである。 TopoCurateは最先端のベースラインに対して4.2%(SFT)と6.9%(RL)という一貫したゲインを達成している。
  論文  参考訳（メタデータ） (2026-03-02T10:38:54Z)
• RefAM: Attention Magnets for Zero-Shot Referral Segmentation [103.98022860792504]
  本稿では,下流タスクの拡散変換器から特徴,注意点を活用できる新しい手法を提案する。 重要な洞察は、停止語は注意磁石として機能するということだ。 停止語を付加した背景アクティベーションを小さなクラスタに分割するアテンション再分配戦略を提案する。
  論文  参考訳（メタデータ） (2025-09-26T17:59:57Z)
• Time-Scale Coupling Between States and Parameters in Recurrent Neural Networks [3.924071936547547]
  ゲーテッドニューラルネットワーク(RNN)は、適応的な学習速度の振る舞いを暗黙的に誘発する。 効果は状態空間の時間スケールとパラメータ空間のダイナミクスの結合から生じる。 経験的シミュレーションはこれらの主張を裏付ける。
  論文  参考訳（メタデータ） (2025-08-16T18:19:34Z)
• Description of the Training Process of Neural Networks via Ergodic Theorem : Ghost nodes [3.637162892228131]
  本稿では、訓練勾配降下(SGD)による深層ニューラルネットワークの理解と加速のための統一的な枠組みを提案する。 我々は,安定剤に対する真の収束を識別する,最も大きなリャプノフ指数の実用診断,実行推定を導入する。 本稿では,補助的なゴースト出力ノードを付加した標準分類器のゴーストカテゴリ拡張を提案する。
  論文  参考訳（メタデータ） (2025-07-01T17:54:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。