論文の概要: Awakening Diffusion Transformers: Eliciting Stronger Generation and Understanding via Massive Activation Modulation
- arxiv url: http://arxiv.org/abs/2607.02968v1
- Date: Fri, 03 Jul 2026 05:21:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.479152
- Title: Awakening Diffusion Transformers: Eliciting Stronger Generation and Understanding via Massive Activation Modulation
- Title（参考訳）: 覚醒拡散変換器:大量活性化変調によるより強い生成と理解の促進
- Abstract要約: 大量活性化(MA)はトランスフォーマーモデルで広く観測されているが、拡散トランスフォーマー(DiT)の構造と機能的役割は未だ十分に理解されていない。
EMA(Eliciting Massive Activation)は,Massive Activationを統一変調信号として利用するトレーニングフリーのフレームワークである。
- 参考スコア（独自算出の注目度）: 32.88834222160239
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Massive Activations (MAs) have been widely observed in Transformer-based models, yet their structure and functional roles in Diffusion Transformers (DiTs) remain insufficiently understood. In this work, we systematically analyze MAs in representative DiTs and find that they are spatially distributed across image tokens while concentrated in a small set of fixed feature dimensions. We further show that these dimensions are closely aligned with AdaLN residual scaling factors and are primarily modulated by the denoising timestep rather than text conditions. This structure leads to two task-dependent effects: for generation, MAs are critical for fine-grained detail synthesis while having limited influence on global semantics; for understanding, their shared high-magnitude directions make raw DiT features overly similar across spatial tokens and weaken dense feature discrimination. Based on these findings, we introduce Eliciting Massive Activation (EMA), a training-free framework that leverages Massive Activations (MAs) as a unified modulation signal to improve both generative and representational capabilities of DiTs. For generation, EMA proposes MA-driven Detail G}uidance (DG), which suppresses MA dimensions to construct a detail-deficient counterfactual prediction and guides sampling toward finer visual details. DG further supports efficient partial-forward inference, integration with classifier-free guidance, and token-level Local DG for refining selected image regions. For understanding, EMA introduces MA-modulated REPresentation extraction (MREP), which uses pretrained AdaLN channel-wise modulation to reduce MA directional dominance and concatenates spatially normalized MA maps to preserve useful spatial structure. Extensive experiments demonstrate that EMA consistently improves both the generation quality and representation capability of DiTs.
- Abstract（参考訳）: 大量活性化(MA)はトランスフォーマーモデルで広く観測されているが、拡散トランスフォーマー(DiT)の構造と機能的役割は未だ十分に理解されていない。
本研究では,代表型DiTのMAを系統的に解析し,空間的に画像トークンに分散し,固定された特徴次元の小さなセットに集中していることを示す。
さらに,これらの次元はAdaLN残留スケーリング因子と密に一致しており,主にテキスト条件よりもデノナイズ時間ステップによって変調されていることを示す。
この構造は2つのタスク依存効果をもたらす: 生成においては、MAは、大域的意味論に限られた影響を与えながら、きめ細かな詳細合成に不可欠である; 理解において、それらの共有高次方向は、空間トークン間で生のDiT特徴を過度に類似させ、密な特徴識別を弱める。
これらの知見に基づいて,DiTの生成能力と表現能力の両方を改善するために,MAを統一的な変調信号として活用するトレーニングフリーフレームワークであるEliciting Massive Activation (EMA)を紹介した。
生成のために、EMAはMA駆動のDetail G}uidance (DG)を提案し、MA次元を抑圧し、詳細に欠ける反事実予測を構築し、サンプリングをより詳細な視覚的詳細に向けてガイドする。
さらにDGは、効率的な部分フォワード推論、分類子なしガイダンスとの統合、選択した画像領域を精錬するためのトークンレベルローカルDGをサポートする。
AdaLNチャネルワイズ変調を用いたMA-modulated RePresentation extract (MREP)を導入し,MA方向の優位性を低減し,空間正規化されたMAマップを結合して有用な空間構造を保存する。
大規模な実験により、EMAはDiTの生成品質と表現能力の両方を一貫して改善することが示された。
関連論文リスト
- MGDT: MLLM-Guided Diffusion Transformer with Relation-Adaptive Mixture-of-Experts for Multimodal Knowledge Graph Completion [33.838877596911445]
MKGC(Multimodal Knowledge Graph Completion)は、構造的、テキスト的、視覚的キューから欠落したエンティティを推測することを必要とする。
既存の拡散に基づくMKGC法は、通常、生のマルチモーダルな特徴に直接依存する。
MLLM-Guided Diffusion Transformer with Relation-Adaptive Mixture-of-Experts。
論文 参考訳（メタデータ） (2026-07-17T03:39:43Z) - SIGMA: Bridging Structural and Distributional Gaps for Vision Foundation Model Adaptation [5.145184780729273]
Vision Foundation Models (VFM) は印象的な表現能力を示している。
textbfScale-textbfIntegrated textbfGlobal textbfModulation textbfAdapter (textbfAdapter)
論文 参考訳（メタデータ） (2026-05-27T03:17:46Z) - A Single Layer to Explain Them All:Understanding Massive Activations in Large Language Models [56.03096341469333]
大規模言語モデル(LLM)における大規模アクティベーションの起源について検討する。
モデルファミリ間で一貫して観察されるtextbfMassive Emergence Layer (ME Layer) と呼ばれる特定の層を同定する。
RMSNormとFFNパラメータの両方がME層内で大きな活性化の出現に共同して寄与していることを示す。
本研究では,この制限により,大規模アクティベーショントークンの剛性を簡易かつ効果的に低減する手法を提案する。
論文 参考訳（メタデータ） (2026-05-08T21:37:27Z) - Beyond Weight Adaptation: Feature-Space Domain Injection for Cross-Modal Ship Re-Identification [3.6907522136316975]
CMS Re-ID(Cross-Modality Ship Re-Identification)は、全天候の海上目標追跡を実現するために重要である。
モダリティギャップのブリッジ化におけるビジョン・ファンデーション・モデル(VFM)の可能性を探る。
ドメイン表現注入(Domain Representation Injection, DRI)と呼ばれる新しいPEFT戦略を提案する。
論文 参考訳（メタデータ） (2025-12-24T02:30:23Z) - Massive Activations are the Key to Local Detail Synthesis in Diffusion Transformers [33.765941209545986]
Diffusion Transformers (DiT) は視覚生成の強力なバックボーンとして登場した。
近年の観察では, 内部特徴マップにemphMassive Activations (MA) が出現している。
ローカルなディテール忠実度を高めるためにtextbfDetail textbfGuidance (textbfDG) を提案する。
論文 参考訳（メタデータ） (2025-10-13T15:39:13Z) - Frequency Domain-Based Diffusion Model for Unpaired Image Dehazing [92.61216319417208]
そこで本稿では,未確認データにおける有益な知識を十分に活用するための,新しい周波数領域ベース拡散モデルを提案する。
拡散モデル(DM)が示す強い生成能力に着想を得て,周波数領域再構成の観点からデハージング課題に取り組む。
論文 参考訳（メタデータ） (2025-07-02T01:22:46Z) - Weight Spectra Induced Efficient Model Adaptation [54.8615621415845]
微調整された大規模な基礎モデルは、計算コストを禁ずる。
微調整が最上位特異値を大きく増幅する一方で,残りはほとんど無傷であることを示す。
本稿では,トップ特異方向の学習可能な再スケーリングを利用する新しい手法を提案する。
論文 参考訳（メタデータ） (2025-05-29T05:03:29Z) - FreSca: Scaling in Frequency Space Enhances Diffusion Models [55.75504192166779]
本稿では,潜時拡散モデルにおける周波数制御について検討する。
本稿では,低周波成分と高周波成分にノイズ差を分解する新しいフレームワークFreScaを紹介する。
FreScaはモデルの再トレーニングやアーキテクチャの変更なしに動作し、モデルとタスクに依存しない制御を提供する。
論文 参考訳（メタデータ） (2025-04-02T22:03:11Z) - Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。
任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。
AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
論文 参考訳（メタデータ） (2024-05-06T11:02:02Z) - Calibrating Undisciplined Over-Smoothing in Transformer for Weakly Supervised Semantic Segmentation [51.14107156747967]
弱教師付きセマンティックセマンティックセマンティクス(WSSS)は、完全な教師付きアプローチよりもアノテーションが少ないため、かなりの注目を集めている。
本研究では,非学際的な過密化に対する深い注意を抑えるための適応的再活性化機構 (AReAM) を提案する。
AReAMは既存のWSSS手法と比較してセグメンテーション性能を大幅に改善し、ノイズを低減し、関連するセマンティック領域に焦点を絞る。
論文 参考訳（メタデータ） (2023-05-04T19:11:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。