論文の概要: MaskAlign: Token-Subset Representation Alignment for Efficient Diffusion Training

• arxiv url: http://arxiv.org/abs/2606.08788v1
• Date: Sun, 07 Jun 2026 19:11:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.448028
• Title: MaskAlign: Token-Subset Representation Alignment for Efficient Diffusion Training
• Title（参考訳）: MaskAlign:効率的な拡散訓練のためのToken-Subset Representation Alignment
• Authors: Lianyu Pang, Tianlin Pan, Cheng Da, Changqian Yu, Huan Yang, Kun Gai, Song Guo, Wenhan Luo,
• Abstract要約: MaskAlignは、トレーニング中にランダムにサンプリングされたトークンサブセットにアライメントを適用するトークン-サブセット表現アライメント手法である。 我々は、MaskAlignが完全なトークン集合への配向の依存を減らし、トークン-サブセット摂動下でより安定な配向挙動を促進することを示す。
• 参考スコア（独自算出の注目度）: 53.777757218665386
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Representation alignment with pretrained vision models has recently shown strong potential for accelerating diffusion transformer training. By aligning intermediate diffusion features with clean-image representations from self-supervised vision encoders, existing methods improve convergence and generation quality. However, such alignment also introduces a non-trivial constraint: diffusion models operate on noisy inputs whose usable information varies across timesteps, while the reference features are extracted from clean images. In this paper, we revisit this mismatch from a token-level perspective. We find that, under full-token representation alignment, tokens with large alignment-gradient norms exhibit a stable spatial preference, suggesting that the alignment objective does not affect all tokens uniformly and may encourage the model to rely on the complete set of clean-image tokens. To address this issue, we propose MaskAlign, a token-subset representation alignment method that applies alignment to randomly sampled token subsets during training. By exposing the model to different token subsets across iterations, MaskAlign reduces the dependence of representation alignment on the complete token set and encourages alignment behavior that is more stable under token-subset perturbations. To mitigate the information loss caused by directly dropping tokens, we further introduce a lightweight pre-mask token mixing block that shares information across tokens before masking.
• Abstract（参考訳）: 事前訓練された視覚モデルとの表現アライメントは、拡散トランスフォーマートレーニングを加速させる強力な可能性を示している。 自己監督型視覚エンコーダからのクリーンイメージ表現と中間拡散特性を整合させることにより、既存の手法は収束と生成品質を向上させる。 しかし、そのようなアライメントはまた、非自明な制約も導入している:拡散モデルは、使用可能な情報が時間経過によって異なるノイズの多い入力で動作し、参照特徴はクリーンな画像から抽出される。 本稿では,トークンレベルの観点から,このミスマッチを再考する。 完全な配向アライメントアライメントの下では、大きなアライメント-勾配ノルムを持つトークンは安定した空間的嗜好を示し、アライメントの目的が全てのトークンに均一に影響を与えず、クリーンイメージトークンの完全なセットに依存するようモデルに促すことが示唆される。 この問題を解決するために、トレーニング中にランダムにサンプリングされたトークンサブセットにアライメントを適用するトークン-サブセット表現アライメント手法であるMaskAlignを提案する。 モデルをイテレーション間で異なるトークンサブセットに公開することにより、MaskAlignは完全なトークンセットへのアライメントアライメントの依存性を減らし、トークン-サブセットの摂動の下でより安定なアライメント動作を促進する。 直接トークンを落とすことで引き起こされる情報損失を軽減するため,マスク前にトークン間で情報を共有する軽量なマスク前トークン混合ブロックを導入する。

関連論文リスト

• Residual Connections and the Causal Shift: Uncovering a Structural Misalignment in Transformers [9.617245548268437]
  大規模言語モデル(LLM)は、自動回帰変換器で実装された次世代の予測で訓練される。 残余接続は現在のトークンとアクティベーションを結び付け、監督は次のトークンをターゲットとします。 固定層介入や学習可能なゲーティング機構として実装された残差減衰に基づく軽量残差経路緩和法を提案する。
  論文  参考訳（メタデータ） (2026-02-16T14:04:42Z)
• Composable Visual Tokenizers with Generator-Free Diagnostics of Learnability [30.139325285692568]
  CompTokは、トークンを合成性のために強化した視覚的トークン化者を学ぶためのトレーニングフレームワークである。 InfoGANスタイルの目的を用いて認識モデルを訓練し,拡散復号器の条件に使用するトークンを予測する。 実験では、CompTokが両方のメトリクスを改善するとともに、クラス条件付き生成のための最先端のジェネレータをサポートできることが示されている。
  論文  参考訳（メタデータ） (2026-02-03T10:02:51Z)
• Don't Settle Too Early: Self-Reflective Remasking for Diffusion Language Models [40.902681492117786]
  RemeDiはマスクベースのDLMで、トークンの分布と各ステップにおけるトークン毎の信頼スコアを予測する。 モデルに不正トークンを検出して再マスクする教師付き微調整を含む、この能力をトレーニングするために、リマスク対応パイプラインをトレーニングします。 実験により、RemeDiは複数のデータセット上のオープンソースのDLMの最先端の結果を達成することが示された。
  論文  参考訳（メタデータ） (2025-09-28T05:39:49Z)
• Bridging Continuous and Discrete Tokens for Autoregressive Visual Generation [85.82112629564942]
  本稿では,離散トークンのモデリングをシンプルに保ちながら,連続トークンの強力な表現能力を維持するTokenBridgeを提案する。 本稿では,各特徴次元を独立に離散化し,軽量な自己回帰予測機構と組み合わせた次元ワイド量子化戦略を提案する。 提案手法は,標準的なカテゴリー予測を用いて,連続的手法と同等に再現および生成品質を実現する。
  論文  参考訳（メタデータ） (2025-03-20T17:59:59Z)
• "Principal Components" Enable A New Language of Images [79.45806370905775]
  証明可能なPCAのような構造を潜在トークン空間に組み込む新しい視覚トークン化フレームワークを導入する。 提案手法は、最先端の再構築性能を実現し、人間の視覚システムとの整合性を向上する。
  論文  参考訳（メタデータ） (2025-03-11T17:59:41Z)
• Learning to Mask and Permute Visual Tokens for Vision Transformer Pre-Training [55.12082817901671]
  我々はMasked and Permuted Vision Transformer(MaPeT)という自己教師型事前学習手法を提案する。 MaPeTは、自動回帰および置換予測を使用して、パッチ内依存関係をキャプチャする。 以上の結果から,MaPeTはベースラインやコンペティターと同一のモデル設定で比較して,ImageNet上での競合性能を実証した。
  論文  参考訳（メタデータ） (2023-06-12T18:12:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。