論文の概要: Purify Before You Align: Improving Representation Alignment for Diffusion Models
- arxiv url: http://arxiv.org/abs/2610.20761v1
- Date: Wed, 14 Oct 2026 18:11:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.00621
- Title: Purify Before You Align: Improving Representation Alignment for Diffusion Models
- Title（参考訳）: 配向前の清浄化:拡散モデルにおける表現アライメントの改善
- Abstract要約: 局所的な外観浄化(LAP)は、5つの事前訓練された表現における生成品質を改善する。
LAPはアライメントターゲットのみを変更し、拡散トレーニングや推論を変更する必要はない。
- 参考スコア（独自算出の注目度）: 51.67434264043717
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Representation alignment improves and accelerates diffusion training by encouraging intermediate features to match a pretrained visual encoder. However, standard alignment matches pretrained representations without distinguishing what information may be more useful for generation. We introduce local appearance purification (LAP), which improves generation quality and makes encoders such as MAE more effective alignment targets by removing locally predictable content and aligning to the residual. LAP modifies only the alignment target, and requires no changes to diffusion training or inference. Through controlled interventions within a fixed encoder, we show that effective alignment depends on what information the target emphasizes, not simply how much image information it contains. Our theory gives a variational interpretation of standard alignment and, for fixed local predictors, a sum of token-wise information bounds conditioned on local appearance. To understand why purification benefits some encoders more than others, we derive an exact constant-readout test that measures how well the target can be matched without using the diffusion model's hidden state. LAP improves generation quality across five pretrained representations (MAE, AIMv2, CLIP, DINOv2, DINOv3), with the largest gain for MAE: on ImageNet-256 with SiT-B/2, it reduces FID from $53.1$ to $42.3$. Its gains persist with stronger alignment recipes and tokenizers. Computed before diffusion training, the constant-readout score predicts the benefit of purification (Spearman $ρ=0.94$ across 13 encoders).
- Abstract（参考訳）: 表現アライメントは、事前訓練されたビジュアルエンコーダにマッチするように中間特徴を奨励することにより、拡散訓練を改善し、加速する。
しかし、標準アライメントは、どの情報が生成により有用であるかを区別することなく、事前訓練された表現と一致する。
我々は, 局所的な外観浄化(LAP)を導入し, 生成品質を向上させるとともに, 局所的に予測可能なコンテンツを取り除き, 残留物に整合させることにより, MAEなどのエンコーダをより効果的にアライメントターゲットにすることができる。
LAPはアライメントターゲットのみを変更し、拡散トレーニングや推論を変更する必要はない。
固定エンコーダ内の制御された介入を通して、有効なアライメントは、ターゲットが強調する情報に依存していることを示す。
我々の理論は、標準アライメントの変分解釈を与え、固定された局所予測器に対しては、局所的な外観に条件付けられたトークン単位の情報境界の和を与える。
そこで本研究では, 拡散モデルの隠れ状態を用いることなく, 対象物がどの程度うまく一致しているかを, 正確に測定する定性検定を導出する。
LAPは、事前訓練された5つの表現(MAE、AIMv2、CLIP、DINOv2、DINOv3)における生成品質を改善し、MAEにとって最大の利益である: ImageNet-256とSiT-B/2では、FIDを53.1ドルから42.3ドルに下げる。
その利得は、より強いアライメントレシピとトークン化剤で持続する。
拡散訓練前に計算された定数可読スコアは、精製の利点を予測する(Spearman $ρ=0.94$ across 13 encoders)。
関連論文リスト
- Just Align $\bm{x}$: Aligning Predictions, Not Representations [42.81833355126605]
JAxはノイズレベルにわたってクリーンなイメージ予測を整列する予測・スーパービジョン手法である。
JAxは一貫してFIDを改善し、JT-B/16、L/16、H/16間の収束を加速する。
その結果、予測空間の監督は、画素空間生成モデルの表現アライメントに代わる、シンプルで原則化された代替手段を提供することを示した。
論文 参考訳（メタデータ） (2026-09-30T19:04:04Z) - Hierarchical Adaptive Feature Refinement Network for VHR Remote Sensing Image Segmentation [15.24999553337715]
本稿では,階層的表現を適応的に整理・洗練する進歩的改良フレームワークHAFR-Netを提案する。
マッチしたSwin-Bトレーニングとシングルスケール推論プロトコルの下で、HAFR-Netは84.12%、87.86%、55.17%、67.70%mIoUを達成した。
論文 参考訳（メタデータ） (2026-08-16T09:26:58Z) - MaskAlign: Token-Subset Representation Alignment for Efficient Diffusion Training [53.777757218665386]
MaskAlignは、トレーニング中にランダムにサンプリングされたトークンサブセットにアライメントを適用するトークン-サブセット表現アライメント手法である。
我々は、MaskAlignが完全なトークン集合への配向の依存を減らし、トークン-サブセット摂動下でより安定な配向挙動を促進することを示す。
論文 参考訳（メタデータ） (2026-06-07T19:11:22Z) - Alignment-Guided Score Matching for Text-to-Image Alignment in Diffusion Models [46.98979357654374]
拡散モデルは、非常にリアルなイメージを生成するが、しばしば正確なテキストイメージアライメントに苦労する。
コントラッシブアライメントガイダンスを統合することで,ソフトトークンを改良する軽量で報酬のないポストトレーニング手法を提案する。
提案手法はGenEvalベンチマークの精度を35%以上向上させる。
論文 参考訳（メタデータ） (2026-05-28T14:57:01Z) - Improved Baselines with Representation Autoencoders [61.47127824064028]
表現オートエンコーダ(RAE)は、従来のVAEを事前訓練された視覚エンコーダに置き換える。
RAEを単純化し、改善する3つの洞察が得られます。
RAEv2はオリジナルのRAEよりも10倍以上早く収束する。
論文 参考訳（メタデータ） (2026-05-18T12:42:34Z) - What matters for Representation Alignment: Global Information or Spatial Structure? [64.67092609921816]
表現アライメント(REPA)は、強い事前訓練された視覚エンコーダから中間拡散特徴への表現を蒸留することにより、生成訓練を導く。
本稿では,対象表現のどの側面が生成に重要であるか,そのテクスト・グロバル・リビジョン・セマンティック・情報について検討する。
我々はREPAの標準射影層を単純な畳み込み層に置き換え、外部表現のための空間正規化層を導入する。
論文 参考訳（メタデータ） (2025-12-11T16:39:53Z) - Learn to Guide Your Diffusion Model [84.82855046749657]
本研究では,条件付き拡散モデルによる試料の品質向上手法について検討する。
誘導ウェイトは$omega_c,(s,t)$で、条件付き$c$、飾る時間$t$、飾る時間$s$の関数です。
我々は,モデルが報酬関数によって傾いた分布を目標にすることができるように,フレームワークを拡張して報酬付きサンプリングを行う。
論文 参考訳（メタデータ） (2025-10-01T12:21:48Z) - Aligning Visual Foundation Encoders to Tokenizers for Diffusion Models [37.59115132356727]
本稿では,画像生成における遅延拡散モデルのトークン化として,事前学習したビジュアルエンコーダの整合性を提案する。
ImageNet 256$times$256では、トークン化器は拡散モデルの収束を加速し、64時間以内で1.90gFIDに達する。
提案手法は単純で拡張性があり,連続トークン化設計のための意味論的基盤となるパラダイムを確立している。
論文 参考訳（メタデータ） (2025-09-29T17:57:39Z) - No Alignment Needed for Generation: Learning Linearly Separable Representations in Diffusion Models [4.511561231517167]
本稿では,中間層表現の線形SEP (Linear SEParability) の促進に基づく,学習のための代替正規化を提案する。
本結果は,フローベーストランスアーキテクチャにおけるトレーニング効率と生成品質の両面で大幅に向上したことを示す。
論文 参考訳（メタデータ） (2025-09-25T20:46:48Z) - Generalized Focal Loss: Learning Qualified and Distributed Bounding
Boxes for Dense Object Detection [85.53263670166304]
一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。
1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。
本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
論文 参考訳（メタデータ） (2020-06-08T07:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。