論文の概要: Representation by Design in Generation: Cross-View Class-Token Alignment in Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2609.36348v1
• Date: Mon, 28 Sep 2026 22:31:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.044705
• Title: Representation by Design in Generation: Cross-View Class-Token Alignment in Diffusion Transformers
• Title（参考訳）: 世代別設計による表現:拡散変圧器のクロスビュークラストケアライメント
• Abstract要約: SelfFlowは、自己管理パッチアライメントをフローマッチングに導入することで、この方向に一歩前進する。 セマンティック表現をさらに強化するために、クロスビューなクラストケンアライメントでこのフレームワークを拡張します。 テキストと画像のトレーニングでは、同じ目的が生成FIDを改善し、マッチしたチェックポイントで2.52から2.37に削減される。
• 参考スコア（独自算出の注目度）: 25.11573969668108
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative and representation learning remain asymmetrically connected: semantic representations are used to improve diffusion generation, whereas the models' own representations are often treated as a by-product of synthesis. We ask whether diffusion models can instead be trained to learn substantially stronger semantic representations without sacrificing generation quality. SelfFlow takes a step in this direction by introducing self-supervised patch alignment into flow matching, but its main gains remain in faster convergence and improved generation. Inspired by DINO and iBOT, we extend this framework with cross-view class-token alignment to further strengthen semantic representations. Specifically, we form two independently noised, dual-timestep observations of each image and align each student class-token representation with the stop-gradient EMA-teacher target from the other observation. This objective is optimized jointly with the inherited flow-matching and local patch objectives. Notably, although the additional objective acts only on the class token, it strengthens both class-token and patch representations. Compared with a matched two-view baseline, ImageNet linear-probing accuracy improves by 9.4\% using the class token and 10.1\% using mean-pooled patch tokens, while frozen-backbone VOC2012 segmentation improves by 3.6 mIoU. These representation gains are achieved while maintaining comparable ImageNet generation FID. In text-to-image training, the same objective also improves generation FID, reducing it from 2.52 to 2.37 at matched checkpoints. Our results show that representation need not remain a by-product of generation or merely a tool for improving it: it can be directly optimized as a first-class capability of diffusion pretraining alongside generation.
• Abstract（参考訳）: 意味表現は拡散生成を改善するために使用され、モデル自身の表現はしばしば合成の副産物として扱われる。 拡散モデルは、生成品質を犠牲にすることなく、より強力な意味表現を学習できるように訓練できるかどうかを問う。 SelfFlowは、自己管理型パッチアライメントをフローマッチングに導入することで、この方向に一歩前進するが、その主なメリットは、より高速な収束と生成の改善にある。 DINOとiBOTにインスパイアされたこのフレームワークは、セマンティック表現をさらに強化するために、クロスビューなクラストケンアライメントで拡張する。 具体的には、各画像の2つの独立にノイズを発生させ、各生徒のクラストケン表現を、他の観察から停止段階のEMA-Teacherターゲットと整合させる。 この目的は、継承されたフローマッチングとローカルパッチの目的と共同で最適化される。 特に、追加の目的はクラストークンにのみ作用するが、クラストークンとパッチ表現の両方を強化する。 一致する2ビューベースラインと比較すると、ImageNetの線形プローブ精度はクラストークンで9.4\%、平均プールされたパッチトークンで10.1\%向上し、凍結バックボーンのVOC2012セグメンテーションは3.6mIoU向上した。 これらの表現ゲインは、匹敵するImageNet生成FIDを維持しながら達成される。 テキストと画像のトレーニングでは、同じ目的が生成FIDを改善し、マッチしたチェックポイントで2.52から2.37に削減される。 以上の結果から,表現は生成の副産物として留まる必要はなく,単に改善するためのツールとして,生成と同時に拡散事前学習の第一級能力として直接最適化できることがわかった。

関連論文リスト

• Where Does Generative Difficulty Reside? An Empirical Study of Target Representations [62.54876287800644]
  ターゲット表現は、イメージジェネレータが学ぶ必要がある分布を定義するが、しばしば交換可能なインターフェースとして扱われる。 マスク付き自己回帰整流モデルにおいて,生画素,SD-VAE潜伏剤,DINOv2,MAE表現-オートエンコーダの特徴について検討した。 その結果, 圧縮, 再構成忠実度, トークン次元, 可視的セマンティッククラスタリングは生成挙動を個別に予測できないことがわかった。
  論文  参考訳（メタデータ） (2026-08-01T12:32:31Z)
• Making Training-Free Diffusion Segmentors Scale with the Generative Power [118.72472901404814]
  一連の研究は、事前学習された拡散モデルを、それ以上の訓練をせずに意味的セグメンテーションに適応することに焦点を当てている。 本稿では,自動アグリゲーションと画素単位の再スケーリングという2つの手法を提案する。
  論文  参考訳（メタデータ） (2026-03-06T11:35:37Z)
• ResTok: Learning Hierarchical Residuals in 1D Visual Tokenizers for Autoregressive Image Generation [64.84095852784714]
  Residual Tokenizer (ResTok)は、画像トークンと潜在トークンの両方の階層的残基を構築する1Dビジュアルトークンライザである。 視覚的トークン化における階層的残差の復元はAR画像生成を著しく改善し,ImageNet-256ではわずか9ステップで2.34gFIDを達成した。
  論文  参考訳（メタデータ） (2026-01-07T14:09:18Z)
• BIGFix: Bidirectional Image Generation with Token Fixing [21.40682276355247]
  サンプルトークンを反復精製することで画像生成を自己補正する手法を提案する。 我々は,ランダムトークンを文脈に注入し,ロバスト性を向上し,サンプリング中のトークンの固定を可能にする,新しいトレーニング手法によりこれを実現する。 我々は、ImageNet-256とCIFAR-10データセットを用いた画像生成と、UCF-101とNuScenesによるビデオ生成のアプローチを評価し、両モード間で大幅に改善した。
  論文  参考訳（メタデータ） (2025-10-14T07:34:44Z)
• JEPA-T: Joint-Embedding Predictive Architecture with Text Fusion for Image Generation [10.00677022779314]
  画像とキャプションを個別の視覚的およびテキスト的トークンに符号化する統合マルチモーダルフレームワークを提案する。 タスク非依存のバックボーンを維持しながら条件付き認知のための特徴予測器のクロスアテンションを組み込んだ。 提案手法は, トークンベースのT2Iにおいて, 遅延アーキテクチャ融合と目的レベルのアライメントを組み合わせることで, コンディショニング強度とバックボーンの汎用性とを効果的にバランスできることを示す。
  論文  参考訳（メタデータ） (2025-10-01T14:51:10Z)
• Vision Foundation Models as Effective Visual Tokenizers for Autoregressive Image Generation [52.261584726401686]
  凍結した視覚基盤モデルの上に画像トークン化器を直接構築するための新しい方向を示す。 これらの設計に基づき,提案する画像トークン装置であるVFMTokは,画像再構成と生成品質の大幅な向上を実現している。
  論文  参考訳（メタデータ） (2025-07-11T09:32:45Z)
• Seed the Views: Hierarchical Semantic Alignment for Contrastive Representation Learning [116.91819311885166]
  一つの画像から生成されたビューをtextbfCross-samples や Multi-level representation に拡張することで,階層的なセマンティックアライメント戦略を提案する。 提案手法はCsMlと呼ばれ,サンプル間の多層視覚表現を堅牢な方法で統合する機能を備えている。
  論文  参考訳（メタデータ） (2020-12-04T17:26:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。