論文の概要: Learning Representations to Guide Pixel Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2610.12978v1
• Date: Fri, 09 Oct 2026 04:23:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.387675
• Title: Learning Representations to Guide Pixel Diffusion Transformers
• Title（参考訳）: 図形拡散変換器の学習表現
• Abstract要約: 本稿では,Representation Guidance (RG)を導入し,内部表現を直接生成・活用する。 RGはパラメータと計算の両方で効率的にスケーリングしながら、より明確な意味と空間構造を学ぶ。 ImageNet 256x256では、RG-L/16は459Mのパラメータしか持たないが、RG-XL/16は1.55のFIDを達成する。
• 参考スコア（独自算出の注目度）: 36.999062572402
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual representations are largely developed for understanding, yet what makes them useful for generation remains unclear. We study this question in pixel diffusion transformers and uncover two key insights. First, better representation quality does not necessarily translate into greater generative utility, as externally aligned semantics can be progressively lost during pixel synthesis. Second, architectural separation with specialized pixel decoders mainly redistributes semantic and spatial modeling, without necessarily yielding representations better suited to generation. These insights suggest that a useful generative representation must be both properly formed and actively exploited. Motivated by these insights, we introduce Representation Guidance (RG), which directly forms and exploits internal representations while retaining a plain Transformer architecture. A low-dimensional bottleneck forces generation-relevant information into a compact representation, which is then explicitly used to guide decoder generation by modifying the flow-matching target according to its induced prediction offset. RG learns clearer semantic and spatial structure while scaling efficiently in both parameters and computation. On ImageNet 256x256, RG-L/16 with only 459M parameters outperforms substantially larger pixel diffusion transformers, while RG-XL/16 achieves an FID of 1.55. RG further reaches an FID of 1.74 at 512x512 and extends to text-to-image generation, achieving 0.89 on GenEval and 87.1 on DPG-Bench.
• Abstract（参考訳）: 視覚表現は、主に理解するために開発されているが、生成に何が役立つのかは不明だ。 我々はこの問題を画素拡散変換器で研究し、2つの重要な洞察を明らかにする。 第一に、より良い表現品質が必ずしもより優れた生成ユーティリティに変換されるとは限らない。 第二に、特殊画素デコーダによるアーキテクチャ分離は、生成に適した表現を必ずしも得られずに、主に意味と空間的モデリングを再分割する。 これらの知見は、有用な生成表現を適切に形成し、積極的に活用する必要があることを示唆している。 これらの知見に触発された表現誘導(Representation Guidance, RG)を導入し, 内部表現を直接生成・活用し, 平易なトランスフォーマーアーキテクチャを維持した。 低次元ボトルネックは、生成関連情報をコンパクト表現に強制し、その誘導予測オフセットに従ってフローマッチングターゲットを変更することによりデコーダ生成を明示的にガイドする。 RGはパラメータと計算の両方で効率的にスケーリングしながら、より明確な意味と空間構造を学ぶ。 ImageNet 256x256では、RG-L/16は459Mのパラメータしか持たないが、RG-XL/16は1.55のFIDを達成する。 RGはさらに512x512で1.74のFIDに達し、GenEvalでは0.89、DPG-Benchでは87.1に達する。

関連論文リスト

• Scaling Text-to-Image Diffusion Transformers with Representation Autoencoders [74.72147962028265]
  表現オートエンコーダ(RAE)は、ImageNet上で拡散モデリングにおいて明確な利点を示している。 本稿では,このフレームワークが大規模でフリーフォームなテキスト・ツー・イメージ(T2I)生成に拡張できるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-01-22T18:58:16Z)
• Both Semantics and Reconstruction Matter: Making Representation Encoders Ready for Text-to-Image Generation and Editing [62.94394079771687]
  急成長する傾向は、表現エンコーダの高次元特徴を生成的潜伏剤として採用することである。 生成タスクに理解指向のエンコーダ機能を適用するための体系的フレームワークを提案する。 提案手法は,テキスト・トゥ・イメージ(T2I)と画像編集タスクにおいて,最先端の再構築,収束の高速化,大幅な性能向上を実現する。
  論文  参考訳（メタデータ） (2025-12-19T18:59:57Z)
• PixelDiT: Pixel Diffusion Transformers for Image Generation [48.456815413366535]
  PixelDiTはDiffusion Transformers用の単一ステージのエンドツーエンドモデルである。 オートエンコーダの必要性を排除し、ピクセル空間内で拡散過程を直接学習する。 ImageNet 256x256で1.61 FIDを達成し、既存のピクセル生成モデルを大きく上回っている。
  論文  参考訳（メタデータ） (2025-11-25T18:59:25Z)
• Diffusion Transformers with Representation Autoencoders [35.43400861279246]
  事前学習された自己エンコーダが拡散過程の遅延空間に画素をマッピングする潜在生成モデリングは拡散変換器(DiT)の標準戦略となっている。 ほとんどのDiTはオリジナルのVAEエンコーダに依存しており、いくつかの制限が課されている。 本研究では、VAEをトレーニングされたデコーダと組み合わせた事前訓練された表現エンコーダに置き換え、Representation Autoencoders (RAE) と呼ぶものを形成する。
  論文  参考訳（メタデータ） (2025-10-13T17:51:39Z)
• Vision-Language Alignment from Compressed Image Representations using 2D Gaussian Splatting [4.2390854432099205]
  現代のビジョン言語パイプラインは、大量の画像テキストコーパスでトレーニングされたRGBビジョンエンコーダによって駆動される。 これらのパイプラインは、ピクセル領域から2つの構造的非効率を継承する: (i) エッジデバイスからクラウドへ高密度のRGB画像を送信することはエネルギー集約的でコストがかかり、 (ii) パッチベースのトークン化はシーケンス長を爆発させる。 2次元ガウス散乱(2DGS)をアライメントのための代替視覚基板として検討する。
  論文  参考訳（メタデータ） (2025-09-26T17:41:57Z)
• GViT: Representing Images as Gaussians for Visual Recognition [54.46109876668194]
  GVITは従来のピクセルやパッチグリッドの入力表現を捨て、学習可能な2Dガウスのコンパクトなセットを優先する分類フレームワークである。 比較的標準的なViTアーキテクチャを用いて、2次元ガウス入力表現とGVITガイダンスを組み合わせることで、従来のパッチベースのViTの性能と密に一致していることを示す。
  論文  参考訳（メタデータ） (2025-06-30T05:44:14Z)
• Hypercomplex Image-to-Image Translation [13.483068375377362]
  画像から画像への変換(I2I)は、コンテンツ表現を入力ドメインから出力ドメインに転送することを目的としている。 この課題で卓越した結果を得た最近のI2I生成モデルは、それぞれ数千万のパラメータを持つ多様な深層ネットワークで構成されている。 画像次元間の既往の関係を保存できる軽量I2I生成モデルを定義するために,超複素代数特性を活用することを提案する。
  論文  参考訳（メタデータ） (2022-05-04T14:28:50Z)
• Spatially-Adaptive Pixelwise Networks for Fast Image Translation [57.359250882770525]
  高速かつ効率的な画像-画像変換を目的とした新しいジェネレータアーキテクチャを提案する。 私たちはピクセルワイズネットワークを使用します。つまり、各ピクセルは他のピクセルとは独立して処理されます。 私たちのモデルは最先端のベースラインよりも最大18倍高速です。
  論文  参考訳（メタデータ） (2020-12-05T10:02:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。