論文の概要: RPiAE: A Representation-Pivoted Autoencoder Enhancing Both Image Generation and Editing

• arxiv url: http://arxiv.org/abs/2603.19206v1
• Date: Thu, 19 Mar 2026 17:54:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:06.316264
• Title: RPiAE: A Representation-Pivoted Autoencoder Enhancing Both Image Generation and Editing
• Title（参考訳）: RPiAE:画像生成と編集を両立させる表現駆動型オートエンコーダ
• Abstract要約: 拡散モデルは画像生成と編集において支配的なパラダイムとなっている。 近年、事前に訓練された視覚表現モデルをトークンライザとして活用しようとする試みは、拡散特徴を表現特徴に整合させるか、凍結トークンライザとして直接表現エンコーダを再利用するかのいずれかである。 生成と編集の両方を改善する表現ベースのトークン化器であるRepresentation-Pivoted AutoEncoderを提案する。
• 参考スコア（独自算出の注目度）: 37.46832944462102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have become the dominant paradigm for image generation and editing, with latent diffusion models shifting denoising to a compact latent space for efficiency and scalability. Recent attempts to leverage pretrained visual representation models as tokenizer priors either align diffusion features to representation features or directly reuse representation encoders as frozen tokenizers. Although such approaches can improve generation metrics, they often suffer from limited reconstruction fidelity due to frozen encoders, which in turn degrades editing quality, as well as overly high-dimensional latents that make diffusion modeling difficult. To address these limitations, We propose Representation-Pivoted AutoEncoder, a representation-based tokenizer that improves both generation and editing. We introduce Representation-Pivot Regularization, a training strategy that enables a representation-initialized encoder to be fine-tuned for reconstruction while preserving the semantic structure of the pretrained representation space, followed by a variational bridge which compress latent space into a compact one for better diffusion modeling. We adopt an objective-decoupled stage-wise training strategy that sequentially optimizes generative tractability and reconstruction-fidelity objectives. Together, these components yield a tokenizer that preserves strong semantics, reconstructs faithfully, and produces latents with reduced diffusion modeling complexity. Experiments demonstrate that RPiAE outperforms other visual tokenizers on text-to-image generation and image editing, while delivering the best reconstruction fidelity among representation-based tokenizers.
• Abstract（参考訳）: 拡散モデルは画像生成と編集において支配的なパラダイムとなり、遅延拡散モデルは効率と拡張性のために小型の潜在空間へとシフトしている。 近年、事前に訓練された視覚表現モデルをトークンライザとして活用しようとする試みは、拡散特徴を表現特徴に整合させるか、凍結トークンライザとして直接表現エンコーダを再利用するかのいずれかである。 このような手法は生成指標を改善することができるが、フリーズエンコーダが編集品質を劣化させ、拡散モデリングを難しくする高次元ラテントを損なうことも多い。 これらの制約に対処するため,表現型トークン化システムであるRepresentation-Pivoted AutoEncoderを提案する。 Representation-Pivot Regularization(Representation-Pivot Regularization)は、事前訓練された表現空間のセマンティック構造を保ちながら、表現初期化エンコーダを微調整する訓練戦略である。 我々は、生成的トラクタビリティと再構成忠実度を逐次最適化する、客観的に分離された段階的訓練戦略を採用する。 これらの構成要素は共に強力な意味論を保存し、忠実に再構築し、拡散モデリングの複雑さを減らした潜在物を生産する。 実験により、RPiAEはテキスト・画像生成や画像編集において他のビジュアル・トークンーザよりも優れており、表現ベース・トークンーザの中でも最高の再現性を提供している。

関連論文リスト

• Where Does Generative Difficulty Reside? An Empirical Study of Target Representations [62.54876287800644]
  ターゲット表現は、イメージジェネレータが学ぶ必要がある分布を定義するが、しばしば交換可能なインターフェースとして扱われる。 マスク付き自己回帰整流モデルにおいて,生画素,SD-VAE潜伏剤,DINOv2,MAE表現-オートエンコーダの特徴について検討した。 その結果, 圧縮, 再構成忠実度, トークン次元, 可視的セマンティッククラスタリングは生成挙動を個別に予測できないことがわかった。
  論文  参考訳（メタデータ） (2026-08-01T12:32:31Z)
• Rarity-Aware Discrete Diffusion with Spatially Consistent Decoding for Photo-Realistic Image Super-Resolution [80.28905986756685]
  DiMOO-SRは光リアル画像超解法のための多モード離散拡散フレームワークである。 広く使われている実世界のSRベンチマークの実験では、DiMOO-SRはいくつかの並列デコードステップで競合する知覚品質を達成する。
  論文  参考訳（メタデータ） (2026-07-20T07:01:01Z)
• Coevolving Representations in Joint Image-Feature Diffusion [13.292849179066993]
  拡散を導く表現空間は、それ自体が生成タスクに適応すべきである。 学習中に意味表現空間が進化するフレームワークであるCoevolving Diffusion Representation (CoReDi)を提案する。 実験により、CoReDiは、固定表現空間で動作する連成拡散モデルと比較して、より高速な収束とより高いサンプル品質を実現することが示された。
  論文  参考訳（メタデータ） (2026-04-19T15:29:15Z)
• RAE-AR: Taming Autoregressive Models with Representation Autoencoders [61.73674018219353]
  分散正規化によるトークンの単純化により、モデリングの難易度を緩和し、収束性を向上させる。 我々は、露光バイアスを軽減するために、訓練中にガウスノイズ注入を取り入れて予測を強化する。 この作業は、視覚的理解と生成的モデリングをまたいだ、より統一されたアーキテクチャの道を開く。
  論文  参考訳（メタデータ） (2026-04-02T02:39:28Z)
• Latent Forcing: Reordering the Diffusion Trajectory for Pixel-Space Image Generation [36.41177812868683]
  遅延拡散モデルは高品質な画像を生成するのに優れるが、エンドツーエンドのモデリングの利点は失われる。 本稿では,生の自然画像上での潜伏拡散の効率性を実現するため,既存のアーキテクチャを簡易に修正した潜伏強制法を提案する。 Latent Forcingは、我々の計算スケールで拡散トランスフォーマーベースのピクセル生成のための新しい最先端を実現する。
  論文  参考訳（メタデータ） (2026-02-11T22:09:58Z)
• Both Semantics and Reconstruction Matter: Making Representation Encoders Ready for Text-to-Image Generation and Editing [62.94394079771687]
  急成長する傾向は、表現エンコーダの高次元特徴を生成的潜伏剤として採用することである。 生成タスクに理解指向のエンコーダ機能を適用するための体系的フレームワークを提案する。 提案手法は,テキスト・トゥ・イメージ(T2I)と画像編集タスクにおいて,最先端の再構築,収束の高速化,大幅な性能向上を実現する。
  論文  参考訳（メタデータ） (2025-12-19T18:59:57Z)
• SFTok: Bridging the Performance Gap in Discrete Tokenizers [72.9996757048065]
  複数ステップの反復機構を組み込んだ離散トークン化機構である textbfSFTok を提案する。 画像当たり64トークンの高速圧縮速度で、SFTokはImageNetの最先端の再構築品質を達成する。
  論文  参考訳（メタデータ） (2025-12-18T18:59:04Z)
• VQRAE: Representation Quantization Autoencoders for Multimodal Understanding, Generation and Reconstruction [83.50898344094153]
  VQRAEは、イメージ理解のための連続的セマンティック機能と、統一トークン化器内での視覚生成のためのトークンを生成する。 デザインは、多モーダル理解、離散トークンの能力を維持するために、無視可能な意味情報を可能にする。 VQRAEは、視覚的理解、生成、再構築のベンチマークで競合性能を示す。
  論文  参考訳（メタデータ） (2025-11-28T17:26:34Z)
• Edit2Perceive: Image Editing Diffusion Models Are Strong Dense Perceivers [55.15722080205737]
  Edit2Perceiveは、深度、正規度、マッティングの編集モデルを適応させる統合拡散フレームワークである。 私たちの単一ステップの決定論的推論は、比較的小さなデータセットでトレーニングしながら、より高速なランタイムをもたらす。
  論文  参考訳（メタデータ） (2025-11-24T01:13:51Z)
• Boosting Generative Image Modeling via Joint Image-Feature Synthesis [15.133906625258797]
  低レベル画像潜在者を共同でモデル化するために拡散モデルを活用することで、ギャップをシームレスに橋渡しする新しい生成画像モデリングフレームワークを提案する。 我々の潜在セマンティック拡散アプローチは、純雑音からコヒーレントな画像-特徴対を生成することを学ぶ。 複雑な蒸留目的の必要をなくすことで、我々の統一設計は訓練を単純化し、強力な新しい推論戦略である表現誘導を解き放つ。
  論文  参考訳（メタデータ） (2025-04-22T17:41:42Z)
• Visual Autoregressive Modeling for Image Super-Resolution [14.935662351654601]
  次世代の予測モデルとして, ISRフレームワークの視覚的自己回帰モデルを提案する。 大規模データを収集し、ロバストな生成先行情報を得るためのトレーニングプロセスを設計する。
  論文  参考訳（メタデータ） (2025-01-31T09:53:47Z)
• Improving Diffusion-Based Image Synthesis with Context Prediction [49.186366441954846]
  既存の拡散モデルは、主に、劣化した画像から空間軸に沿って画素幅または特徴幅の制約で入力画像を再構成しようとする。 文脈予測を用いて拡散に基づく画像合成を改善するためのConPreDiffを提案する。 我々のConPreDiffは従来手法を一貫して上回り、ゼロショットFIDスコア6.21で、MS-COCO上で新たなSOTAテキスト・画像生成結果を達成する。
  論文  参考訳（メタデータ） (2024-01-04T01:10:56Z)
• Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional Image Synthesis [62.07413805483241]
  Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。 塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
  論文  参考訳（メタデータ） (2023-09-30T02:03:22Z)
• Lossy Image Compression with Conditional Diffusion Models [25.158390422252097]
  本稿では,拡散生成モデルを用いた画像圧縮のエンドツーエンド最適化について概説する。 VAEベースのニューラル圧縮とは対照的に、(平均)デコーダは決定論的ニューラルネットワークであり、私たちのデコーダは条件付き拡散モデルである。 提案手法では,GANモデルよりもFIDスコアが強く,VAEモデルとの競合性能も高い。
  論文  参考訳（メタデータ） (2022-09-14T21:53:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。