論文の概要: Advancing End-to-End Pixel Space Generative Modeling via Self-supervised Pre-training

• arxiv url: http://arxiv.org/abs/2510.12586v1
• Date: Tue, 14 Oct 2025 14:41:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 19:02:32.356855
• Title: Advancing End-to-End Pixel Space Generative Modeling via Self-supervised Pre-training
• Title（参考訳）: 自己教師付き事前学習によるエンドツーエンドの画素空間生成モデルの改善
• Authors: Jiachen Lei, Keli Liu, Julius Berner, Haiming Yu, Hongkai Zheng, Jiahong Wu, Xiangxiang Chu,
• Abstract要約: 画素空間拡散および一貫性モデルのための新しい2段階トレーニングフレームワークを提案する。 トレーニングフレームワークは、ImageNetデータセット上で強力な経験的パフォーマンスを示す。 我々の知る限りでは、高解像度画像上での一貫性モデルのトレーニングを成功させたのはこれが初めてである。
• 参考スコア（独自算出の注目度）: 23.632047555553324
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Pixel-space generative models are often more difficult to train and generally underperform compared to their latent-space counterparts, leaving a persistent performance and efficiency gap. In this paper, we introduce a novel two-stage training framework that closes this gap for pixel-space diffusion and consistency models. In the first stage, we pre-train encoders to capture meaningful semantics from clean images while aligning them with points along the same deterministic sampling trajectory, which evolves points from the prior to the data distribution. In the second stage, we integrate the encoder with a randomly initialized decoder and fine-tune the complete model end-to-end for both diffusion and consistency models. Our training framework demonstrates strong empirical performance on ImageNet dataset. Specifically, our diffusion model reaches an FID of 2.04 on ImageNet-256 and 2.35 on ImageNet-512 with 75 number of function evaluations (NFE), surpassing prior pixel-space methods by a large margin in both generation quality and efficiency while rivaling leading VAE-based models at comparable training cost. Furthermore, on ImageNet-256, our consistency model achieves an impressive FID of 8.82 in a single sampling step, significantly surpassing its latent-space counterpart. To the best of our knowledge, this marks the first successful training of a consistency model directly on high-resolution images without relying on pre-trained VAEs or diffusion models.
• Abstract（参考訳）: ピクセル空間生成モデルは訓練が困難で、一般に潜在空間に比べて性能が劣り、持続的なパフォーマンスと効率のギャップが残る。 本稿では,このギャップを埋める新たな2段階トレーニングフレームワークを提案する。 第1段階では,データ分布前の点を進化させる決定論的サンプリング軌道に沿った点に整列しながら,クリーンな画像から意味的な意味を抽出するエンコーダを事前訓練する。 第2段階では、エンコーダをランダムに初期化デコーダと統合し、拡散モデルと整合性モデルの両方に対して完全なモデルエンドツーエンドを微調整する。 トレーニングフレームワークは、ImageNetデータセット上で強力な経験的パフォーマンスを示す。 具体的には,ImageNet-256で2.04,ImageNet-512で2.35のFIDに達し,75個の関数評価(NFE)を達成した。 さらに、ImageNet-256では、1回のサンプリングで8.82の素晴らしいFIDを達成し、潜在空間をはるかに上回っている。 我々の知る限りでは、事前訓練されたVAEや拡散モデルに頼ることなく、高解像度画像上での一貫性モデルのトレーニングを成功させた最初の例である。

関連論文リスト

• D2C: Unlocking the Potential of Continuous Autoregressive Image Generation with Discrete Tokens [80.75893450536577]
  モデル生成能力を向上させる新しい2段階法であるD2Cを提案する。 第1段階では、小さな離散値発生器を用いて粗粒度画像特徴を表す離散値トークンをサンプリングする。 第2段階では、離散トークンシーケンスに基づいて、きめ細かい画像特徴を表す連続値トークンを学習する。
  論文  参考訳（メタデータ） (2025-03-21T13:58:49Z)
• Diffusion Models without Classifier-free Guidance [41.59396565229466]
  モデルガイダンス(MG)は拡散モデルアドレスを訓練するための新しい目的であり、よく使われるガイダンス(CFG)を除去する。 我々の革新的なアプローチは、標準モデリングを超越し、条件の後方確率を組み込む。 提案手法は,CFGを用いた並列拡散モデルにおいても,学習過程を著しく加速し,推論速度を2倍にし,並列拡散モデルでさえ並列に超える異常な品質を実現する。
  論文  参考訳（メタデータ） (2025-02-17T18:59:50Z)
• Reconstruction vs. Generation: Taming Optimization Dilemma in Latent Diffusion Models [33.519892081718716]
  本稿では,視覚トークン化器のトレーニングにおいて,潜在空間と事前学習された視覚基盤モデルとの整合性を提案する。 提案するVA-VAEは遅延拡散モデルの再構成世代フロンティアを著しく拡張する。 私たちは、LightningDiTと呼ばれるトレーニング戦略とアーキテクチャ設計を改善した拡張DiTベースラインを構築します。
  論文  参考訳（メタデータ） (2025-01-02T18:59:40Z)
• OFTSR: One-Step Flow for Image Super-Resolution with Tunable Fidelity-Realism Trade-offs [24.046764908874703]
  OFTSRはワンステップ画像超解像のためのフローベースフレームワークであり、可変レベルの忠実度とリアリズムで出力を生成することができる。 我々は,一段階画像の超高解像度化を実現するとともに,忠実現実主義のトレードオフを柔軟に調整できることを実証した。
  論文  参考訳（メタデータ） (2024-12-12T17:14:58Z)
• Diffusion Models Need Visual Priors for Image Generation [86.92260591389818]
  Diffusion on Diffusion (DoD)は、先述したサンプルから視覚的先行情報を抽出し、拡散モデルのための豊富なガイダンスを提供する革新的な多段階生成フレームワークである。 我々は、人気のあるImageNet-$256 256$データセット上でDoDを評価し、SiTやDiTと比較して7$times$トレーニングコストを削減した。 私たちの最大のモデルであるDoD-XLは、FID-50Kスコアが1.83で、100万のトレーニングステップしか達成していません。
  論文  参考訳（メタデータ） (2024-10-11T05:03:56Z)
• Masked Diffusion Models Are Fast Distribution Learners [32.485235866596064]
  拡散モデルは、スクラッチからきめ細かい視覚情報を学習するために一般的に訓練されている。 まず, 素数分布を学習するためにモデルの事前学習を行うことにより, 強い拡散モデルを訓練するのに十分であることを示す。 そして、事前学習されたモデルは、様々な生成タスクに対して効率的に微調整することができる。
  論文  参考訳（メタデータ） (2023-06-20T08:02:59Z)
• Consistency Models [89.68380014789861]
  ノイズを直接データにマッピングすることで,高品質なサンプルを生成する新しいモデル群を提案する。 設計によって高速なワンステップ生成をサポートしながら、マルチステップサンプリングによって、サンプル品質の計算を交換することができる。 イメージインペイント、カラー化、超高解像度といったゼロショットデータ編集も、明示的なトレーニングを必要とせずサポートしている。
  論文  参考訳（メタデータ） (2023-03-02T18:30:16Z)
• On Distillation of Guided Diffusion Models [94.95228078141626]
  そこで本研究では,分類器を含まない誘導拡散モデルから抽出し易いモデルへ抽出する手法を提案する。 画素空間上で訓練された標準拡散モデルに対して,本手法は元のモデルに匹敵する画像を生成することができる。 遅延空間で訓練された拡散モデル(例えば、安定拡散)に対して、我々の手法は1から4段階のデノナイジングステップで高忠実度画像を生成することができる。
  論文  参考訳（メタデータ） (2022-10-06T18:03:56Z)
• P2P: Tuning Pre-trained Image Models for Point Cloud Analysis with Point-to-Pixel Prompting [94.11915008006483]
  本稿では,ポイントクラウド解析のための新しいポイント・ツー・Pixelを提案する。 ScanObjectNNの最も難しい設定では,89.3%の精度が得られる。 また,本フレームワークは,ModelNet分類とShapeNet Part Codeで非常に競争力のある性能を示す。
  論文  参考訳（メタデータ） (2022-08-04T17:59:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。