論文の概要: GenFirst: Generation Before Reconstruction for Stable End-to-End Latent Generative Modeling

• arxiv url: http://arxiv.org/abs/2608.29335v1
• Date: Sat, 29 Aug 2026 15:39:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.936954
• Title: GenFirst: Generation Before Reconstruction for Stable End-to-End Latent Generative Modeling
• Title（参考訳）: GenFirst: 安定なエンドツーエンド遅延生成モデリングのための再構築前生成
• Abstract要約: ラテント生成モデルは典型的には2段階のパイプラインに従い、再構成のために変分オートエンコーダを訓練し、凍結されたラテント空間上の生成モデルを訓練する。 我々は、異なる目的が潜在空間をどのように形成するかを分析し、2つの重要な洞察を識別する。 我々は,遅延崩壊のないエンドツーエンドトレーニングを初めて実現し,簡易な世代再建戦略であるGenFirstを提案する。
• 参考スコア（独自算出の注目度）: 42.49021247015088
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Latent generative models typically follow a two-stage pipeline, training a variational autoencoder for reconstruction and then a generative model on the frozen latent space. Since reconstruction-optimized latents are not necessarily generation-friendly, jointly training both models is an appealing alternative. However, direct end-to-end training remains challenging, as it is prone to latent collapse and faces a generation-reconstruction conflict. We revisit this problem by analyzing how different objectives shape the latent space and identify two key insights. First, the entropy term in the Kullback-Leibler divergence objective is essential for preventing collapse: reconstruction and prior fitting tend to shrink the posterior, while entropy preserves non-degenerate latent uncertainty. Second, reconstruction and generation exhibit asymmetric learning dynamics: reconstruction is fast and strongly supervised, whereas generation is slower and harder to optimize. Based on these insights, we achieve the first direct end-to-end training without latent collapse and propose GenFirst, a simple generation-before-reconstruction strategy. The generative objective first shapes the latent space under weak reconstruction pressure, after which reconstruction is progressively strengthened to recover visual details. We validate GenFirst with continuous autoregressive priors with exact likelihoods and SiT priors with implicit likelihoods. With our end-to-end objective and GenFirst, SiT achieves a gFID of 0.97 with CFG and 1.45 without CFG on ImageNet-256, while MMDiT reaches a GenEval score of 0.90 on text-to-image generation. Beyond image generation, we extend the framework to shared visual latents for generation and representation learning, and to continuous unified text-image generation. These results demonstrate the generality of stable end-to-end latent learning across generative priors and modalities.
• Abstract（参考訳）: ラテント生成モデルは典型的には2段階のパイプラインに従い、再構成のために変分オートエンコーダを訓練し、凍結されたラテント空間上の生成モデルを訓練する。 復元最適化された潜伏剤は必ずしも世代に優しいものではないので、両モデルを共同で訓練することは魅力的な選択肢である。 しかしながら、直接的なエンドツーエンドのトレーニングは、潜伏する傾向があり、世代間再構築の衝突に直面しているため、依然として困難である。 我々は、異なる目的が潜在空間をどのように形成するかを分析し、2つの重要な洞察を識別することによって、この問題を再考する。 第一に、Kulback-Leibler分散目標におけるエントロピー項は崩壊を防ぐために必須であり、再構成と事前嵌合は後部を縮小する傾向にあり、一方エントロピーは非退化潜時不確実性を保存する。 第二に、再構築と生成は非対称な学習ダイナミクスを示す:再構築は速く、強く監督されているが、生成は遅く、最適化が難しい。 これらの知見に基づいて、潜伏崩壊のないエンドツーエンドのトレーニングを初めて達成し、シンプルな世代前再構築戦略であるGenFirstを提案する。 生成目的は、まず弱い再構成圧力下で潜伏空間を形成し、その後徐々に再構成を強化して視覚的詳細を復元する。 我々は、厳密な確率で連続自己回帰的先行と暗黙的な確率でSiT先行とでGenFirstを検証する。 エンドツーエンドの目的とGenFirstにより、SiTは、画像Net-256上でCFGなしでCFGで0.97、CFGなしで1.45のgFIDを達成し、MMDiTはテキスト・画像生成で0.90のGenEvalスコアに達する。 画像生成以外にも、我々はフレームワークを、生成と表現学習のための共有視覚的潜伏者、および連続的な統一されたテキスト画像生成に拡張する。 これらの結果は、生成前とモダリティにまたがる安定したエンドツーエンドの潜在学習の一般性を示している。

関連論文リスト

• IncreFA: Breaking the Static Wall of Generative Model Attribution [32.705532220167505]
  IncreFAは、構造化された漸進的な学習問題として属性を再定義するフレームワークである。 生成的アーキテクチャ間の階層的関係を利用して、それらを継続的な適応と結合する。 時間的に順序付けられたオープンセットプロトコルの下で、最先端の属性精度と98.93%の未確認検出を実現する。
  論文  参考訳（メタデータ） (2026-04-20T02:49:32Z)
• UniGRPO: Unified Policy Optimization for Reasoning-Driven Visual Generation [51.41441081823758]
  インターリーブドジェネレーションが可能な統一モデルが有望なパラダイムとして登場している。 インターリーブ・ジェネレーションに適した統合強化学習フレームワークを提案する。 実験により,この統合学習レシピは推論による画像生成品質を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2026-03-24T17:59:17Z)
• ResTok: Learning Hierarchical Residuals in 1D Visual Tokenizers for Autoregressive Image Generation [64.84095852784714]
  Residual Tokenizer (ResTok)は、画像トークンと潜在トークンの両方の階層的残基を構築する1Dビジュアルトークンライザである。 視覚的トークン化における階層的残差の復元はAR画像生成を著しく改善し,ImageNet-256ではわずか9ステップで2.34gFIDを達成した。
  論文  参考訳（メタデータ） (2026-01-07T14:09:18Z)
• One Layer Is Enough: Adapting Pretrained Visual Encoders for Image Generation [33.56782043207013]
  Feature Auto-Encoder (FAE) は、学習済みの視覚表現を、単一の注意層としてほとんど使用せずに生成に適した低次元の潜伏子に適応させる。 FAEはクラス条件とテキスト・ツー・イメージのベンチマークで高いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-12-08T18:57:26Z)
• Heptapod: Language Modeling on Visual Signals [22.38688167256277]
  Heptapodは、言語モデリングの基本原則に準拠したイメージ自己回帰モデルである。 Heptapodは、各ステップで画像の2次元空間グリッド全体の分布を予測することを学習する。 ImageNet 生成ベンチマークでは、Heptapod は2.70ドルの FID を達成し、従来の因果自己回帰アプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2025-10-08T05:54:46Z)
• Understand Before You Generate: Self-Guided Training for Autoregressive Image Generation [110.03631978640298]
  本稿では,視覚領域に次世代の予測パラダイムを適用するメカニズムについて,初めて体系的に検討する。 高レベルの視覚的意味論の学習を妨げる3つの重要な特性を同定する。 これらの課題は、訓練中に自己指導的目的を導入することで効果的に対処できることが示される。
  論文  参考訳（メタデータ） (2025-09-18T17:47:40Z)
• Interleaving Reasoning for Better Text-to-Image Generation [83.69082794730664]
  テキストベース思考と画像合成を交互に行うIRG(Interleaving Reasoning Generation)を提案する。 IRGを効果的に訓練するために,2つのサブゴールをターゲットにしたIRGL(Interleaving Reasoning Generation Learning)を提案する。 実験の結果、SoTAの性能はGenEval, WISE, TIIF, GenAI-Bench, OneIG-ENで5～10ポイント向上した。
  論文  参考訳（メタデータ） (2025-09-08T17:56:23Z)
• Can We Generate Images with CoT? Let's Verify and Reinforce Image Generation Step by Step [86.69947123512836]
  CoT(Chain-of-Thought)推論は、複雑な理解タスクに取り組むために大規模なモデルで広く研究されている。 自己回帰画像生成を促進するために,CoT推論の可能性について,初めて包括的調査を行った。 本稿では,自動回帰画像生成に特化したPARMとPARM++を提案する。
  論文  参考訳（メタデータ） (2025-01-23T18:59:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。