論文の概要: Understand Before You Generate: Self-Guided Training for Autoregressive Image Generation

• arxiv url: http://arxiv.org/abs/2509.15185v1
• Date: Thu, 18 Sep 2025 17:47:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 17:26:53.367868
• Title: Understand Before You Generate: Self-Guided Training for Autoregressive Image Generation
• Title（参考訳）: 自己回帰画像生成のためのセルフガイドトレーニング
• Authors: Xiaoyu Yue, Zidong Wang, Yuqing Wang, Wenlong Zhang, Xihui Liu, Wanli Ouyang, Lei Bai, Luping Zhou,
• Abstract要約: 本稿では,視覚領域に次世代の予測パラダイムを適用するメカニズムについて,初めて体系的に検討する。 高レベルの視覚的意味論の学習を妨げる3つの重要な特性を同定する。 これらの課題は、訓練中に自己指導的目的を導入することで効果的に対処できることが示される。
• 参考スコア（独自算出の注目度）: 110.03631978640298
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies have demonstrated the importance of high-quality visual representations in image generation and have highlighted the limitations of generative models in image understanding. As a generative paradigm originally designed for natural language, autoregressive models face similar challenges. In this work, we present the first systematic investigation into the mechanisms of applying the next-token prediction paradigm to the visual domain. We identify three key properties that hinder the learning of high-level visual semantics: local and conditional dependence, inter-step semantic inconsistency, and spatial invariance deficiency. We show that these issues can be effectively addressed by introducing self-supervised objectives during training, leading to a novel training framework, Self-guided Training for AutoRegressive models (ST-AR). Without relying on pre-trained representation models, ST-AR significantly enhances the image understanding ability of autoregressive models and leads to improved generation quality. Specifically, ST-AR brings approximately 42% FID improvement for LlamaGen-L and 49% FID improvement for LlamaGen-XL, while maintaining the same sampling strategy.
• Abstract（参考訳）: 近年の研究では、画像生成における高品質な視覚表現の重要性が示され、画像理解における生成モデルの限界が強調されている。 元々自然言語用に設計された生成パラダイムとして、自己回帰モデルは同様の課題に直面している。 本研究では,視覚領域に次世代の予測パラダイムを適用するメカニズムについて,初めて体系的な研究を行った。 局所的および条件的依存,ステップ間意味的不整合,空間的不変性といった,高レベルの視覚的意味学の学習を妨げる3つの重要な特性を同定する。 これらの課題は、トレーニング中に自己指導的目標を導入することで効果的に対処できることを示し、新しいトレーニングフレームワーク、ST-AR(Self-guided Training for AutoRegressive Model)を創出する。 事前訓練された表現モデルに頼ることなく、ST-ARは自己回帰モデルのイメージ理解能力を大幅に向上させ、生成品質を向上させる。 具体的には、ST-ARはLlamaGen-Lに対して約42%のFID改善、LlamaGen-XLでは49%のFID改善を実現し、同じサンプリング戦略を維持している。

関連論文リスト

• Foundations and Models in Modern Computer Vision: Key Building Blocks in Landmark Architectures [34.542592986038265]
  本報告では,コンピュータビジョンにおけるキーデザインパターンの進化を,影響力のある6つの論文から分析する。 本稿では,残差接続を導入したResNetについて概説する。 画像パッチのシーケンスにトランスフォーマーアーキテクチャを適用し,新たなパラダイムを確立したビジョントランスフォーマー(ViT)について検討する。
  論文  参考訳（メタデータ） (2025-07-31T09:08:11Z)
• Vision Foundation Models as Effective Visual Tokenizers for Autoregressive Image Generation [66.73899356886652]
  我々は、事前訓練された視覚基盤モデルの上に画像トークン化器を直接構築する。 提案する画像トークンーであるVFMTokは、画像再構成と生成品質を大幅に改善する。 ImageNetベンチマークで2.07のgFIDを達成することで、自動回帰(AR)生成をさらに強化する。
  論文  参考訳（メタデータ） (2025-07-11T09:32:45Z)
• Enhancing Variational Autoencoders with Smooth Robust Latent Encoding [54.74721202894622]
  変分オートエンコーダ(VAE)は拡散に基づく生成モデルをスケールアップする上で重要な役割を果たしている。 Smooth Robust Latent VAEは、世代品質とロバスト性の両方を向上する、新しい対向トレーニングフレームワークである。 実験により、SRL-VAEは、Nightshade攻撃や画像編集攻撃に対して、画像再構成とテキスト誘導画像編集において、生成品質とロバスト性の両方を改善することが示された。
  論文  参考訳（メタデータ） (2025-04-24T03:17:57Z)
• Autoregressive Image Generation with Vision Full-view Prompt [18.569610688433745]
  自動回帰画像生成のための視覚フルビュープロンプト(VFプロンプト)を提案する。 NLPの分野でのプロンプトエンジニアリングにインスパイアされ、自動回帰画像生成を改善するためにビジョンフルビュープロンプト(VFプロンプト)を提案する。
  論文  参考訳（メタデータ） (2025-02-24T08:44:01Z)
• Can We Generate Images with CoT? Let's Verify and Reinforce Image Generation Step by Step [86.69947123512836]
  CoT(Chain-of-Thought)推論は、複雑な理解タスクに取り組むために大規模なモデルで広く研究されている。 自己回帰画像生成を促進するために,CoT推論の可能性について,初めて包括的調査を行った。 本稿では,自動回帰画像生成に特化したPARMとPARM++を提案する。
  論文  参考訳（メタデータ） (2025-01-23T18:59:43Z)
• CAR: Controllable Autoregressive Modeling for Visual Generation [100.33455832783416]
  Controllable AutoRegressive Modeling (CAR)は、条件制御をマルチスケールの潜在変数モデリングに統合する新しいプラグイン・アンド・プレイフレームワークである。 CARは、制御表現を徐々に洗練し、キャプチャし、前訓練されたモデルの各自己回帰ステップに注入して生成プロセスを導く。 提案手法は,様々な条件にまたがって優れた制御性を示し,従来の手法に比べて画質の向上を実現している。
  論文  参考訳（メタデータ） (2024-10-07T00:55:42Z)
• Enhancing Large Vision Language Models with Self-Training on Image Comprehension [131.14381425260706]
  本稿では、画像理解に特化して自己学習アプローチを強調する自己学習 on Image (STIC)を紹介する。 まず、ラベルのない画像を用いて、画像記述の好みを自己構築する。 抽出した視覚情報に対する推論をさらに自己改善するため,既存の命令調整データのごく一部をモデルに再利用する。
  論文  参考訳（メタデータ） (2024-05-30T05:53:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。