論文の概要: Know, then Draw: A New Learning Paradigm for Visual Generation

• arxiv url: http://arxiv.org/abs/2610.37626v1
• Date: Tue, 27 Oct 2026 17:50:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.737304
• Title: Know, then Draw: A New Learning Paradigm for Visual Generation
• Title（参考訳）: Know, then Draw: ビジュアルジェネレーションのための新しい学習パラダイム
• Abstract要約: 我々は知識獲得とレンダリングの目的、表現、スケーリングについて研究する。 制御された比較は、下流レンダリングのより強い事前学習目的として自己回帰を識別する。
• 参考スコア（独自算出の注目度）: 38.68719725400886
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual generation requires both high-level semantic knowledge and fine-grained pixel details. We propose a learning paradigm that assigns these roles to autoregressive pretraining for knowledge acquisition and diffusion post-training for high-fidelity rendering. Within this framework, we study the objective, representation, and scaling of knowledge acquisition and rendering. Controlled comparisons identify autoregression as the stronger pretraining objective for downstream rendering, improving both learning efficiency and final generation quality. We further find that AR-only generation quality does not necessarily correlate with final performance; semantic quality matters more. This motivates a purely semantic tokenizer trained with language supervision alone, without an image decoder or reconstruction loss. We establish compute-optimal scaling laws for knowledge acquisition and rendering, and find that autoregressive pretraining lowers the fitted asymptotic rendering loss compared with pixel diffusion models trained from scratch. Guided by the laws, we train a 3B-parameter text-to-image model with only 6,600 H100 GPU-hours, achieving 86 on GenEval and 87 on DPG-Bench and validating the proposed paradigm at scale.
• Abstract（参考訳）: ビジュアル生成には高レベルのセマンティック知識と細かなピクセルの詳細が必要である。 本研究では,これらの役割を,知識獲得のための自己回帰事前学習と高忠実度レンダリングのための拡散後学習に割り当てる学習パラダイムを提案する。 本フレームワークでは,知識獲得とレンダリングの目的,表現,スケーリングについて検討する。 制御された比較では、自己回帰が下流レンダリングのより強力な事前学習目標であり、学習効率と最終生成品質の両方を改善している。 さらに,ARのみの生成品質が最終性能と必ずしも相関しないことがわかった。 これにより、画像デコーダや再構成損失なしで、言語管理だけで訓練された純粋に意味のあるトークン化ツールが動機付けられる。 知識獲得とレンダリングのための計算最適スケーリング法を確立し, 自己回帰事前学習は, ゼロから訓練した画素拡散モデルと比較して, 適応した漸近的レンダリング損失を低くする。 法則に従って,6600H100GPU時間で3Bパラメータのテキスト・ツー・イメージモデルをトレーニングし,GenEvalで86,DPG-Benchで87を達成し,提案したパラダイムを大規模に検証する。

関連論文リスト

• Implicit Neural Representation Facilitates Unified Universal Vision Encoding [11.947746726150001]
  第一種モデルは、認識と生成に同時に役立つ表現を学習する。 我々は、暗黙のニューラル表現のためのハイパーネットワークとしてモデルをトレーニングし、高速で正確な再構築のために画像の重みをモデルにマッピングすることを学ぶ。 このモデルは、様々な視覚的タスクに優れた性能を持つ前例のない圧縮埋め込み空間も学習する。
  論文  参考訳（メタデータ） (2026-01-20T18:59:57Z)
• Next-Embedding Prediction Makes Strong Vision Learners [68.55755328850634]
  モデルをトレーニングして埋め込みを生成し、予測タスクを直接実行します。 Next-Embedding Predictive Autoregression (NEPA)はタスク間で強力な結果をもたらす。 埋め込みから生成する事前学習は、視覚的な自己教師型学習に代わる、シンプルでスケーラブルで、潜在的にモダリティに依存しない代替手段を提供する、と私たちは信じています。
  論文  参考訳（メタデータ） (2025-12-18T18:59:58Z)
• Towards Scalable Pre-training of Visual Tokenizers for Generation [41.785568766118594]
  本稿では、画像テキストのコントラスト、自己監督、再構成の損失を共同で最適化する一貫した視覚トークン化前訓練フレームワークを提案する。 大規模プレトレーニング後, トークン化装置は, 画像ネット上で78.2ゼロショット精度と0.36rFID) と4.1倍のコンバージェンスを実現した。
  論文  参考訳（メタデータ） (2025-12-15T18:59:54Z)
• TULIP: Towards Unified Language-Image Pretraining [60.99500935831526]
  既存のCLIPライクなモデルの代替として,オープンソースでドロップイン可能なTを導入する。 提案手法は, 生成データの拡張, 画像画像の強化, テキストコントラスト学習, 画像/テキスト再構成正規化を利用して, きめ細かい視覚的特徴を学習する。 当社のアプローチでは、ベンチマーク全体で既存の最先端(SOTA)モデルを上回っています。
  論文  参考訳（メタデータ） (2025-03-19T17:58:57Z)
• Learning from Mistakes: Iterative Prompt Relabeling for Text-to-Image Diffusion Model Training [33.51524424536508]
  Iterative Prompt Relabeling (IPR) は、反復的な画像サンプリングを通じて画像をテキストにアライメントし、フィードバックでリテラブルを促す新しいアルゴリズムである。 我々はSDv2とSDXLについて徹底的な実験を行い、空間関係の指示に従う能力をテストする。
  論文  参考訳（メタデータ） (2023-12-23T11:10:43Z)
• Reinforcement Learning from Diffusion Feedback: Q* for Image Search [2.5835347022640254]
  モデル非依存学習を用いた画像生成のための2つのモデルを提案する。 RLDFは、事前保存された報酬関数誘導による視覚模倣のための特異なアプローチである。 クラス一貫性と強力な視覚的多様性を示す様々な領域にまたがる高品質な画像を生成する。
  論文  参考訳（メタデータ） (2023-11-27T09:20:12Z)
• TVTSv2: Learning Out-of-the-box Spatiotemporal Visual Representations at Scale [59.01246141215051]
  言語指導の観点から,その劣化要因を分析した。 本稿では,テキストエンコーダの一般化能力を維持するために,教師なし事前学習戦略を提案する。 最大10億のパラメータを持つTVTSv2と呼ばれる一連のモデルを作成します。
  論文  参考訳（メタデータ） (2023-05-23T15:44:56Z)
• In-N-Out Generative Learning for Dense Unsupervised Video Segmentation [89.21483504654282]
  本稿では,ラベルなしビデオから視覚的対応を学習する,教師なしビデオオブジェクト(VOS)タスクに焦点を当てる。 In-aNd-Out(INO)生成学習を純粋に生成的観点から提案する。 我々のINOは、最先端の手法をかなりのマージンで上回っている。
  論文  参考訳（メタデータ） (2022-03-29T07:56:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。