論文の概要: Text-to-Image Generative Modeling Without Language Pretraining

• arxiv url: http://arxiv.org/abs/2610.26863v1
• Date: Mon, 19 Oct 2026 17:59:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.374076
• Title: Text-to-Image Generative Modeling Without Language Pretraining
• Title（参考訳）: 言語の事前学習を伴わないテキスト・ツー・イメージ生成モデル
• Abstract要約: 現代のテキスト・ツー・イメージ (T2I) システムは、テキスト条件付き画像生成のためにインターネットスケールの事前訓練を使用する。 HalcyonはGPICのスクラッチから完全に事前訓練された初期核融合型マルチモーダル自己回帰モデルのファミリーである。 強力なT2Iシステムは、インターネットスケールの事前学習なしでゼロから訓練できることを示す。
• 参考スコア（独自算出の注目度）: 49.23764922458761
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern text-to-image (T2I) systems use internet-scale language pretraining for text-conditioned image generation. We ask whether language pretraining is necessary for strong T2I generation. We introduce Halcyon, a family of early-fusion multimodal autoregressive models pretrained entirely from scratch on GPIC, a dataset of 100M image-text pairs. Halcyon-0.52B outperforms LlamaGen-XL/8 (48.0 vs. 63.3 gFD) with 18.2$\times$ less pretraining compute. Further, Halcyon-1.6B outperforms JiT-T2I-XXL/8++ (35.3 vs. 41.0 gFD) with 275$\times$ less pretraining compute. Controlled experiments show that text-only pretraining does not improve T2I generation. Halcyon also learns image captioning by replacing caption dropout with I2T supervision, maintaining competitive T2I generation quality under the same pretraining budget. We show that strong T2I systems can be trained from scratch without internet-scale language pretraining. Code and models are available at https://cs.stanford.edu/~keshik/halcyon
• Abstract（参考訳）: 現代のテキスト・ツー・イメージ (T2I) システムは、テキスト条件付き画像生成のためにインターネットスケールの事前訓練を使用する。 我々は、強力なT2I生成に言語事前学習が必要であるかどうかを問う。 Halcyonは,100MイメージテキストペアのデータセットであるGPIC上で,スクラッチから完全に事前訓練された,初期融合型マルチモーダル自己回帰モデルのファミリーである。 Halcyon-0.52B は LlamaGen-XL/8 (48.0 vs. 63.3 gFD) を 18.2$\times$ で上回る。 さらに、Halcyon-1.6B は JiT-T2I-XXL/8++ (35.3 vs. 41.0 gFD) を275$\times$ で上回る。 制御された実験により、テキストのみの事前学習はT2I生成を改善しないことが示された。 Halcyon氏はまた、キャプションドロップアウトをI2T監督に置き換え、同じ事前訓練予算の下で競合するT2I生成品質を維持することで、イメージキャプションを学ぶ。 強力なT2Iシステムは、インターネットスケールの事前学習なしでゼロから訓練できることを示す。 コードとモデルはhttps://cs.stanford.edu/~keshik/halcyonで入手できる。

関連論文リスト

• Representation Entanglement for Generation: Training Diffusion Transformers Is Much Easier Than You Think [63.25744258438214]
  REPAとその変種は、事前訓練されたモデルから外部の視覚表現を取り入れることで、拡散モデルのトレーニング課題を効果的に軽減する。 偏見推論過程全体において欠落している外部アライメントは、識別的表現の可能性を完全に活用するに足らないと我々は主張する。 本稿では,事前学習した基礎モデルから,低レベル画像ラテントを1つの高レベルクラストークンで絡み合わせるRepresentation Entanglement for Generation (REG)を提案する。
  論文  参考訳（メタデータ） (2025-07-02T08:29:18Z)
• Learning Visual Generative Priors without Text [45.38392857514346]
  I2I(Image-to-image)の生成について検討した。 我々のI2Iモデルは、より基礎的な視覚的先行として機能し、既存のT2Iモデルよりも同等または優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-12-10T18:59:31Z)
• BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models [48.60913440871774]
  BLIP-2は視覚言語による事前学習のための汎用的で効率的な事前学習戦略である。 市販のフリーズイメージエンコーダとフリーズされた大型言語モデルから、ビジョン言語による事前トレーニングをブートストラップする。 BLIP-2は、既存の手法に比べてトレーニング可能なパラメータが大幅に少ないにもかかわらず、様々な視覚言語タスクにおける最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-01-30T00:56:51Z)
• LAFITE: Towards Language-Free Training for Text-to-Image Generation [83.2935513540494]
  テキストデータなしでテキストから画像への生成モデルをトレーニングするための最初の作業を提案する。 提案手法は,CLIPモデルのマルチモーダルなセマンティック空間の整合性を活用している。 我々は,標準的なテキスト・画像生成タスクにおいて,最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-11-27T01:54:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。