論文の概要: Fluid: Scaling Autoregressive Text-to-image Generative Models with Continuous Tokens

• arxiv url: http://arxiv.org/abs/2410.13863v1
• Date: Thu, 17 Oct 2024 17:59:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:20:57.330283
• Title: Fluid: Scaling Autoregressive Text-to-image Generative Models with Continuous Tokens
• Title（参考訳）: Fluid: 継続的トークンによる自動回帰テキストから画像生成モデルのスケーリング
• Authors: Lijie Fan, Tianhong Li, Siyang Qin, Yuanzhen Li, Chen Sun, Michael Rubinstein, Deqing Sun, Kaiming He, Yonglong Tian,
• Abstract要約: 視覚における自己回帰モデルのスケールアップは、大きな言語モデルほど有益でないことが証明されている。 モデルが離散トークンを使用するか、連続トークンを使用するか、BERTやGPTのようなトランスフォーマーアーキテクチャを用いてランダムまたは固定順序でトークンを生成するか、という2つの重要な要素に焦点を当てる。 その結果,すべてのモデルが検証損失の点で効果的にスケールしているのに対して,評価性能はFID,GenEvalスコア,視覚的品質などによって異なる傾向を呈することがわかった。
• 参考スコア（独自算出の注目度）: 53.99177152562075
• License:
• Abstract: Scaling up autoregressive models in vision has not proven as beneficial as in large language models. In this work, we investigate this scaling problem in the context of text-to-image generation, focusing on two critical factors: whether models use discrete or continuous tokens, and whether tokens are generated in a random or fixed raster order using BERT- or GPT-like transformer architectures. Our empirical results show that, while all models scale effectively in terms of validation loss, their evaluation performance -- measured by FID, GenEval score, and visual quality -- follows different trends. Models based on continuous tokens achieve significantly better visual quality than those using discrete tokens. Furthermore, the generation order and attention mechanisms significantly affect the GenEval score: random-order models achieve notably better GenEval scores compared to raster-order models. Inspired by these findings, we train Fluid, a random-order autoregressive model on continuous tokens. Fluid 10.5B model achieves a new state-of-the-art zero-shot FID of 6.16 on MS-COCO 30K, and 0.69 overall score on the GenEval benchmark. We hope our findings and results will encourage future efforts to further bridge the scaling gap between vision and language models.
• Abstract（参考訳）: 視覚における自己回帰モデルのスケールアップは、大きな言語モデルほど有益でないことが証明されている。 本研究では、このスケーリング問題をテキスト・画像生成の文脈で検討し、モデルが離散的・連続的トークンを使用するか、トークンがBERT型・GPT型トランスフォーマーアーキテクチャを用いてランダムまたは固定的なラスタ順序で生成されるかという2つの重要な要素に焦点を当てた。 実験の結果,すべてのモデルが検証損失の点で効果的にスケールしているのに対して,評価性能はFID,GenEvalスコア,視覚的品質などによって異なる傾向を呈することがわかった。 連続トークンに基づくモデルは、離散トークンを使用するモデルよりも視覚的品質が著しく向上する。 さらに、生成順序と注意機構はGenEvalのスコアに大きく影響する。 これらの知見に触発されて、連続トークン上のランダム順序自己回帰モデルであるFluidを訓練する。 Fluid 10.5Bモデルは、MS-COCO 30Kで6.16の最先端のゼロショットFID、GenEvalベンチマークで0.69のスコアを得る。 私たちの発見と成果は、視覚モデルと言語モデルの間のスケーリングギャップをさらに埋めるために、今後の取り組みを促進することを願っています。

関連論文リスト

• Stabilize the Latent Space for Image Autoregressive Modeling: A Unified Perspective [52.778766190479374]
  遅延ベース画像生成モデルは、画像生成タスクにおいて顕著な成功を収めた。 同じ遅延空間を共有するにもかかわらず、自己回帰モデルは画像生成において LDM や MIM よりもかなり遅れている。 本稿では,画像生成モデルのための遅延空間を安定化する,単純だが効果的な離散画像トークン化手法を提案する。
  論文  参考訳（メタデータ） (2024-10-16T12:13:17Z)
• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• Identifying and Mitigating Model Failures through Few-shot CLIP-aided Diffusion Generation [65.268245109828]
  本稿では,突発的相関に付随する障害モードのテキスト記述を生成するためのエンドツーエンドフレームワークを提案する。 これらの記述は拡散モデルのような生成モデルを用いて合成データを生成するのに使うことができる。 本実験では, ハードサブポピュレーションの精度(sim textbf21%$)が著しく向上した。
  論文  参考訳（メタデータ） (2023-12-09T04:43:49Z)
• Score-Based Generative Classifiers [9.063815952852783]
  生成モデルは、MNISTのような単純なデータセット上で逆向きに堅牢な分類器として使われてきた。 これまでの結果は、データの可能性と分類精度のトレードオフを示唆している。 スコアに基づく生成モデルは,標準的な識別モデルと比較して,分類精度のギャップを埋めていることを示す。
  論文  参考訳（メタデータ） (2021-10-01T15:05:33Z)
• A Temporal Variational Model for Story Generation [21.99104738567138]
  最近の言語モデルは、物語生成において興味深く文法的に正しいテキストを生成することができるが、プロット開発や長期的一貫性を欠くことが多い。 本稿では,TD-VAE(Temporal Difference Variational Autoencoder)に基づく潜在ベクトル計画手法による実験を行う。 その結果,自動クローズおよびスワップ評価において高い性能を示した。
  論文  参考訳（メタデータ） (2021-09-14T16:36:12Z)
• On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
  log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。 異なる家族間でのモデルランキングの相関はみられない。
  論文  参考訳（メタデータ） (2020-02-17T20:13:35Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。