論文の概要: StableRep: Synthetic Images from Text-to-Image Models Make Strong Visual Representation Learners

• arxiv url: http://arxiv.org/abs/2306.00984v1
• Date: Thu, 1 Jun 2023 17:59:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 13:38:28.523501
• Title: StableRep: Synthetic Images from Text-to-Image Models Make Strong Visual Representation Learners
• Title（参考訳）: StableRep: テキストから画像への合成画像は、強力な視覚表現学習者を生み出す
• Authors: Yonglong Tian, Lijie Fan, Phillip Isola, Huiwen Chang, Dilip Krishnan
• Abstract要約: 合成画像の自己教師的手法を訓練することで、実際の画像と一致したり、打ち負かしたりすることができることを示す。 本研究では,StableRepと呼ばれるマルチ陽性のコントラスト学習手法を開発した。 合成画像だけで、StableRepで学んだ表現は、SimCLRとCLIPで学んだ表現のパフォーマンスを上回る。
• 参考スコア（独自算出の注目度）: 41.96265816777241
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the potential of learning visual representations using synthetic images generated by text-to-image models. This is a natural question in the light of the excellent performance of such models in generating high-quality images. We consider specifically the Stable Diffusion, one of the leading open source text-to-image models. We show that (1) when the generative model is configured with proper classifier-free guidance scale, training self-supervised methods on synthetic images can match or beat the real image counterpart; (2) by treating the multiple images generated from the same text prompt as positives for each other, we develop a multi-positive contrastive learning method, which we call StableRep. With solely synthetic images, the representations learned by StableRep surpass the performance of representations learned by SimCLR and CLIP using the same set of text prompts and corresponding real images, on large scale datasets. When we further add language supervision, StableRep trained with 20M synthetic images achieves better accuracy than CLIP trained with 50M real images.
• Abstract（参考訳）: テキストから画像への合成画像を用いた視覚表現の学習の可能性について検討した。 このようなモデルが高品質な画像を生成する際の優れた性能という観点から、これは自然な問題です。 特に,オープンソースのテキスト対画像モデルであるstable diffusionについて考察する。 本研究では,(1) 生成モデルが適切な分類なし指導尺度で設定されている場合, 合成画像の自己指導的手法は実画像と一致したり, 打ち負かすことができること,(2) 同一のテキストプロンプトから生成した複数の画像を正として扱うことにより, マルチ陽性のコントラスト学習法を開発した。 合成画像のみを用いて、StableRepが学んだ表現は、大規模なデータセット上で、同じテキストプロンプトと対応する実画像のセットを使用して、SimCLRとCLIPが学んだ表現のパフォーマンスを上回る。 さらに言語管理を追加すると,20m合成画像でトレーニングしたstablerepは,50m実画像でトレーニングされたクリップよりも精度が向上する。

関連論文リスト

• Learning Vision from Models Rivals Learning Vision from Data [54.43596959598465]
  合成画像と合成キャプションのみから視覚表現を学習するための新しいアプローチであるSynCLRを紹介する。 LLMを用いて画像キャプションの大規模なデータセットを合成し,既製のテキスト・ツー・イメージモデルを用いて合成キャプションに対応する複数の画像を生成する。 比較学習によって合成画像の視覚的表現学習を行い、同じ字幕を共有するイメージを正のペアとして扱う。
  論文  参考訳（メタデータ） (2023-12-28T18:59:55Z)
• Improving Cross-modal Alignment with Synthetic Pairs for Text-only Image Captioning [13.357749288588039]
  以前の作業では、教師なし設定下でのテキスト情報のみに依存して、画像キャプションのためのCLIPのクロスモーダルアソシエーション機能を活用していた。 本稿では,合成画像とテキストのペアを組み込むことにより,これらの問題に対処する新しい手法を提案する。 テキストデータに対応する画像を得るために、事前訓練されたテキスト・ツー・イメージモデルが配置され、CLIP埋め込み空間の実際の画像に対して、生成された画像の擬似特徴を最適化する。
  論文  参考訳（メタデータ） (2023-12-14T12:39:29Z)
• ITI-GEN: Inclusive Text-to-Image Generation [56.72212367905351]
  本研究では,人書きプロンプトに基づいて画像を生成する包括的テキスト・画像生成モデルについて検討する。 いくつかの属性に対して、画像はテキストよりも概念を表現的に表現できることを示す。 Inclusive Text-to- Image GENeration に容易に利用可能な参照画像を活用する新しいアプローチ ITI-GEN を提案する。
  論文  参考訳（メタデータ） (2023-09-11T15:54:30Z)
• Image Captions are Natural Prompts for Text-to-Image Models [70.30915140413383]
  本研究では,合成データの学習効果とプロンプトによる合成データ分布の関係を解析した。 本稿では,テキストから画像への生成モデルにより,より情報的で多様な学習データを合成する簡易かつ効果的な手法を提案する。 本手法は,合成学習データに基づいて訓練したモデルの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-07-17T14:38:11Z)
• Hierarchical Text-Conditional Image Generation with CLIP Latents [20.476720970770128]
  画像表現を明示的に生成することで、フォトリアリズムとキャプションの類似性が最小限に抑えられ、画像の多様性が向上することを示す。 画像表現に条件付けされたデコーダは、その意味とスタイルの両方を保存した画像のバリエーションを生成できる。
  論文  参考訳（メタデータ） (2022-04-13T01:10:33Z)
• Zero-Shot Image-to-Text Generation for Visual-Semantic Arithmetic [72.60554897161948]
  最近のテキストと画像のマッチングモデルは、未修正画像と文の大きなコーパスに対してコントラスト学習を適用している。 本研究では、そのようなモデルを用いて、推論時に画像が与えられた記述テキストを生成する。 結果として得られたキャプションは、教師付きキャプション法によるキャプションよりもはるかに制限を受けない。
  論文  参考訳（メタデータ） (2021-11-29T11:01:49Z)
• Cycle-Consistent Inverse GAN for Text-to-Image Synthesis [101.97397967958722]
  本稿では,テキスト・ツー・イメージ・ジェネレーションとテキスト・ガイドによる画像操作を行うために,Cycle-Consistent Inverse GANの統一フレームワークを提案する。 我々は、GANの反転モデルを学び、画像をGANの潜在空間に変換し、各画像の反転潜在符号を得る。 テキスト誘導最適化モジュールでは、反転潜在符号を最適化することにより、所望のセマンティック属性を持つ画像を生成する。
  論文  参考訳（メタデータ） (2021-08-03T08:38:16Z)
• Improving Text-to-Image Synthesis Using Contrastive Learning [4.850820365312369]
  本稿では,合成画像の品質向上とセマンティック一貫性向上のための対照的な学習手法を提案する。 CUBとCOCOのデータセットを用いた2つの一般的なテキスト・画像合成モデルであるAttnGANとDM-GANに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2021-07-06T06:43:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。