論文の概要: Data Extrapolation for Text-to-image Generation on Small Datasets

• arxiv url: http://arxiv.org/abs/2410.01638v1
• Date: Wed, 2 Oct 2024 15:08:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 16:23:10.146225
• Title: Data Extrapolation for Text-to-image Generation on Small Datasets
• Title（参考訳）: 小型データセットを用いたテキスト・画像生成のためのデータ外挿
• Authors: Senmao Ye, Fei Liu,
• Abstract要約: 線形外挿を用いたテキスト・画像生成のための新しいデータ拡張手法を提案する。 トレーニングサンプルをオリジナルのデータセットの数十倍の規模で構築する。 我々のモデルは、CUB、オックスフォード、COCOのデータセットで7.91、9.52、および5.00のFIDスコアを達成する。
• 参考スコア（独自算出の注目度）: 3.7356387436951146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-image generation requires large amount of training data to synthesizing high-quality images. For augmenting training data, previous methods rely on data interpolations like cropping, flipping, and mixing up, which fail to introduce new information and yield only marginal improvements. In this paper, we propose a new data augmentation method for text-to-image generation using linear extrapolation. Specifically, we apply linear extrapolation only on text feature, and new image data are retrieved from the internet by search engines. For the reliability of new text-image pairs, we design two outlier detectors to purify retrieved images. Based on extrapolation, we construct training samples dozens of times larger than the original dataset, resulting in a significant improvement in text-to-image performance. Moreover, we propose a NULL-guidance to refine score estimation, and apply recurrent affine transformation to fuse text information. Our model achieves FID scores of 7.91, 9.52 and 5.00 on the CUB, Oxford and COCO datasets. The code and data will be available on GitHub (https://github.com/senmaoy/RAT-Diffusion).
• Abstract（参考訳）: テキスト・ツー・イメージ生成は高品質な画像の合成に大量のトレーニングデータを必要とする。 トレーニングデータを増やすために、従来の方法は、トリミング、フリップ、ミキシングのようなデータ補間に依存しており、新しい情報の導入に失敗し、限界的な改善しか得られない。 本稿では,線形外挿を用いたテキスト・画像生成のための新しいデータ拡張手法を提案する。 具体的には,テキストの特徴にのみ線形補間を適用し,新しい画像データを検索エンジンによってインターネットから検索する。 新たなテキストイメージ対の信頼性を確保するため,検索した画像を浄化する2つの外部検出器を設計する。 外挿に基づいて、元のデータセットの数十倍のサンプルをトレーニングし、結果としてテキスト・画像のパフォーマンスが大幅に向上した。 さらに、スコア推定を洗練するためのNULLガイダンスを提案し、テキスト情報を融合するために繰り返しアフィン変換を適用した。 我々のモデルは、CUB、オックスフォード、COCOのデータセットで7.91、9.52、および5.00のFIDスコアを達成する。 コードとデータはGitHubで入手できる(https://github.com/senmaoy/RAT-Diffusion)。

関連論文リスト

• Contrastive Transformer Learning with Proximity Data Generation for Text-Based Person Search [60.626459715780605]
  記述的なテキストクエリーを与えられたテキストベースの人物検索は、画像ギャラリーからベストマッチした人物を検索することを目的としている。 このようなクロスモーダル検索タスクは、重要なモダリティギャップ、きめ細かい相違、注釈付きデータの不十分さのため、かなり難しい。 本稿では,テキストに基づく人物検索のための2つのトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-15T16:26:49Z)
• Leveraging Unpaired Data for Vision-Language Generative Models via Cycle Consistency [47.3163261953469]
  現在の視覚言語生成モデルは、最適な性能と一般化能力を達成するために、ペア画像テキストデータの拡張コーパスに依存している。 サイクル整合性の概念に基づく革新的なトレーニングパラダイムであるITITを導入する。 ITITは、分離された画像とテキストデコーダを備えたジョイントな画像テキストエンコーダで構成され、単一のフレームワークで双方向の画像テキスト生成とテキスト画像生成を可能にする。
  論文  参考訳（メタデータ） (2023-10-05T17:55:19Z)
• Shifted Diffusion for Text-to-image Generation [65.53758187995744]
  Corgiは,提案したシフト拡散モデルに基づいて,入力テキストからより優れた画像埋め込み生成を実現する。 Corgiはまた、ダウンストリーム言語フリーのテキスト画像生成タスク上で、さまざまなデータセットにまたがる最先端の新たな結果も達成している。
  論文  参考訳（メタデータ） (2022-11-24T03:25:04Z)
• Lafite2: Few-shot Text-to-Image Generation [132.14211027057766]
  本稿では,画像のみのデータセットを用いたテキスト・画像生成モデルの事前学習手法を提案する。 擬似テキスト特徴を合成する検索テーマ最適化手法を検討する。 これは、数ショット、半教師あり、完全に教師された学習など、幅広い設定で有益である。
  論文  参考訳（メタデータ） (2022-10-25T16:22:23Z)
• Paired Cross-Modal Data Augmentation for Fine-Grained Image-to-Text Retrieval [142.047662926209]
  本稿では,StyleGAN2モデルの隠れセマンティック情報を明らかにすることによって,ペアデータ拡張のための新しいフレームワークを提案する。 ランダムなトークン置換によって拡張テキストを生成し、拡張テキストを潜在空間アライメントモジュールに渡す。 我々は,2つのパブリックなクロスモーダル検索データセットに対する拡張データアプローチの有効性を評価する。
  論文  参考訳（メタデータ） (2022-07-29T01:21:54Z)
• Feature transforms for image data augmentation [74.12025519234153]
  画像分類において、多くの拡張アプローチは単純な画像操作アルゴリズムを利用する。 本研究では,14種類の拡張アプローチを組み合わせて生成した画像を追加することで,データレベルでのアンサンブルを構築する。 事前トレーニングされたResNet50ネットワークは、各拡張メソッドから派生した画像を含むトレーニングセットに基づいて微調整される。
  論文  参考訳（メタデータ） (2022-01-24T14:12:29Z)
• Text-Based Person Search with Limited Data [66.26504077270356]
  テキストベースの人物検索(TBPS)は、画像ギャラリーから対象人物を記述的なテキストクエリで検索することを目的としている。 限られたデータによってもたらされる問題に対処する2つの新しいコンポーネントを持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-20T22:20:47Z)
• Self-supervised Image-text Pre-training With Mixed Data In Chest X-rays [10.398175542736285]
  混合データ入力から学習できる画像テキスト事前学習フレームワークを紹介します。 混合データ入力における事前学習の可能性を示す。 また、3つの胸部x線アプリケーションに事前訓練されたモデルを適用する利点についても述べる。
  論文  参考訳（メタデータ） (2021-03-30T01:48:46Z)
• Reducing Labelled Data Requirement for Pneumonia Segmentation using Image Augmentations [0.0]
  画像拡張が肺炎検出のための胸部x線意味セグメンテーションにおけるラベル付きデータの必要性を減らす効果について検討した。 我々は、トレーニングデータから異なるサイズのサブセットで完全な畳み込みネットワークモデルを訓練する。 回転と混合は、回転、混合、翻訳、ガンマ、水平フリップの中で最高の増強であり、ラベル付きデータの要件を70%削減します。
  論文  参考訳（メタデータ） (2021-02-25T10:11:30Z)
• Complex Wavelet SSIM based Image Data Augmentation [0.0]
  我々は,MNIST手書き画像データセットを数値認識に用いる画像データセットとして検討する。 このデータセットの弾性変形に最もよく用いられる拡張手法の1つを詳細に検討する。 本稿では、複雑なウェーブレット構造類似度指標(CWSSIM)と呼ばれる類似度尺度を用いて、無関係なデータを選択的にフィルタリングする手法を提案する。
  論文  参考訳（メタデータ） (2020-07-11T21:11:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。