論文の概要: Beyond Generation: Harnessing Text to Image Models for Object Detection and Segmentation

• arxiv url: http://arxiv.org/abs/2309.05956v1
• Date: Tue, 12 Sep 2023 04:41:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-13 14:19:23.235193
• Title: Beyond Generation: Harnessing Text to Image Models for Object Detection and Segmentation
• Title（参考訳）: beyond generation: テキストを画像モデルに活用してオブジェクトの検出とセグメンテーションを行う
• Authors: Yunhao Ge, Jiashu Xu, Brian Nlong Zhao, Neel Joshi, Laurent Itti, Vibhav Vineet
• Abstract要約: 精度の高いラベル付きトレーニングデータを自動的に生成する新しいパラダイムを提案する。 提案手法は、トレーニングデータ生成を前景オブジェクト生成とコンテキスト的に一貫性のある背景生成に分離する。 5つのオブジェクト検出とセグメンテーションデータセットに対するアプローチの利点を実証する。
• 参考スコア（独自算出の注目度）: 29.274362919954218
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a new paradigm to automatically generate training data with accurate labels at scale using the text-to-image synthesis frameworks (e.g., DALL-E, Stable Diffusion, etc.). The proposed approach1 decouples training data generation into foreground object generation, and contextually coherent background generation. To generate foreground objects, we employ a straightforward textual template, incorporating the object class name as input prompts. This is fed into a text-to-image synthesis framework, producing various foreground images set against isolated backgrounds. A foreground-background segmentation algorithm is then used to generate foreground object masks. To generate context images, we begin by creating language descriptions of the context. This is achieved by applying an image captioning method to a small set of images representing the desired context. These textual descriptions are then transformed into a diverse array of context images via a text-to-image synthesis framework. Subsequently, we composite these with the foreground object masks produced in the initial step, utilizing a cut-and-paste method, to formulate the training data. We demonstrate the advantages of our approach on five object detection and segmentation datasets, including Pascal VOC and COCO. We found that detectors trained solely on synthetic data produced by our method achieve performance comparable to those trained on real data (Fig. 1). Moreover, a combination of real and synthetic data yields even much better results. Further analysis indicates that the synthetic data distribution complements the real data distribution effectively. Additionally, we emphasize the compositional nature of our data generation approach in out-of-distribution and zero-shot data generation scenarios. We open-source our code at https://github.com/gyhandy/Text2Image-for-Detection
• Abstract（参考訳）: テキストと画像の合成フレームワーク(DALL-E, 安定拡散など)を用いて, 精度の高いラベル付きトレーニングデータを自動的に生成する新しいパラダイムを提案する。 提案するアプローチ1は、トレーニングデータ生成を前景オブジェクト生成とコンテキスト的にコヒーレントなバックグラウンド生成に分離する。 前景オブジェクトを生成するには、入力プロンプトとしてオブジェクトクラス名を取り入れた単純なテキストテンプレートを用いる。 これはテキストから画像への合成フレームワークに供給され、孤立した背景に対して様々なフォアグラウンドイメージを生成する。 前景背景分割アルゴリズムを用いて前景オブジェクトマスクを生成する。 文脈画像を生成するために、まず文脈の言語記述を作成する。 これは、所望のコンテキストを表す画像の小さなセットに画像キャプション法を適用することで実現される。 これらのテキスト記述は、テキストから画像への合成フレームワークを通じて、さまざまなコンテキストイメージに変換される。 続いて,前景の被写体マスクを初期段階に合成し,カット・アンド・ペースト法を用いてトレーニングデータを定式化する。 我々は、Pascal VOCやCOCOを含む5つのオブジェクト検出とセグメンテーションデータセットに対するアプローチの利点を実証する。 その結果,本手法で生成した合成データのみを学習した検出器は実データと同等の性能を発揮することがわかった(第1報)。 さらに、実データと合成データの組み合わせにより、さらに優れた結果が得られる。 さらに分析した結果, 合成データ分布は実データ分布を効率的に補完することがわかった。 さらに,アウトオブディストリビューションおよびゼロショットデータ生成シナリオにおけるデータ生成アプローチの構成的性質についても強調する。 私たちはhttps://github.com/gyhandy/Text2Image-for-detectionでコードをオープンソース化しました。

関連論文リスト

• Enhancing Scene Text Detectors with Realistic Text Image Synthesis Using Diffusion Models [63.99110667987318]
  DiffTextは、前景のテキストと背景の本質的な特徴をシームレスにブレンドするパイプラインです。 テキストインスタンスが少なくなると、生成したテキストイメージはテキスト検出を支援する他の合成データを一貫して上回ります。
  論文  参考訳（メタデータ） (2023-11-28T06:51:28Z)
• Adapt Anything: Tailor Any Image Classifiers across Domains And Categories Using Text-to-Image Diffusion Models [82.95591765009105]
  我々は,現代テキスト・画像拡散モデルが,ドメインやカテゴリ間でタスク適応型画像分類器をカスタマイズできるかどうかを検討することを目的とする。 対象のテキストプロンプトから派生したカテゴリラベルを用いた画像合成には,1つのオフ・ザ・シェルフテキスト・ツー・イメージモデルのみを用いる。
  論文  参考訳（メタデータ） (2023-10-25T11:58:14Z)
• Style Generation: Image Synthesis based on Coarsely Matched Texts [10.939482612568433]
  テキストベースのスタイル生成と呼ばれる新しいタスクを導入し、2段階の生成対角ネットワークを提案する。 第1ステージは、文特徴付き全体画像スタイルを生成し、第2ステージは、合成特徴付きで生成されたスタイルを洗練する。 本研究は,テキスト・イメージアライメントやストーリー・ビジュアライゼーションといった様々な応用によって実証された。
  論文  参考訳（メタデータ） (2023-09-08T21:51:11Z)
• Self-supervised Scene Text Segmentation with Object-centric Layered Representations Augmented by Text Regions [22.090074821554754]
  本稿では,オブジェクト中心の表現を階層的に分離し,画像からテキストや背景に分割する自己教師付きシーンテキストセグメンテーションアルゴリズムを提案する。 いくつかの公開シーンのテキストデータセットにおいて、この手法は最先端の教師なしセグメンテーションアルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2023-08-25T05:00:05Z)
• Text-based Person Search without Parallel Image-Text Data [52.63433741872629]
  テキストベースの人物探索(TBPS)は,対象者の画像を与えられた自然言語記述に基づいて大きな画像ギャラリーから検索することを目的としている。 既存の手法は、並列画像テキストペアによるトレーニングモデルによって支配されており、収集には非常にコストがかかる。 本稿では,並列画像テキストデータなしでTBPSを探索する試みについて述べる。
  論文  参考訳（メタデータ） (2023-05-22T12:13:08Z)
• Taming Encoder for Zero Fine-tuning Image Customization with Text-to-Image Diffusion Models [55.04969603431266]
  本稿では,ユーザが指定したカスタマイズされたオブジェクトの画像を生成する手法を提案する。 この手法は、従来のアプローチで要求される長大な最適化をバイパスする一般的なフレームワークに基づいている。 提案手法は, 出力品質, 外観の多様性, 被写体忠実度を考慮した画像合成が可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-05T17:59:32Z)
• WordStylist: Styled Verbatim Handwritten Text Generation with Latent Diffusion Models [8.334487584550185]
  単語レベルに基づくテキスト・テキスト・コンテンツ・イメージ生成のための遅延拡散に基づく手法を提案する。 提案手法は,異なる書き手スタイルからリアルな単語画像のサンプルを生成することができる。 提案モデルでは,美的満足度の高いサンプルを作成し,テキスト認識性能の向上に寄与し,類似の文字検索スコアを実データとして得られることを示す。
  論文  参考訳（メタデータ） (2023-03-29T10:19:26Z)
• Scrape, Cut, Paste and Learn: Automated Dataset Generation Applied to Parcel Logistics [58.720142291102135]
  4つのステップでインスタンスセグメンテーションのための合成データセットを生成するために,完全に自動化されたパイプラインを提案する。 まず、人気のある画像検索エンジンから興味ある対象の画像を抽出する。 画像選択には,オブジェクトに依存しない事前処理,手動画像選択,CNNに基づく画像選択の3つの方法を比較する。
  論文  参考訳（メタデータ） (2022-10-18T12:49:04Z)
• DALL-E for Detection: Language-driven Context Image Synthesis for Object Detection [18.276823176045525]
  本稿では,大規模なコンテキスト画像の自動生成のための新しいパラダイムを提案する。 我々のアプローチの核心は、文脈の言語記述と言語駆動画像生成の相互作用を利用することである。 本研究では,4つのオブジェクト検出データセットに対する事前の文脈画像生成手法に対するアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2022-06-20T06:43:17Z)
• OptGAN: Optimizing and Interpreting the Latent Space of the Conditional Text-to-Image GANs [8.26410341981427]
  生成したサンプルが信頼でき、現実的、あるいは自然であることを保証する方法について研究する。 本稿では,条件付きテキスト・ツー・イメージGANアーキテクチャの潜在空間における意味論的理解可能な方向を識別するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-25T20:00:33Z)
• Text-to-Image Generation Grounded by Fine-Grained User Attention [62.94737811887098]
  Localized Narrativesは、マウストレースと組み合わせた画像の詳細な自然言語記述を備えたデータセットである。 本稿では、このグラウンド化を利用して画像を生成するシーケンシャルモデルであるTReCSを提案する。
  論文  参考訳（メタデータ） (2020-11-07T13:23:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。