論文の概要: The Unmet Promise of Synthetic Training Images: Using Retrieved Real Images Performs Better

• arxiv url: http://arxiv.org/abs/2406.05184v3
• Date: Wed, 11 Dec 2024 08:56:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 13:59:16.225461
• Title: The Unmet Promise of Synthetic Training Images: Using Retrieved Real Images Performs Better
• Title（参考訳）: 合成訓練画像の無意味な約束 - リアル画像の検索によるパフォーマンス向上
• Authors: Scott Geng, Cheng-Yu Hsieh, Vivek Ramanujan, Matthew Wallingford, Chun-Liang Li, Pang Wei Koh, Ranjay Krishna,
• Abstract要約: すべての合成画像は、最終的にジェネレータを訓練するために使用される上流データに由来する。 我々は, LAION-2Bから直接取得した目標実画像に対して, 安定拡散によって生成されたタスク関連ターゲット合成データを微調整と比較した。 解析の結果,このアンダーパフォーマンスは生成物と,合成画像中のタスク関連視覚的詳細が不正確なためであることが示唆された。
• 参考スコア（独自算出の注目度）: 39.57368843211441
• License:
• Abstract: Generative text-to-image models enable us to synthesize unlimited amounts of images in a controllable manner, spurring many recent efforts to train vision models with synthetic data. However, every synthetic image ultimately originates from the upstream data used to train the generator. Does the intermediate generator provide additional information over directly training on relevant parts of the upstream data? Grounding this question in the setting of image classification, we compare finetuning on task-relevant, targeted synthetic data generated by Stable Diffusion -- a generative model trained on the LAION-2B dataset -- against finetuning on targeted real images retrieved directly from LAION-2B. We show that while synthetic data can benefit some downstream tasks, it is universally matched or outperformed by real data from the simple retrieval baseline. Our analysis suggests that this underperformance is partially due to generator artifacts and inaccurate task-relevant visual details in the synthetic images. Overall, we argue that targeted retrieval is a critical baseline to consider when training with synthetic data -- a baseline that current methods do not yet surpass. We release code, data, and models at https://github.com/scottgeng00/unmet-promise.
• Abstract（参考訳）: 生成されたテキスト・画像モデルにより、無制限の画像を制御可能な方法で合成することが可能となり、近年では視覚モデルを合成データで訓練する試みが盛んに行われている。 しかしながら、すべての合成画像は、最終的にジェネレータを訓練するために使用される上流データに由来する。 中間ジェネレータは、上流データの関連部分を直接トレーニングする上で、追加情報を提供していますか? 画像分類の設定において、我々は、LAION-2Bデータセットでトレーニングされた生成モデルであるStable Diffusionが生成したタスク関連ターゲット合成データの微調整と、LAION-2Bから直接取得したターゲット実画像の微調整を比較した。 合成データは下流タスクの恩恵を受けることができるが、単純な検索ベースラインから得られる実際のデータに普遍的にマッチするか、性能に優れることを示す。 解析の結果,このアンダーパフォーマンスは生成物と,合成画像中のタスク関連視覚的詳細が不正確なためであることが示唆された。 全体として、ターゲット検索は、現在のメソッドがまだ上回っていないベースラインである合成データによるトレーニングを検討する上で、重要なベースラインである、と私たちは主張する。 コード、データ、モデルをhttps://github.com/scottgeng00/unmet-promise.comでリリースします。

関連論文リスト

• DataDream: Few-shot Guided Dataset Generation [90.09164461462365]
  実データ分布をより忠実に表現する分類データセットを合成するためのフレームワークを提案する。 DataDream fine-tunes LoRA weights for the image generation model on the few real image before generated the training data using the adapt model。 次に、合成データを用いてCLIPのLoRA重みを微調整し、様々なデータセットに対する以前のアプローチよりも下流画像の分類を改善する。
  論文  参考訳（メタデータ） (2024-07-15T17:10:31Z)
• Is Synthetic Image Useful for Transfer Learning? An Investigation into Data Generation, Volume, and Utilization [62.157627519792946]
  ブリッジドトランスファー(ブリッジドトランスファー)と呼ばれる新しいフレームワークを導入する。このフレームワークは、当初、トレーニング済みモデルの微調整に合成画像を使用し、転送性を向上させる。 合成画像と実画像のスタイルアライメントを改善するために,データセットスタイルの逆変換方式を提案する。 提案手法は10の異なるデータセットと5つの異なるモデルで評価され、一貫した改善が示されている。
  論文  参考訳（メタデータ） (2024-03-28T22:25:05Z)
• Improving the Effectiveness of Deep Generative Data [5.856292656853396]
  下流の画像処理タスクのための純粋合成画像のモデルを訓練すると、実際のデータに対するトレーニングに比べ、望ましくない性能低下が生じる。 本稿では,この現象に寄与する要因を記述した新しい分類法を提案し,CIFAR-10データセットを用いて検討する。 本手法は,合成データと合成データの混合による学習と合成データのみの学習において,下流分類タスクのベースラインに優れる。
  論文  参考訳（メタデータ） (2023-11-07T12:57:58Z)
• UAV-Sim: NeRF-based Synthetic Data Generation for UAV-based Perception [62.71374902455154]
  ニューラルレンダリングの最近の進歩を利用して、静的および動的ノベルビューUAVベースの画像レンダリングを改善する。 本研究では,主に実データと合成データのハイブリッドセットに基づいて最先端検出モデルが最適化された場合,性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-10-25T00:20:37Z)
• Explore the Power of Synthetic Data on Few-shot Object Detection [27.26215175101865]
  Few-shot Object Detection (FSOD) は、トレーニングのいくつかの例に限って、新しいカテゴリのオブジェクト検出器を拡張することを目的としている。 近年のテキスト・画像生成モデルでは,高品質な画像を生成する上で有望な結果が得られている。 この研究は、最先端のテキスト・ツー・イメージ・ジェネレータから生成された合成画像がFSODタスクにどのように貢献するかを幅広く研究している。
  論文  参考訳（メタデータ） (2023-03-23T12:34:52Z)
• Synthetic Data for Object Classification in Industrial Applications [53.180678723280145]
  オブジェクト分類では、オブジェクトごとに、異なる条件下で、多数の画像を取得することは必ずしも不可能である。 本研究は,学習データセット内の限られたデータに対処するゲームエンジンを用いた人工画像の作成について検討する。
  論文  参考訳（メタデータ） (2022-12-09T11:43:04Z)
• Analysis of Training Object Detection Models with Synthetic Data [0.0]
  本稿では,オブジェクト検出に合成データを使用する方法の概要を概説する。 データ生成の側面とモデルをトレーニングするテクニックを分析します。 実験は実データ上で検証され、実データでトレーニングされたモデルにベンチマークされる。
  論文  参考訳（メタデータ） (2022-11-29T10:21:16Z)
• Is synthetic data from generative models ready for image recognition? [69.42645602062024]
  本研究では,最新のテキスト・画像生成モデルから生成した合成画像が,画像認識タスクにどのように利用できるかを検討した。 本稿では,既存の生成モデルからの合成データの強大さと欠点を示し,認識タスクに合成データを適用するための戦略を提案する。
  論文  参考訳（メタデータ） (2022-10-14T06:54:24Z)
• Synthetic Data for Model Selection [2.4499092754102874]
  合成データはモデル選択に有用であることを示す。 そこで本研究では,実領域に適合する合成誤差推定をキャリブレーションする新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-05-03T09:52:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。