論文の概要: Diversify Your Vision Datasets with Automatic Diffusion-Based Augmentation

• arxiv url: http://arxiv.org/abs/2305.16289v1
• Date: Thu, 25 May 2023 17:43:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 13:22:11.790444
• Title: Diversify Your Vision Datasets with Automatic Diffusion-Based Augmentation
• Title（参考訳）: 自動拡散に基づく拡張によるビジョンデータセットの多様化
• Authors: Lisa Dunlap, Alyssa Umino, Han Zhang, Jiezhi Yang, Joseph E. Gonzalez, Trevor Darrell
• Abstract要約: ALIA(Automated Language-Guided Image Augmentation)は、大規模ビジョンと言語モデルを用いてデータセットのドメインの自然言語記述を自動的に生成する手法である。 データ整合性を維持するために、オリジナルのデータセットでトレーニングされたモデルは、最小限の画像編集とクラス関連情報を破損したデータをフィルタリングする。 分類と検出のためのきめ細かい散在したデータセットでは、ALIAは従来のデータ拡張とテキストから画像への生成データを最大15%超える。
• 参考スコア（独自算出の注目度）: 78.77214367604394
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Many fine-grained classification tasks, like rare animal identification, have limited training data and consequently classifiers trained on these datasets often fail to generalize to variations in the domain like changes in weather or location. As such, we explore how natural language descriptions of the domains seen in training data can be used with large vision models trained on diverse pretraining datasets to generate useful variations of the training data. We introduce ALIA (Automated Language-guided Image Augmentation), a method which utilizes large vision and language models to automatically generate natural language descriptions of a dataset's domains and augment the training data via language-guided image editing. To maintain data integrity, a model trained on the original dataset filters out minimal image edits and those which corrupt class-relevant information. The resulting dataset is visually consistent with the original training data and offers significantly enhanced diversity. On fine-grained and cluttered datasets for classification and detection, ALIA surpasses traditional data augmentation and text-to-image generated data by up to 15\%, often even outperforming equivalent additions of real data. Code is avilable at https://github.com/lisadunlap/ALIA.
• Abstract（参考訳）: 希少な動物識別のような粒度の細かい分類タスクは訓練データに制限があるため、これらのデータセットで訓練された分類器は、天候や位置の変化のような領域のバリエーションに一般化できないことが多い。 そこで本研究では,トレーニングデータに現れるドメインの自然言語記述を,さまざまな事前学習データセットに基づいてトレーニングされた大規模ビジョンモデルを用いて,トレーニングデータの有用なバリエーションを生成する方法について検討する。 ALIA(Automated Language-Guided Image Augmentation)は,大規模ビジョンと言語モデルを用いて,データセットのドメインの自然言語記述を自動的に生成し,言語誘導画像編集によるトレーニングデータの拡張を行う手法である。 データ整合性を維持するために、オリジナルのデータセットでトレーニングされたモデルは、最小限の画像編集とクラス関連情報を破損したデータをフィルタリングする。 その結果得られたデータセットは、元のトレーニングデータと視覚的に一致し、ダイバーシティが大幅に向上します。 分類と検出のための細粒度で散らばったデータセットでは、ALIAは従来のデータ拡張とテキストから画像までの生成データを最大15倍に超え、多くの場合、実際のデータの同等な付加よりも優れています。 コードはhttps://github.com/lisadunlap/alia。

関連論文リスト

• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• Regularized Training with Generated Datasets for Name-Only Transfer of Vision-Language Models [36.59260354292177]
  近年のテキスト・画像生成の進歩により、研究者は生成モデルを用いて知覚モデルに適したデータセットを生成するようになった。 我々は、実際の画像にアクセスせずに、視覚言語モデルを特定の分類モデルに微調整することを目指している。 生成した画像の忠実度が高いにもかかわらず、生成したデータセットを用いてモデルを微調整すると、顕著な性能劣化が観測された。
  論文  参考訳（メタデータ） (2024-06-08T10:43:49Z)
• WIDIn: Wording Image for Domain-Invariant Representation in Single-Source Domain Generalization [63.98650220772378]
  We present WIDIn, Wording Images for Domain-Invariant representation, to disentangleative discriminative visual representation。 まず、ドメイン固有の言語を適応的に識別し、削除するために使用可能な、きめ細かいアライメントを組み込んだ言語を推定する。 WIDInは、CLIPのような事前訓練された視覚言語モデルと、MoCoやBERTのような個別訓練されたユニモーダルモデルの両方に適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-28T17:46:27Z)
• ASPIRE: Language-Guided Data Augmentation for Improving Robustness Against Spurious Correlations [43.323791505213634]
  ASPIRE (Language-guided Data Augmentation for SPurious correlation Removal) は、スプリアスな特徴のない画像でトレーニングデータセットを補完するソリューションである。 トレーニングセットにグループラベルや既存の非スパースイメージを必要とせずに、非スパース画像を生成することができる。 先行手法の最悪のグループ分類精度を1%から38%向上させる。
  論文  参考訳（メタデータ） (2023-08-19T20:18:15Z)
• Effective Data Augmentation With Diffusion Models [65.09758931804478]
  我々は、事前訓練されたテキスト・画像拡散モデルによりパラメータ化された画像・画像変換によるデータ拡張の多様性の欠如に対処する。 本手法は,市販の拡散モデルを用いて画像のセマンティクスを編集し,いくつかのラベル付き例から新しい視覚概念に一般化する。 本手法は,実世界の雑草認識タスクと数ショット画像分類タスクにおいて評価し,テスト領域における精度の向上を観察する。
  論文  参考訳（メタデータ） (2023-02-07T20:42:28Z)
• Using Language to Extend to Unseen Domains [81.37175826824625]
  ビジョンモデルがデプロイ時に遭遇する可能性のあるすべてのドメインのトレーニングデータを集めることは、費用がかかる。 トレーニングドメインと拡張したいが、堅牢性を改善するためのデータを持っていないドメインを、いかに単純に言葉で表現するかを考えます。 共同画像と言語埋め込み空間を備えたマルチモーダルモデルを用いて、LADSはトレーニング領域から各未確認テスト領域への画像埋め込みの変換を学習する。
  論文  参考訳（メタデータ） (2022-10-18T01:14:02Z)
• Prefix Conditioning Unifies Language and Label Supervision [84.11127588805138]
  学習した表現の一般化性を低減することにより,データセットのバイアスが事前学習に悪影響を及ぼすことを示す。 実験では、この単純な手法により、ゼロショット画像認識精度が向上し、画像レベルの分布シフトに対するロバスト性が向上することを示した。
  論文  参考訳（メタデータ） (2022-06-02T16:12:26Z)
• Classifying Textual Data with Pre-trained Vision Models through Transfer Learning and Data Transformations [0.0]
  我々は、ImageNetで訓練されたベンチマークビジョンモデルによって得られた知識を用いて、より小さなアーキテクチャがテキストの分類を学ぶのを助けることを提案する。 異なるドメインの分析と転送学習を行う。 この研究の主な貢献は、言語とビジョンの両方で事前訓練された大きなモデルを結びつけて、最先端の結果を得るという、新しいアプローチである。
  論文  参考訳（メタデータ） (2021-06-23T15:53:38Z)
• Domain Adaptation with Morphologic Segmentation [8.0698976170854]
  本稿では,任意の入力領域(実領域と合成領域)の画像を一様出力領域に変換するために,形態的セグメンテーションを用いた新しいドメイン適応フレームワークを提案する。 私たちのゴールは、複数のソースからのデータを共通の表現に統一する前処理のステップを確立することです。 都市景観のシミュレートと実データの4つのデータ集合上で, 定性的に定量的に評価し, 提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2020-06-16T17:06:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。