論文の概要: GeNIe: Generative Hard Negative Images Through Diffusion
- arxiv url: http://arxiv.org/abs/2312.02548v1
- Date: Tue, 5 Dec 2023 07:34:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-06 16:28:56.027865
- Title: GeNIe: Generative Hard Negative Images Through Diffusion
- Title(参考訳): GeNIe: 拡散によるハードネガティブな画像の生成
- Authors: Soroush Abbasi Koohpayegani, Anuj Singh, K L Navaneet, Hadi
Jamali-Rad, Hamed Pirsiavash
- Abstract要約: テキストプロンプトに条件付き拡散モデルであるGeNIeを導入し、対照的なデータポイントをマージする。
最近の画像編集法に触発されて、拡散イテレーションの数とノイズの量を制限する。
提案手法の有効性を,数ショット,長テール分布設定で検証し,本手法の有効性を実証した。
- 参考スコア(独自算出の注目度): 17.829788448502057
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data augmentation is crucial in training deep models, preventing them from
overfitting to limited data. Common data augmentation methods are effective,
but recent advancements in generative AI, such as diffusion models for image
generation, enable more sophisticated augmentation techniques that produce data
resembling natural images. We recognize that augmented samples closer to the
ideal decision boundary of a classifier are particularly effective and
efficient in guiding the learning process. We introduce GeNIe which leverages a
diffusion model conditioned on a text prompt to merge contrasting data points
(an image from the source category and a text prompt from the target category)
to generate challenging samples for the target category. Inspired by recent
image editing methods, we limit the number of diffusion iterations and the
amount of noise. This ensures that the generated image retains low-level and
contextual features from the source image, potentially conflicting with the
target category. Our extensive experiments, in few-shot and also long-tail
distribution settings, demonstrate the effectiveness of our novel augmentation
method, especially benefiting categories with a limited number of examples.
- Abstract(参考訳): 深層モデルのトレーニングにはデータ拡張が不可欠であり、限られたデータに過剰に適合できない。
一般的なデータ拡張手法は有効であるが、画像生成のための拡散モデルのような生成aiの最近の進歩は、自然画像に似たデータを生成するより洗練された拡張技術を可能にする。
分類器の理想的な決定境界に近い拡張サンプルは,学習過程の指導に特に有効かつ効果的であることが認識されている。
本稿では,テキストプロンプトに条件付き拡散モデルを用いて,コントラストデータポイント(ソースカテゴリの画像とターゲットカテゴリからのテキストプロンプト)をマージし,対象カテゴリの挑戦的なサンプルを生成するGeNIeを紹介する。
最近の画像編集法に触発されて、拡散イテレーションの数とノイズの量を制限する。
これにより、生成されたイメージがソースイメージから低レベルおよびコンテキスト的な特徴を保持し、ターゲットカテゴリと競合する可能性がある。
短時間およびロングテールの分布設定での広範な実験により,新しい拡張手法の有効性が実証された。
関連論文リスト
- Active Generation for Image Classification [50.18107721267218]
本稿では,モデルのニーズと特徴に着目し,画像生成の効率性に対処することを提案する。
能動学習の中心的傾向として,ActGenという手法が,画像生成のトレーニング・アウェア・アプローチを取り入れている。
論文 参考訳(メタデータ) (2024-03-11T08:45:31Z) - Prompt-Based Exemplar Super-Compression and Regeneration for
Class-Incremental Learning [22.676222987218555]
超圧縮再生法であるESCORTは、その量を大幅に増加させ、模範者の多様性を高める。
生成した例と実画像の領域ギャップを最小限に抑えるために,部分圧縮と拡散に基づくデータ拡張を提案する。
論文 参考訳(メタデータ) (2023-11-30T05:59:31Z) - Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional
Image Synthesis [62.07413805483241]
Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。
塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
論文 参考訳(メタデータ) (2023-09-30T02:03:22Z) - Reverse Stable Diffusion: What prompt was used to generate this image? [80.82832715884597]
生成拡散モデルにより生成された画像からテキストプロンプトを予測する新しいタスクを導入する。
本稿では,複数ラベルの語彙分類を目的とし,協調的即時回帰と複数ラベルの語彙分類からなる新しい学習フレームワークを提案する。
我々はDiffusionDBデータセットの実験を行い、安定拡散によって生成された画像からテキストプロンプトを予測する。
論文 参考訳(メタデータ) (2023-08-02T23:39:29Z) - Discriminative Class Tokens for Text-to-Image Diffusion Models [107.98436819341592]
自由形式のテキストの表現可能性を利用した非侵襲的な微調整手法を提案する。
本手法は,従来の微調整法と比較して高速で,クラス内の画像の収集を必要としない。
i)標準拡散モデルよりも正確で高品質な生成画像,(ii)低リソース環境でのトレーニングデータの拡張,および(iii)誘導分類器の訓練に使用されるデータ情報を明らかにする。
論文 参考訳(メタデータ) (2023-03-30T05:25:20Z) - Your Diffusion Model is Secretly a Zero-Shot Classifier [90.40799216880342]
大規模テキスト・画像拡散モデルからの密度推定をゼロショット分類に活用できることを示す。
分類に対する我々の生成的アプローチは、様々なベンチマークで強い結果が得られる。
我々の結果は、下流タスクにおける差別的モデルよりも生成的な利用に向けての一歩である。
論文 参考訳(メタデータ) (2023-03-28T17:59:56Z) - Effective Data Augmentation With Diffusion Models [65.09758931804478]
我々は、事前訓練されたテキスト・画像拡散モデルによりパラメータ化された画像・画像変換によるデータ拡張の多様性の欠如に対処する。
本手法は,市販の拡散モデルを用いて画像のセマンティクスを編集し,いくつかのラベル付き例から新しい視覚概念に一般化する。
本手法は,実世界の雑草認識タスクと数ショット画像分類タスクにおいて評価し,テスト領域における精度の向上を観察する。
論文 参考訳(メタデータ) (2023-02-07T20:42:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。