論文の概要: Boosting Unsupervised Contrastive Learning Using Diffusion-Based Data
Augmentation From Scratch
- arxiv url: http://arxiv.org/abs/2309.07909v1
- Date: Sun, 10 Sep 2023 13:28:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-15 11:43:05.266325
- Title: Boosting Unsupervised Contrastive Learning Using Diffusion-Based Data
Augmentation From Scratch
- Title(参考訳): 拡散型データ拡張を用いた教師なしコントラスト学習の高速化
- Authors: Zelin Zang, Hao Luo, Kai Wang, Panpan Zhang, Fan Wang, Stan.Z Li, Yang
You
- Abstract要約: 本稿では拡散に基づくデータ拡張手法であるDiffAugを紹介する。
DiffAugはまず、その地区に関する十分な事前の知識を掘り下げる。
拡散ステップをガイドする制約を提供し、ラベル、外部データ/モデル、あるいは事前の知識の必要性を排除します。
- 参考スコア(独自算出の注目度): 50.67603957034301
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unsupervised contrastive learning methods have recently seen significant
improvements, particularly through data augmentation strategies that aim to
produce robust and generalizable representations. However, prevailing data
augmentation methods, whether hand designed or based on foundation models, tend
to rely heavily on prior knowledge or external data. This dependence often
compromises their effectiveness and efficiency. Furthermore, the applicability
of most existing data augmentation strategies is limited when transitioning to
other research domains, especially science-related data. This limitation stems
from the paucity of prior knowledge and labeled data available in these
domains. To address these challenges, we introduce DiffAug-a novel and
efficient Diffusion-based data Augmentation technique. DiffAug aims to ensure
that the augmented and original data share a smoothed latent space, which is
achieved through diffusion steps. Uniquely, unlike traditional methods, DiffAug
first mines sufficient prior semantic knowledge about the neighborhood. This
provides a constraint to guide the diffusion steps, eliminating the need for
labels, external data/models, or prior knowledge. Designed as an
architecture-agnostic framework, DiffAug provides consistent improvements.
Specifically, it improves image classification and clustering accuracy by
1.6%~4.5%. When applied to biological data, DiffAug improves performance by up
to 10.1%, with an average improvement of 5.8%. DiffAug shows good performance
in both vision and biological domains.
- Abstract(参考訳): 教師なしのコントラスト学習手法は、特に堅牢で一般化可能な表現の生成を目的としたデータ拡張戦略によって、最近大幅に改善されている。
しかしながら、手動設計や基礎モデルに基づくデータ拡張手法は、事前の知識や外部データに大きく依存する傾向にある。
この依存はしばしばその効果と効率を損なう。
さらに、既存のデータ拡張戦略の適用性は他の研究領域、特に科学関連のデータに移行する際に制限される。
この制限は、これらの領域で利用可能な事前の知識とラベル付きデータのあいまいさに起因している。
これらの課題に対処するために、DiffAug-a novel and efficient Diffusion-based data Augmentation techniqueを紹介する。
DiffAugは、拡張されたデータとオリジナルのデータがスムーズな潜在空間を共有し、拡散ステップを通じて達成することを目指している。
伝統的手法とは異なり、DiffAugはまず近隣に関する十分な事前の知識を掘り下げる。
これは拡散ステップを導くための制約を提供し、ラベル、外部データ/モデル、事前知識の必要性をなくす。
アーキテクチャに依存しないフレームワークとして設計されたDiffAugは、一貫した改善を提供する。
具体的には、画像分類とクラスタリングの精度を1.6%から4.5%向上させる。
生物学的データに適用すると、DiffAugはパフォーマンスを最大10.1%改善し、平均5.8%改善する。
DiffAugは視覚と生体の両方で優れたパフォーマンスを示している。
関連論文リスト
- Data-Centric Long-Tailed Image Recognition [49.90107582624604]
ロングテールモデルは高品質なデータに対する強い需要を示している。
データ中心のアプローチは、モデルパフォーマンスを改善するために、データの量と品質の両方を強化することを目的としています。
現在、情報強化の有効性を説明するメカニズムに関する研究が不足している。
論文 参考訳(メタデータ) (2023-11-03T06:34:37Z) - Understanding when Dynamics-Invariant Data Augmentations Benefit
Model-Free Reinforcement Learning Updates [4.164735640341406]
我々は、観察された学習改善に寄与するデータ拡張(DA)の一般的な側面を同定する。
本研究では,動的不変データ拡張機能を持つスパース逆タスクに着目した。
論文 参考訳(メタデータ) (2023-10-26T21:28:50Z) - DualAug: Exploiting Additional Heavy Augmentation with OOD Data
Rejection [77.6648187359111]
そこで本稿では,textbfDualAug という新しいデータ拡張手法を提案する。
教師付き画像分類ベンチマークの実験では、DualAugは様々な自動データ拡張法を改善している。
論文 参考訳(メタデータ) (2023-10-12T08:55:10Z) - Incorporating Supervised Domain Generalization into Data Augmentation [4.14360329494344]
本稿では,データ拡張の堅牢性と訓練効率を向上させるために,コントラッシブ・セマンティック・アライメント(CSA)ロス法を提案する。
CIFAR-100とCUBデータセットの実験により、提案手法は典型的なデータ拡張の堅牢性とトレーニング効率を向上させることが示された。
論文 参考訳(メタデータ) (2023-10-02T09:20:12Z) - Cluster-level pseudo-labelling for source-free cross-domain facial
expression recognition [94.56304526014875]
表情認識のためのSFUDA法を提案する。
本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。
提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
論文 参考訳(メタデータ) (2022-10-11T08:24:50Z) - Invariance Learning in Deep Neural Networks with Differentiable Laplace
Approximations [76.82124752950148]
我々はデータ拡張を選択するための便利な勾配法を開発した。
我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
論文 参考訳(メタデータ) (2022-02-22T02:51:11Z) - Weakly Supervised Change Detection Using Guided Anisotropic Difusion [97.43170678509478]
我々は、このようなデータセットを変更検出の文脈で活用するのに役立つ独自のアイデアを提案する。
まず,意味的セグメンテーション結果を改善する誘導異方性拡散(GAD)アルゴリズムを提案する。
次に、変化検出に適した2つの弱い教師付き学習戦略の可能性を示す。
論文 参考訳(メタデータ) (2021-12-31T10:03:47Z) - WeMix: How to Better Utilize Data Augmentation [36.07712244423405]
我々はデータ拡張の長所と短所を明らかにする包括的分析を開発する。
データ拡張の主な制限は、データバイアスから生じます。
AugDrop" と "MixLoss" という2つの新しいアルゴリズムを開発し、データ拡張におけるデータのバイアスを補正する。
論文 参考訳(メタデータ) (2020-10-03T03:12:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。