論文の概要: Boosting Unsupervised Contrastive Learning Using Diffusion-Based Data Augmentation From Scratch

• arxiv url: http://arxiv.org/abs/2309.07909v1
• Date: Sun, 10 Sep 2023 13:28:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-15 11:43:05.266325
• Title: Boosting Unsupervised Contrastive Learning Using Diffusion-Based Data Augmentation From Scratch
• Title（参考訳）: 拡散型データ拡張を用いた教師なしコントラスト学習の高速化
• Authors: Zelin Zang, Hao Luo, Kai Wang, Panpan Zhang, Fan Wang, Stan.Z Li, Yang You
• Abstract要約: 本稿では拡散に基づくデータ拡張手法であるDiffAugを紹介する。 DiffAugはまず、その地区に関する十分な事前の知識を掘り下げる。 拡散ステップをガイドする制約を提供し、ラベル、外部データ/モデル、あるいは事前の知識の必要性を排除します。
• 参考スコア（独自算出の注目度）: 50.67603957034301
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised contrastive learning methods have recently seen significant improvements, particularly through data augmentation strategies that aim to produce robust and generalizable representations. However, prevailing data augmentation methods, whether hand designed or based on foundation models, tend to rely heavily on prior knowledge or external data. This dependence often compromises their effectiveness and efficiency. Furthermore, the applicability of most existing data augmentation strategies is limited when transitioning to other research domains, especially science-related data. This limitation stems from the paucity of prior knowledge and labeled data available in these domains. To address these challenges, we introduce DiffAug-a novel and efficient Diffusion-based data Augmentation technique. DiffAug aims to ensure that the augmented and original data share a smoothed latent space, which is achieved through diffusion steps. Uniquely, unlike traditional methods, DiffAug first mines sufficient prior semantic knowledge about the neighborhood. This provides a constraint to guide the diffusion steps, eliminating the need for labels, external data/models, or prior knowledge. Designed as an architecture-agnostic framework, DiffAug provides consistent improvements. Specifically, it improves image classification and clustering accuracy by 1.6%~4.5%. When applied to biological data, DiffAug improves performance by up to 10.1%, with an average improvement of 5.8%. DiffAug shows good performance in both vision and biological domains.
• Abstract（参考訳）: 教師なしのコントラスト学習手法は、特に堅牢で一般化可能な表現の生成を目的としたデータ拡張戦略によって、最近大幅に改善されている。 しかしながら、手動設計や基礎モデルに基づくデータ拡張手法は、事前の知識や外部データに大きく依存する傾向にある。 この依存はしばしばその効果と効率を損なう。 さらに、既存のデータ拡張戦略の適用性は他の研究領域、特に科学関連のデータに移行する際に制限される。 この制限は、これらの領域で利用可能な事前の知識とラベル付きデータのあいまいさに起因している。 これらの課題に対処するために、DiffAug-a novel and efficient Diffusion-based data Augmentation techniqueを紹介する。 DiffAugは、拡張されたデータとオリジナルのデータがスムーズな潜在空間を共有し、拡散ステップを通じて達成することを目指している。 伝統的手法とは異なり、DiffAugはまず近隣に関する十分な事前の知識を掘り下げる。 これは拡散ステップを導くための制約を提供し、ラベル、外部データ/モデル、事前知識の必要性をなくす。 アーキテクチャに依存しないフレームワークとして設計されたDiffAugは、一貫した改善を提供する。 具体的には、画像分類とクラスタリングの精度を1.6%から4.5%向上させる。 生物学的データに適用すると、DiffAugはパフォーマンスを最大10.1%改善し、平均5.8%改善する。 DiffAugは視覚と生体の両方で優れたパフォーマンスを示している。

関連論文リスト

• MacDiff: Unified Skeleton Modeling with Masked Conditional Diffusion [14.907473847787541]
  人間の骨格モデリングのための統合フレームワークとして,Masked Diffusion Conditional (MacDiff)を提案する。 まず,拡散モデルを用いて効率的な骨格表現学習を行う。 MacDiffは、生成タスクの能力を維持しながら、表現学習ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-09-16T17:06:10Z)
• DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
  現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。 セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。 本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
  論文  参考訳（メタデータ） (2024-03-20T04:58:03Z)
• Training Class-Imbalanced Diffusion Model Via Overlap Optimization [55.96820607533968]
  実世界のデータセットで訓練された拡散モデルは、尾クラスの忠実度が劣ることが多い。 拡散モデルを含む深い生成モデルは、豊富な訓練画像を持つクラスに偏りがある。 本研究では,異なるクラスに対する合成画像の分布の重複を最小限に抑えるために,コントラスト学習に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-02-16T16:47:21Z)
• SODA: Bottleneck Diffusion Models for Representation Learning [75.7331354734152]
  本稿では,表現学習のための自己教師付き拡散モデルSODAを紹介する。 このモデルには、ソースビューをコンパクトな表現に蒸留するイメージエンコーダが組み込まれており、関連する新規ビューの生成を導く。 エンコーダと復調復調復調復調復調復調復調復調復号器の密集ボトルネックを付与することにより,拡散モデルを強力な表現学習器に変換することができることを示す。
  論文  参考訳（メタデータ） (2023-11-29T18:53:34Z)
• Directional diffusion models for graph representation learning [9.457273750874357]
  我々は方向拡散モデルと呼ばれる新しいモデルのクラスを提案する。 これらのモデルは前方拡散過程にデータ依存、異方性、指向性ノイズを含む。 我々は,2つのグラフ表現学習タスクに焦点をあてて,12の公開データセットに関する広範な実験を行った。
  論文  参考訳（メタデータ） (2023-06-22T21:27:48Z)
• InfoDiffusion: Representation Learning Using Information Maximizing Diffusion Models [35.566528358691336]
  InfoDiffusionは低次元潜伏変数を持つ拡散モデルを拡張するアルゴリズムである。 情報拡散は、観測された変数と隠れた変数の相互情報に規則化された学習目標に依存する。 インフォディフュージョンは、最先端の生成的およびコントラスト的手法と競合する非絡み合いおよび人間解釈可能な潜在表現を学習する。
  論文  参考訳（メタデータ） (2023-06-14T21:48:38Z)
• Phoenix: A Federated Generative Diffusion Model [6.09170287691728]
  大規模な集中型データセットで生成モデルをトレーニングすることで、データのプライバシやセキュリティ、アクセシビリティといった面での課題が発生する可能性がある。 本稿では,フェデレートラーニング(FL)技術を用いて,複数のデータソースにまたがる拡散確率モデル(DDPM)の学習手法を提案する。
  論文  参考訳（メタデータ） (2023-06-07T01:43:09Z)
• Diffusion-Based Representation Learning [65.55681678004038]
  教師付き信号のない表現学習を実現するために,デノナイズスコアマッチングフレームワークを拡張した。 対照的に、拡散に基づく表現学習は、デノナイジングスコアマッチング目的の新しい定式化に依存している。 同じ手法を用いて,半教師付き画像分類における最先端モデルの改善を実現する無限次元潜在符号の学習を提案する。
  論文  参考訳（メタデータ） (2021-05-29T09:26:02Z)
• Negative Data Augmentation [127.28042046152954]
  負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。 我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。 実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
  論文  参考訳（メタデータ） (2021-02-09T20:28:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。