論文の概要: Feature Augmentation for Self-supervised Contrastive Learning: A Closer Look

• arxiv url: http://arxiv.org/abs/2410.12396v1
• Date: Wed, 16 Oct 2024 09:25:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:42:13.087010
• Title: Feature Augmentation for Self-supervised Contrastive Learning: A Closer Look
• Title（参考訳）: 自己教師型コントラスト学習のための機能強化
• Authors: Yong Zhang, Rui Zhu, Shifeng Zhang, Xu Zhou, Shifeng Chen, Xiaofan Chen,
• Abstract要約: 本稿では,機能拡張(Feature Augmentation)として知られる機能空間でデータ拡張を行う統一フレームワークを提案する。 この戦略はドメインに依存しないため、元のものと同様の機能が追加され、データの多様性が向上する。
• 参考スコア（独自算出の注目度）: 28.350278251132078
• License:
• Abstract: Self-supervised contrastive learning heavily relies on the view variance brought by data augmentation, so that it can learn a view-invariant pre-trained representation. Beyond increasing the view variance for contrast, this work focuses on improving the diversity of training data, to improve the generalization and robustness of the pre-trained models. To this end, we propose a unified framework to conduct data augmentation in the feature space, known as feature augmentation. This strategy is domain-agnostic, which augments similar features to the original ones and thus improves the data diversity. We perform a systematic investigation of various feature augmentation architectures, the gradient-flow skill, and the relationship between feature augmentation and traditional data augmentation. Our study reveals some practical principles for feature augmentation in self-contrastive learning. By integrating feature augmentation on the instance discrimination or the instance similarity paradigm, we consistently improve the performance of pre-trained feature learning and gain better generalization over the downstream image classification and object detection task.
• Abstract（参考訳）: 自己教師付きコントラスト学習は、データ拡張によってもたらされるビュー分散に大きく依存しているため、ビュー不変の事前学習表現を学習することができる。 コントラストに対するビュー分散の増加に加えて、この研究はトレーニングデータの多様性を改善し、事前訓練されたモデルの一般化と堅牢性を改善することに焦点を当てている。 そこで本稿では,機能拡張(Feature Augmentation)と呼ばれる機能空間でデータ拡張を行う統合フレームワークを提案する。 この戦略はドメインに依存しないため、元のものと同様の機能が追加され、データの多様性が向上する。 我々は,様々な機能拡張アーキテクチャ,勾配フロースキル,特徴増強と従来のデータ拡張の関係について,体系的な調査を行う。 本研究は,自己コントラスト学習における特徴増強のための実践的原則を明らかにした。 インスタンス識別やインスタンス類似性パラダイムに機能強化を統合することで、トレーニング済みの特徴学習の性能を一貫して改善し、下流画像分類やオブジェクト検出タスクよりも優れた一般化を実現する。

関連論文リスト

• A Simple Background Augmentation Method for Object Detection with Diffusion Model [53.32935683257045]
  コンピュータビジョンでは、データの多様性の欠如がモデル性能を損なうことはよく知られている。 本稿では, 生成モデルの進歩を生かして, 単純かつ効果的なデータ拡張手法を提案する。 背景強化は、特にモデルの堅牢性と一般化能力を大幅に改善する。
  論文  参考訳（メタデータ） (2024-08-01T07:40:00Z)
• Boosting Model Resilience via Implicit Adversarial Data Augmentation [20.768174896574916]
  本稿では, 対向性および対向性摂動分布を組み込むことにより, 試料の深い特性を増大させることを提案する。 そして、この拡張過程が代理損失関数の最適化に近似することを理論的に明らかにする。 我々は4つの共通のバイアス付き学習シナリオにまたがって広範な実験を行う。
  論文  参考訳（メタデータ） (2024-04-25T03:22:48Z)
• Generalization Gap in Data Augmentation: Insights from Illumination [3.470401787749558]
  実世界の照明条件下で訓練されたモデルと、拡張現実で訓練されたモデルとの一般化の相違について検討する。 その結果,様々なデータ拡張手法を適用した結果,モデルの性能は大幅に向上した。 しかし、様々なデータ拡張手法を利用した後も、顕著な一般化のギャップが残っている。
  論文  参考訳（メタデータ） (2024-04-11T07:11:43Z)
• Affine transformation estimation improves visual self-supervised learning [4.40560654491339]
  本研究では,アフィン変換の予測表現を制約するモジュールを追加することにより,学習プロセスの性能と効率が向上することを示す。 我々は、様々な近代的な自己監督モデルで実験を行い、全てのケースで性能改善を見る。
  論文  参考訳（メタデータ） (2024-02-14T10:32:58Z)
• Data-Centric Long-Tailed Image Recognition [49.90107582624604]
  ロングテールモデルは高品質なデータに対する強い需要を示している。 データ中心のアプローチは、モデルパフォーマンスを改善するために、データの量と品質の両方を強化することを目的としています。 現在、情報強化の有効性を説明するメカニズムに関する研究が不足している。
  論文  参考訳（メタデータ） (2023-11-03T06:34:37Z)
• Joint Data and Feature Augmentation for Self-Supervised Representation Learning on Point Clouds [4.723757543677507]
  ユークリッド空間におけるデータ拡張と特徴空間における特徴拡張を組み合わせた融合コントラスト学習フレームワークを提案する。 提案手法の伝達性を検証するため,広範囲な対象分類実験と対象部分分割実験を行う。 実験の結果,提案フレームワークは,自己指導型でポイントクラウド表現を学習する上で有効であることが示された。
  論文  参考訳（メタデータ） (2022-11-02T14:58:03Z)
• Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
  本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。 提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。 実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-03-16T16:14:19Z)
• TeachAugment: Data Augmentation Optimization Using Teacher Knowledge [11.696069523681178]
  本稿では,TeachAugment と呼ばれる逆戦略に基づくデータ拡張最適化手法を提案する。 画像分類,セマンティックセグメンテーション,教師なし表現学習において,TeachAugmentは既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-25T06:22:51Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• Why Do Self-Supervised Models Transfer? Investigating the Impact of Invariance on Downstream Tasks [79.13089902898848]
  自己教師付き学習は、非競合画像上での表現学習の強力なパラダイムである。 コンピュータビジョンにおける異なるタスクは、異なる(不変の)分散を符号化する機能を必要とすることを示す。
  論文  参考訳（メタデータ） (2021-11-22T18:16:35Z)
• Learning Representational Invariances for Data-Efficient Action Recognition [52.23716087656834]
  我々は,データ拡張戦略により,Kinetics-100,UCF-101,HMDB-51データセットのパフォーマンスが期待できることを示す。 また,完全な教師付き設定でデータ拡張戦略を検証し,性能向上を実証した。
  論文  参考訳（メタデータ） (2021-03-30T17:59:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。