論文の概要: Adaptive Data Augmentation for Contrastive Learning

• arxiv url: http://arxiv.org/abs/2304.02451v1
• Date: Wed, 5 Apr 2023 14:19:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-06 12:22:49.407284
• Title: Adaptive Data Augmentation for Contrastive Learning
• Title（参考訳）: コントラスト学習のための適応的データ拡張
• Authors: Yuhan Zhang, He Zhu, Shan Yu
• Abstract要約: 本稿では,一般的なコントラスト学習ネットワークにクローズドループフィードバック構造を実装したAdDAを提案する。 AdDAは、ネットワークがリアルタイムのフィードバックに応じて拡張構成を適応的に調整できるようにすることで機能する。
• 参考スコア（独自算出の注目度）: 12.526573160980124
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In computer vision, contrastive learning is the most advanced unsupervised learning framework. Yet most previous methods simply apply fixed composition of data augmentations to improve data efficiency, which ignores the changes in their optimal settings over training. Thus, the pre-determined parameters of augmentation operations cannot always fit well with an evolving network during the whole training period, which degrades the quality of the learned representations. In this work, we propose AdDA, which implements a closed-loop feedback structure to a generic contrastive learning network. AdDA works by allowing the network to adaptively adjust the augmentation compositions according to the real-time feedback. This online adjustment helps maintain the dynamic optimal composition and enables the network to acquire more generalizable representations with minimal computational overhead. AdDA achieves competitive results under the common linear protocol on ImageNet-100 classification (+1.11% on MoCo v2).
• Abstract（参考訳）: コンピュータビジョンにおいて、コントラスト学習は最も高度な教師なし学習フレームワークである。 しかし、以前のほとんどの方法は、データ効率を改善するためにデータ拡張の固定構成を適用するだけで、トレーニングにおける最適な設定の変更を無視する。 したがって、事前決定された拡張操作のパラメータは、学習期間全体において進化するネットワークに必ずしも適合せず、学習表現の品質が低下する。 本研究では,一般的なコントラスト学習ネットワークに閉ループフィードバック構造を実装するAdDAを提案する。 AdDAは、ネットワークがリアルタイムフィードバックに応じて拡張構成を適応的に調整できるようにする。 このオンライン調整は動的最適構成の維持に役立ち、ネットワークは計算オーバーヘッドを最小限にし、より一般化可能な表現を得ることができる。 AdDAはImageNet-100分類の共通線形プロトコル(MoCo v2では+1.11%)の下で競合する結果を得る。

関連論文リスト

• AdaAugment: A Tuning-Free and Adaptive Approach to Enhance Data Augmentation [12.697608744311122]
  AdaAugmentは、チューニング不要なAdaptive Augmentationメソッドである。 対象ネットワークからのリアルタイムフィードバックに基づいて、個別のトレーニングサンプルの増大度を動的に調整する。 優れた効率を保ちながら、他の最先端のDAメソッドの効率を一貫して上回ります。
  論文  参考訳（メタデータ） (2024-05-19T06:54:03Z)
• When to Learn What: Model-Adaptive Data Augmentation Curriculum [32.99634881669643]
  本稿では,モデル適応型データ拡張(MADAug)を提案する。 従来の作業とは異なり、MADAugはトレーニング段階によって異なるモデル適応ポリシーにより、各入力画像に対する拡張演算子を選択し、より良い一般化のために最適化されたデータ拡張カリキュラムを生成する。
  論文  参考訳（メタデータ） (2023-09-09T10:35:27Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• Efficient and Effective Augmentation Strategy for Adversarial Training [48.735220353660324]
  ディープニューラルネットワークの敵対的トレーニングは、標準トレーニングよりもはるかにデータ処理が難しいことが知られている。 本稿では,DAJAT(Diverse Augmentation-based Joint Adversarial Training)を提案する。
  論文  参考訳（メタデータ） (2022-10-27T10:59:55Z)
• Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
  同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。 共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。 さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
  論文  参考訳（メタデータ） (2022-07-08T10:25:47Z)
• DAFormer: Improving Network Architectures and Training Strategies for Domain-Adaptive Semantic Segmentation [99.88539409432916]
  教師なしドメイン適応(UDA)プロセスについて検討する。 ベンチマーク結果に基づいて,新しい UDA 手法である DAFormer を提案する。 DAFormerは,GTA->Cityscapesの10.8 mIoU,Synthia->Cityscapesの5.4 mIoUにより,最先端の性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-11-29T19:00:46Z)
• Training With Data Dependent Dynamic Learning Rates [8.833548357664608]
  本稿では,インスタンス間の損失関数特性の違いを考慮に入れた最適化フレームワークを提案する。 我々のフレームワークはデータセットに存在する各インスタンスの動的学習率を学習する。 我々のフレームワークは、機械学習モデルのパーソナライズに、既知のターゲットデータ分布に対して使用できることを示す。
  論文  参考訳（メタデータ） (2021-05-27T21:52:29Z)
• Self-supervised Augmentation Consistency for Adapting Semantic Segmentation [56.91850268635183]
  本稿では,実用的かつ高精度な意味セグメンテーションのためのドメイン適応手法を提案する。 私たちは標準データ拡張技術である$-$フォトメトリックノイズ、フリップとスケーリング$-$を採用し、セマンティック予測の一貫性を保証する。 適応後の最先端セグメンテーション精度を大幅に改善し、バックボーンアーキテクチャと適応シナリオの異なる選択に整合性を持たせる。
  論文  参考訳（メタデータ） (2021-04-30T21:32:40Z)
• Guided Interpolation for Adversarial Training [73.91493448651306]
  トレーニングが進むにつれて、トレーニングデータは徐々に攻撃しやすくなり、堅牢性の向上が損なわれる。 本稿では,前時代のメタ情報を用いて,データの逆変換をガイドするguided framework(gif)を提案する。 バニラミキサアップと比較すると、GIFは攻撃可能なデータの比率を高くすることができ、堅牢性向上に有効である。
  論文  参考訳（メタデータ） (2021-02-15T03:55:08Z)
• A Differential Game Theoretic Neural Optimizer for Training Residual Networks [29.82841891919951]
  本稿では、残差接続と畳み込み層の両方を受け入れる一般化微分動的プログラミング(DDP)ニューラルアーキテクチャを提案する。 得られた最適制御表現は、トレーニング残余ネットワークを、状態拡張システム上での協調的軌道最適化と解釈できるゲーム論的視点を許容する。
  論文  参考訳（メタデータ） (2020-07-17T10:19:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。