論文の概要: CoViews: Adaptive Augmentation Using Cooperative Views for Enhanced Contrastive Learning
- arxiv url: http://arxiv.org/abs/2405.07116v1
- Date: Sun, 12 May 2024 00:11:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-14 18:18:14.089791
- Title: CoViews: Adaptive Augmentation Using Cooperative Views for Enhanced Contrastive Learning
- Title（参考訳）: CoViews: コントラスト学習強化のための協調視点を用いた適応的拡張
- Authors: Nazim Bendib,
- Abstract要約: コントラスト学習のための効率的な適応型データ拡張ポリシーを学習するためのフレームワークを提案する。
我々は、すべてのビューで使用される拡張ポリシーを生成するacIndepViewsと、各ビューに依存する拡張ポリシーを生成するacCoViewsの2つの方法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data augmentation plays a critical role in generating high-quality positive and negative pairs necessary for effective contrastive learning. However, common practices involve using a single augmentation policy repeatedly to generate multiple views, potentially leading to inefficient training pairs due to a lack of cooperation between views. Furthermore, to find the optimal set of augmentations, many existing methods require extensive supervised evaluation, overlooking the evolving nature of the model that may require different augmentations throughout the training. Other approaches train differentiable augmentation generators, thus limiting the use of non-differentiable transformation functions from the literature. In this paper, we address these challenges by proposing a framework for learning efficient adaptive data augmentation policies for contrastive learning with minimal computational overhead. Our approach continuously generates new data augmentation policies during training and produces effective positives/negatives without any supervision. Within this framework, we present two methods: \ac{IndepViews}, which generates augmentation policies used across all views, and \ac{CoViews}, which generates dependent augmentation policies for each view. This enables us to learn dependencies between the transformations applied to each view and ensures that the augmentation strategies applied to different views complement each other, leading to more meaningful and discriminative representations. Through extensive experimentation on multiple datasets and contrastive learning frameworks, we demonstrate that our method consistently outperforms baseline solutions and that training with a view-dependent augmentation policy outperforms training with an independent policy shared across views, showcasing its effectiveness in enhancing contrastive learning performance.
- Abstract（参考訳）: データ拡張は、効果的なコントラスト学習に必要な高品質な正と負のペアを生成する上で重要な役割を果たす。
しかしながら、一般的なプラクティスでは、複数のビューを生成するために、単一の拡張ポリシを繰り返し使用することで、ビュー間の協力の欠如による非効率なトレーニングペアにつながる可能性がある。
さらに、拡張の最適セットを見つけるために、既存の多くの手法は、トレーニングを通して異なる拡張を必要とするかもしれないモデルの進化的な性質を見越して、広範囲に教師付き評価を必要とする。
他のアプローチでは微分可能拡張生成器を訓練し、したがって文献からの微分不可能変換関数の使用を制限する。
本稿では、計算オーバーヘッドを最小限に抑えたコントラスト学習のための効率的な適応データ拡張ポリシーを学習するためのフレームワークを提案し、これらの課題に対処する。
当社のアプローチでは,トレーニング中に新たなデータ拡張ポリシを継続的に生成し,監督なしに効果的なポジティブ/ネガティブなデータを生成する。
このフレームワークでは、すべてのビューで使用される拡張ポリシーを生成する \ac{IndepViews} と、各ビューに依存する拡張ポリシーを生成する \ac{CoViews} の2つの方法を提案する。
これにより、各ビューに適用された変換間の依存関係を学習し、異なるビューに適用された拡張戦略が相互に補完し合い、より有意義で差別的な表現につながることを保証する。
複数のデータセットやコントラスト学習フレームワークの広範な実験を通じて、我々の手法はベースラインソリューションを一貫して上回り、ビューに依存した拡張ポリシーによるトレーニングは、ビュー間で共有される独立したポリシーによるトレーニングよりも優れており、コントラスト学習性能の強化におけるその効果を示す。
関連論文リスト
- Feature Augmentation for Self-supervised Contrastive Learning: A Closer Look [28.350278251132078]
本稿では,機能拡張(Feature Augmentation)として知られる機能空間でデータ拡張を行う統一フレームワークを提案する。
この戦略はドメインに依存しないため、元のものと同様の機能が追加され、データの多様性が向上する。
論文 参考訳（メタデータ） (2024-10-16T09:25:11Z) - Enhancing Graph Contrastive Learning with Reliable and Informative Augmentation for Recommendation [84.45144851024257]
CoGCLは、離散コードを通じてより強力な協調情報でコントラスト的なビューを構築することで、グラフのコントラスト学習を強化することを目的としている。
ユーザとアイテムの表現を離散コードに定量化するために,マルチレベルベクトル量化器をエンドツーエンドで導入する。
近傍構造に対しては,離散符号を仮想隣人として扱うことにより,仮想隣人拡張を提案する。
意味的関連性については、共有された離散コードと相互作用ターゲットに基づいて類似のユーザ/イテムを識別し、意味的関連性のあるビューを生成する。
論文 参考訳（メタデータ） (2024-09-09T14:04:17Z) - When to Learn What: Model-Adaptive Data Augmentation Curriculum [32.99634881669643]
本稿では,モデル適応型データ拡張(MADAug)を提案する。
従来の作業とは異なり、MADAugはトレーニング段階によって異なるモデル適応ポリシーにより、各入力画像に対する拡張演算子を選択し、より良い一般化のために最適化されたデータ拡張カリキュラムを生成する。
論文 参考訳（メタデータ） (2023-09-09T10:35:27Z) - ViewMix: Augmentation for Robust Representation in Self-Supervised
Learning [1.6589012298747952]
統合埋め込みアーキテクチャに基づく自己教師型学習手法は、データ拡張の構成を、その強力な表現学習能力の重要な要素とみなしている。
自己教師型学習に特化して設計されたViewMix拡張ポリシーを提案し,同じ画像の異なるビューを生成すると,パッチをカット&ペーストする。
また、ViewMix拡張ポリシーの導入は、最先端手法における表現の堅牢性を促進することも実証された。
論文 参考訳（メタデータ） (2023-09-06T21:04:53Z) - Statistically Efficient Variance Reduction with Double Policy Estimation
for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。
D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
論文 参考訳（メタデータ） (2023-08-28T20:46:07Z) - Hybrid Contrastive Constraints for Multi-Scenario Ad Ranking [38.666592866591344]
マルチシナリオ広告ランキングは、複数のドメインやチャネルからのデータを活用して、統一されたランキングモデルをトレーニングすることを目的としている。
マルチシナリオ広告ランキングのためのHybrid Contrastive Constrained Approach (HC2)を提案する。
論文 参考訳（メタデータ） (2023-02-06T09:15:39Z) - Towards Efficient and Effective Self-Supervised Learning of Visual
Representations [41.92884427579068]
自己監督は視覚的表現学習のための提案的な方法として現れてきた。
より高速に収束する適切な補助タスクを用いて,これらの手法を強化することを提案する。
提案手法は回転予測のタスクを利用して,既存の最先端手法の効率を向上させる。
論文 参考訳（メタデータ） (2022-10-18T13:55:25Z) - R\'enyiCL: Contrastive Representation Learning with Skew R\'enyi
Divergence [78.15455360335925]
我々はR'enyiCLという新しい頑健なコントラスト学習手法を提案する。
我々の手法は R'enyi divergence の変動的下界の上に構築されている。
我々は,R'enyi の対照的な学習目的が,自然に強い負のサンプリングと簡単な正のサンプリングを同時に行うことを示す。
論文 参考訳（メタデータ） (2022-08-12T13:37:05Z) - Why Do Self-Supervised Models Transfer? Investigating the Impact of
Invariance on Downstream Tasks [79.13089902898848]
自己教師付き学習は、非競合画像上での表現学習の強力なパラダイムである。
コンピュータビジョンにおける異なるタスクは、異なる(不変の)分散を符号化する機能を必要とすることを示す。
論文 参考訳（メタデータ） (2021-11-22T18:16:35Z) - Deep Partial Multi-View Learning [94.39367390062831]
クロスパーシャル・マルチビュー・ネットワーク(CPM-Nets)と呼ばれる新しいフレームワークを提案する。
我々はまず、多視点表現に対する完全性と汎用性の形式的な定義を提供する。
そして、理論的に学習された潜在表現の多元性を証明する。
論文 参考訳（メタデータ） (2020-11-12T02:29:29Z) - Adversarial Augmentation Policy Search for Domain and Cross-Lingual
Generalization in Reading Comprehension [96.62963688510035]
理解モデルを読むことは、しばしばトレーニングデータセットのニュアンスに過度に適合し、敵対的な評価に失敗する。
本稿では,複数の効果的な敵と自動データ拡張ポリシー探索手法を提案し,対角的評価に対して,読解理解モデルをより堅牢にすることを目的とする。
論文 参考訳（メタデータ） (2020-04-13T17:20:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。