論文の概要: Feature Dropout: Revisiting the Role of Augmentations in Contrastive
Learning
- arxiv url: http://arxiv.org/abs/2212.08378v1
- Date: Fri, 16 Dec 2022 10:08:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-19 15:02:28.104381
- Title: Feature Dropout: Revisiting the Role of Augmentations in Contrastive
Learning
- Title(参考訳): 機能ドロップアウト:コントラスト学習における強化の役割を再考する
- Authors: Alex Tamkin, Margalit Glasgow, Xiluo He, Noah Goodman
- Abstract要約: 最近の研究は、良い改善が特定の下流タスクに関してラベル保存であることを示唆している。
基礎モデル設定においてラベルのデストロイヤー化が有用であることを示す。
- 参考スコア(独自算出の注目度): 7.6834562879925885
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: What role do augmentations play in contrastive learning? Recent work suggests
that good augmentations are label-preserving with respect to a specific
downstream task. We complicate this picture by showing that label-destroying
augmentations can be useful in the foundation model setting, where the goal is
to learn diverse, general-purpose representations for multiple downstream
tasks. We perform contrastive learning experiments on a range of image and
audio datasets with multiple downstream tasks (e.g. for digits superimposed on
photographs, predicting the class of one vs. the other). We find that Viewmaker
Networks, a recently proposed model for learning augmentations for contrastive
learning, produce label-destroying augmentations that stochastically destroy
features needed for different downstream tasks. These augmentations are
interpretable (e.g. altering shapes, digits, or letters added to images) and
surprisingly often result in better performance compared to expert-designed
augmentations, despite not preserving label information. To support our
empirical results, we theoretically analyze a simple contrastive learning
setting with a linear model. In this setting, label-destroying augmentations
are crucial for preventing one set of features from suppressing the learning of
features useful for another downstream task. Our results highlight the need for
analyzing the interaction between multiple downstream tasks when trying to
explain the success of foundation models.
- Abstract(参考訳): コントラスト学習における増補はどのような役割を果たすか?
最近の研究は、良い改善が特定の下流タスクに関してラベル保存であることを示唆している。
我々は,複数のダウンストリームタスクに対して,多様な汎用表現を学習することを目的とした基礎モデル設定において,ラベル付き拡張が有効であることを示すことで,この図を複雑化する。
複数のダウンストリームタスク(例えば、写真に重ね合わせられた数字、一方のクラスと他方のクラスを予測)を持つ画像と音声のデータセットで対比学習実験を行う。
最近提案されたコントラスト学習のための拡張学習モデルであるviewmaker networksは、異なるダウンストリームタスクに必要な機能を確率的に破壊するラベル付き拡張を生成する。
これらの拡張は解釈可能であり(例えば、画像に形、数字、文字を追加するなど)、ラベル情報を保存していないにもかかわらず、専門家が設計した拡張よりも驚くほどパフォーマンスが向上する。
実験結果をサポートするため,線形モデルを用いた単純なコントラスト学習設定を理論的に解析した。
この設定では、1つの特徴セットが他の下流タスクに有用な特徴の学習を抑えるのを防ぐためにラベルの削除が不可欠である。
本結果は,基礎モデルの成功を説明する上で,複数の下流タスク間の相互作用を分析する必要性を強調した。
関連論文リスト
- The Trade-off between Universality and Label Efficiency of
Representations from Contrastive Learning [32.15608637930748]
2つのデシダラタの間にはトレードオフがあることを示し、同時に両方を達成できない可能性があることを示す。
我々は、理論データモデルを用いて分析を行い、より多様な事前学習データにより、異なるタスクに対してより多様な機能が得られる一方で、タスク固有の機能に重点を置いていないことを示す。
論文 参考訳(メタデータ) (2023-02-28T22:14:33Z) - RangeAugment: Efficient Online Augmentation with Range Learning [54.61514286212455]
RangeAugmentは、個々の大きさと複合オーグメンテーション操作を効率よく学習する。
本研究では,RangeAugmentの4~5倍の精度で,最先端自動拡張手法の競争性能が向上することを示す。
論文 参考訳(メタデータ) (2022-12-20T18:55:54Z) - EquiMod: An Equivariance Module to Improve Self-Supervised Learning [77.34726150561087]
自己教師付き視覚表現法は教師付き学習性能とのギャップを埋めている。
これらの手法は、データ拡張によって生成された関連する合成入力の埋め込みの類似性を最大化することに依存する。
学習された潜在空間を構成する一般同値加群であるEquiModを導入する。
論文 参考訳(メタデータ) (2022-11-02T16:25:54Z) - Task Formulation Matters When Learning Continually: A Case Study in
Visual Question Answering [58.82325933356066]
継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。
本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
論文 参考訳(メタデータ) (2022-09-30T19:12:58Z) - Rethinking the Augmentation Module in Contrastive Learning: Learning
Hierarchical Augmentation Invariance with Expanded Views [22.47152165975219]
データ拡張モジュールは、データサンプルを2つのビューに変換するために、対照的な学習に使用される。
本稿では, 一般的なコントラスト学習フレームワークにおいて, コントラストとコントラストを考慮し, これら2つの問題を緩和する一般的な手法を提案する。
論文 参考訳(メタデータ) (2022-06-01T04:30:46Z) - MetAug: Contrastive Learning via Meta Feature Augmentation [28.708395209321846]
対照的な学習は、情報的特徴、すなわち「堅い」(肯定的または否定的な)特徴に大きく依存している、と我々は主張する。
このような特徴を探索する上で重要な課題は、ランダムなデータ拡張を適用することで、ソースのマルチビューデータを生成することである。
本稿では,潜在空間における特徴を直接拡張し,大量の入力データなしで識別表現を学習することを提案する。
論文 参考訳(メタデータ) (2022-03-10T02:35:39Z) - Why Do Self-Supervised Models Transfer? Investigating the Impact of
Invariance on Downstream Tasks [79.13089902898848]
自己教師付き学習は、非競合画像上での表現学習の強力なパラダイムである。
コンピュータビジョンにおける異なるタスクは、異なる(不変の)分散を符号化する機能を必要とすることを示す。
論文 参考訳(メタデータ) (2021-11-22T18:16:35Z) - Improving Transferability of Representations via Augmentation-Aware
Self-Supervision [117.15012005163322]
AugSelfは、ランダムに強化された2つのサンプル間の拡張パラメータの違いを学習する補助的な自己教師型損失である。
私たちの直感は、AugSelfが学習表現における拡張認識情報の保存を奨励していることです。
AugSelfは、最新の最先端の表現学習手法に、無視できる追加のトレーニングコストで簡単に組み込むことができる。
論文 参考訳(メタデータ) (2021-11-18T10:43:50Z) - Hard Negative Mixing for Contrastive Learning [29.91220669060252]
我々は、コントラスト学習の重要な側面、すなわちハードネガティブの影響は、これまで無視されてきたと論じている。
計算オーバーヘッドを最小限に抑えながら、オンザフライで計算できる機能レベルでのハードネガティブな混合戦略を提案する。
論文 参考訳(メタデータ) (2020-10-02T14:34:58Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳(メタデータ) (2020-04-20T02:47:49Z) - Diversity Helps: Unsupervised Few-shot Learning via Distribution
Shift-based Data Augmentation [21.16237189370515]
ほんの少しのトレーニング例があれば、新しい概念を学ぶことが目的だ。
本稿では、分散シフトに基づくデータ拡張による教師なしFew-shot Learningと呼ばれる新しいフレームワークを開発する。
実験では、ULDAによって学習された少数ショットモデルにより、より優れた一般化性能が得られる。
論文 参考訳(メタデータ) (2020-04-13T07:41:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。