Fugu-MT 論文翻訳(概要): MSR: Making Self-supervised learning Robust to Aggressive Augmentations

論文の概要: MSR: Making Self-supervised learning Robust to Aggressive Augmentations

arxiv url: http://arxiv.org/abs/2206.01999v1
Date: Sat, 4 Jun 2022 14:27:29 GMT
ステータス: 処理完了
システム内更新日: 2022-06-07 14:44:16.841145
Title: MSR: Making Self-supervised learning Robust to Aggressive Augmentations
Title（参考訳）: MSR:自己指導型学習ロバストな攻撃的強化
Authors: Yingbin Bai, Erkun Yang, Zhaoqing Wang, Yuxuan Du, Bo Han, Cheng Deng, Dadong Wang, Tongliang Liu
Abstract要約: 本稿では,弱いペアと攻撃的なペアの役割のバランスをとることによって,意味変化の影響に対処する新たなSSLパラダイムを提案する。我々は,BYOLを2.5%改善したResNet-50を200エポックとして,ImageNet-1Kで73.1%のTop-1精度を実現したことを示す。
参考スコア（独自算出の注目度）: 98.6457801252358
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Most recent self-supervised learning methods learn visual representation by contrasting different augmented views of images. Compared with supervised learning, more aggressive augmentations have been introduced to further improve the diversity of training pairs. However, aggressive augmentations may distort images' structures leading to a severe semantic shift problem that augmented views of the same image may not share the same semantics, thus degrading the transfer performance. To address this problem, we propose a new SSL paradigm, which counteracts the impact of semantic shift by balancing the role of weak and aggressively augmented pairs. Specifically, semantically inconsistent pairs are of minority and we treat them as noisy pairs. Note that deep neural networks (DNNs) have a crucial memorization effect that DNNs tend to first memorize clean (majority) examples before overfitting to noisy (minority) examples. Therefore, we set a relatively large weight for aggressively augmented data pairs at the early learning stage. With the training going on, the model begins to overfit noisy pairs. Accordingly, we gradually reduce the weights of aggressively augmented pairs. In doing so, our method can better embrace the aggressive augmentations and neutralize the semantic shift problem. Experiments show that our model achieves 73.1% top-1 accuracy on ImageNet-1K with ResNet-50 for 200 epochs, which is a 2.5% improvement over BYOL. Moreover, experiments also demonstrate that the learned representations can transfer well for various downstream tasks.
Abstract（参考訳）: 最近の自己教師あり学習法は、画像の異なる拡張ビューを対比して視覚的表現を学ぶ。教師付き学習と比較して、トレーニングペアの多様性をさらに改善するために、より積極的な強化が導入されている。しかし、アグレッシブな拡張は画像の構造を歪ませ、同じ画像の強化ビューが同じ意味を共有できないという深刻なセマンティックシフト問題を引き起こす可能性があるため、転送性能は低下する。この問題に対処するため,弱いペアと攻撃的なペアの役割のバランスをとることによって,意味変化の影響に対処する新たなSSLパラダイムを提案する。具体的には、意味論的に矛盾するペアは少数であり、ノイズペアとして扱う。ディープニューラルネットワーク(DNN)は、ノイズ(マイノリティ)の例に過度に適合する前に、DNNがまずクリーン(マジョリティ)の例を記憶する重要な記憶効果を持つ。そこで本研究では,早期にデータペアを積極的に拡張するために,比較的大きな重みを設定した。トレーニングが進むにつれて、モデルはノイズの多いペアに過剰適合し始めます。したがって、積極的に強化されたペアの重量を徐々に減らしていく。そこで本手法は,積極的な拡張を取り入れ,セマンティックシフト問題を中和する。実験の結果,BYOLよりも2.5%向上したResNet-50で,ImageNet-1Kで73.1%の精度を実現した。さらに、学習した表現が様々な下流タスクにうまく伝達できることを示す実験も行われた。

関連論文リスト

Intra-task Mutual Attention based Vision Transformer for Few-Shot Learning [12.5354658533836]
人間は、ほんのわずかの例に晒された後に、新しい、目に見えない画像を正確に分類する能力を持っている。人工ニューラルネットワークモデルでは、限られたサンプルを持つ2つのイメージを区別する最も関連性の高い特徴を決定することが課題である。本稿では,サポートとクエリサンプルをパッチに分割するタスク内相互注意手法を提案する。
論文参考訳（メタデータ） (2024-05-06T02:02:57Z)
Feature Dropout: Revisiting the Role of Augmentations in Contrastive Learning [7.6834562879925885]
最近の研究は、良い改善が特定の下流タスクに関してラベル保存であることを示唆している。基礎モデル設定においてラベルのデストロイヤー化が有用であることを示す。
論文参考訳（メタデータ） (2022-12-16T10:08:38Z)
Soft Augmentation for Image Classification [68.71067594724663]
本稿では,変分変換による拡張の一般化とソフト拡張を提案する。ソフトターゲットは、より攻撃的なデータ拡張を可能にすることを示す。また,ソフト拡張が自己教師付き分類タスクに一般化されることも示している。
論文参考訳（メタデータ） (2022-11-09T01:04:06Z)
Improving Transferability of Representations via Augmentation-Aware Self-Supervision [117.15012005163322]
AugSelfは、ランダムに強化された2つのサンプル間の拡張パラメータの違いを学習する補助的な自己教師型損失である。私たちの直感は、AugSelfが学習表現における拡張認識情報の保存を奨励していることです。 AugSelfは、最新の最先端の表現学習手法に、無視できる追加のトレーニングコストで簡単に組み込むことができる。
論文参考訳（メタデータ） (2021-11-18T10:43:50Z)
Augmentation Pathways Network for Visual Recognition [61.33084317147437]
本稿では,より広範な拡張ポリシーのトレーニングを安定させるために,Augmentation Pathways (AP)を導入している。 APは、重いデータ拡張をテーパーし、拡張ポリシーの慎重に選択することなく、安定してパフォーマンスを向上させる。 ImageNetベンチマークの実験結果は、より広い範囲の拡張における互換性と有効性を示している。
論文参考訳（メタデータ） (2021-07-26T06:54:53Z)
Contrastive Learning with Stronger Augmentations [63.42057690741711]
本論文では,現在のコントラスト学習のアプローチを補完する,より強い拡張(A)によるコントラスト学習という汎用フレームワークを提案する。ここでは、表現バンク上の弱強調画像と強拡張画像との間の分布のばらつきを利用して、強拡張クエリの検索を監督する。実験では、強力な画像からの情報により、パフォーマンスが大幅に向上します。
論文参考訳（メタデータ） (2021-04-15T18:40:04Z)
Leveraging background augmentations to encourage semantic focus in self-supervised contrastive learning [16.93045612956149]
背景強化」は、画像の背景に焦点を合わせないようにし、意味的関連コンテンツに焦点を合わせることを奨励する。背景の増強は、最先端の自己監督方法のスペクトル全体のパフォーマンスの大幅な改善(ImageNet-1kで+1-2%)につながります。
論文参考訳（メタデータ） (2021-03-23T17:39:16Z)
Understanding self-supervised Learning Dynamics without Contrastive Pairs [72.1743263777693]
自己監視学習(SSL)に対する対照的アプローチは、同じデータポイントの2つの拡張ビュー間の距離を最小限にすることで表現を学習する。 BYOLとSimSiamは、負のペアなしで素晴らしいパフォーマンスを示す。単純線形ネットワークにおける非コントラストSSLの非線形学習ダイナミクスについて検討する。
論文参考訳（メタデータ） (2021-02-12T22:57:28Z)
Hard Negative Mixing for Contrastive Learning [29.91220669060252]
我々は、コントラスト学習の重要な側面、すなわちハードネガティブの影響は、これまで無視されてきたと論じている。計算オーバーヘッドを最小限に抑えながら、オンザフライで計算できる機能レベルでのハードネガティブな混合戦略を提案する。
論文参考訳（メタデータ） (2020-10-02T14:34:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。