論文の概要: Can Self-Supervised Representation Learning Methods Withstand
Distribution Shifts and Corruptions?
- arxiv url: http://arxiv.org/abs/2308.02525v2
- Date: Fri, 11 Aug 2023 12:31:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-14 16:13:02.152135
- Title: Can Self-Supervised Representation Learning Methods Withstand
Distribution Shifts and Corruptions?
- Title（参考訳）: 自己教師付き表現学習手法は分布シフトや腐敗に耐えられるか?
- Authors: Prakash Chandra Chhipa, Johan Rodahl Holmgren, Kanjar De, Rajkumar
Saini and Marcus Liwicki
- Abstract要約: コンピュータビジョンにおける自己教師付き学習は、データ内の固有の構造と関係を利用して意味のある表現を学ぶことを目的としている。
本研究では,自己指導型学習手法の学習表現のロバスト性について検討し,分布シフトと画像劣化に着目した。
- 参考スコア（独自算出の注目度）: 5.706184197639971
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-supervised learning in computer vision aims to leverage the inherent
structure and relationships within data to learn meaningful representations
without explicit human annotation, enabling a holistic understanding of visual
scenes. Robustness in vision machine learning ensures reliable and consistent
performance, enhancing generalization, adaptability, and resistance to noise,
variations, and adversarial attacks. Self-supervised paradigms, namely
contrastive learning, knowledge distillation, mutual information maximization,
and clustering, have been considered to have shown advances in invariant
learning representations. This work investigates the robustness of learned
representations of self-supervised learning approaches focusing on distribution
shifts and image corruptions in computer vision. Detailed experiments have been
conducted to study the robustness of self-supervised learning methods on
distribution shifts and image corruptions. The empirical analysis demonstrates
a clear relationship between the performance of learned representations within
self-supervised paradigms and the severity of distribution shifts and
corruptions. Notably, higher levels of shifts and corruptions are found to
significantly diminish the robustness of the learned representations. These
findings highlight the critical impact of distribution shifts and image
corruptions on the performance and resilience of self-supervised learning
methods, emphasizing the need for effective strategies to mitigate their
adverse effects. The study strongly advocates for future research in the field
of self-supervised representation learning to prioritize the key aspects of
safety and robustness in order to ensure practical applicability. The source
code and results are available on GitHub.
- Abstract（参考訳）: コンピュータビジョンにおける自己教師付き学習は、データ内の固有の構造と関係を利用して、明示的な人間のアノテーションなしで意味のある表現を学習することを目的としており、視覚シーンの全体的理解を可能にする。
視覚機械学習におけるロバスト性は、信頼性と一貫したパフォーマンスを確保し、一般化、適応性、ノイズ、変動、敵攻撃に対する耐性を高める。
自己教師付きパラダイム、すなわちコントラスト学習、知識蒸留、相互情報最大化、クラスタリングは、不変学習表現の進歩を示していると考えられている。
本研究は,コンピュータビジョンにおける分散シフトと画像破壊に着目し,自己教師付き学習アプローチの学習表現のロバスト性について検討する。
分散シフトと画像劣化に対する自己教師型学習手法の堅牢性について,詳細な実験を行った。
実証分析は,自己監督パラダイムにおける学習表現のパフォーマンスと,分散シフトや腐敗の深刻さとの関係を明らかにした。
特に、より高いレベルのシフトと腐敗は、学習された表現の堅牢性を著しく低下させる。
これらの知見は, 自己指導型学習手法の性能とレジリエンスに及ぼす分布シフトと画像劣化の影響を強調し, その悪影響を軽減する効果的な戦略の必要性を強調した。
この研究は、自己指導型表現学習の分野における将来の研究を強く主張し、実用性を確保するために安全性と堅牢性の重要な側面を優先するものである。
ソースコードと結果はGitHubで公開されている。
関連論文リスト
- A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。
自己教師型学習のための生成潜在変数モデルを提案する。
対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
論文 参考訳（メタデータ） (2024-02-02T13:31:17Z) - On Higher Adversarial Susceptibility of Contrastive Self-Supervised
Learning [104.00264962878956]
コントラスト型自己教師学習(CSL)は,画像と映像の分類において,教師あり学習のパフォーマンスに適合するか上回っている。
2つの学習パラダイムによって誘導される表現の性質が似ているかどうかは、いまだに不明である。
我々は,CSL表現空間における単位超球面上のデータ表現の均一分布を,この現象の鍵となる要因として同定する。
CSLトレーニングでモデルロバスト性を改善するのにシンプルだが有効である戦略を考案する。
論文 参考訳（メタデータ） (2022-07-22T03:49:50Z) - Is Self-Supervised Learning More Robust Than Supervised Learning? [29.129681691651637]
自己教師付きコントラスト学習はラベルなしで視覚表現を学習する強力なツールである。
コントラスト学習と教師あり学習の行動差を定量化するために、一連のロバストネステストを実施している。
事前トレーニングの汚職の下では、パッチシャッフルやピクセル強度の変化に対して、対照的な学習が脆弱でありながら、データセットレベルの分布変化には敏感でないことが分かりました。
論文 参考訳（メタデータ） (2022-06-10T17:58:00Z) - Robustness in Deep Learning for Computer Vision: Mind the gap? [13.576376492050185]
我々は、コンピュータビジョンのためのディープラーニングにおいて、現在の定義と非敵対的堅牢性に向けての進歩を特定し、分析し、要約する。
この研究の分野は、敵対的機械学習に対して、不当にあまり注目されていないことがわかりました。
論文 参考訳（メタデータ） (2021-12-01T16:42:38Z) - Visual Adversarial Imitation Learning using Variational Models [60.69745540036375]
逆関数仕様は、深い強化学習を通しての学習行動にとって大きな障害であり続けている。
望ましい行動の視覚的なデモンストレーションは、エージェントを教えるためのより簡単で自然な方法を示すことが多い。
変動モデルに基づく対向的模倣学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2021-07-16T00:15:18Z) - Understand and Improve Contrastive Learning Methods for Visual
Representation: A Review [1.4650545418986058]
手動ラベリングなしで効果的なデータ表現を学習できる可能性から、有望な自己教師型学習が人気を集めている。
本文献レビューは, 自己指導型学習の鍵となる構成要素と限界を理解するための研究者の取り組みについて, 最新の分析を行うことを目的としている。
論文 参考訳（メタデータ） (2021-06-06T21:59:49Z) - Evaluating the Robustness of Self-Supervised Learning in Medical Imaging [57.20012795524752]
自己監督は、小さな注釈付きデータセット上でターゲットタスクを訓練する際の効果的な学習戦略であることを示した。
本研究では,自己監視学習によって訓練されたネットワークが,医療画像の文脈における完全監視学習と比較して,堅牢性と汎用性に優れていることを示した。
論文 参考訳（メタデータ） (2021-05-14T17:49:52Z) - Heterogeneous Contrastive Learning: Encoding Spatial Information for
Compact Visual Representations [183.03278932562438]
本稿では,エンコーディング段階に空間情報を加えることで,対照的な目的と強いデータ拡張操作の間の学習の不整合を緩和する効果的な手法を提案する。
提案手法は,視覚表現の効率を向上し,自己指導型視覚表現学習の今後の研究を刺激する鍵となるメッセージを提供する。
論文 参考訳（メタデータ） (2020-11-19T16:26:25Z) - Self-Supervised Learning Across Domains [33.86614301708017]
本稿では,ドメイン間のオブジェクト認識の問題に対して,同様のアプローチを適用することを提案する。
モデルでは,教師付き方式でセマンティックラベルを学習し,同じ画像上の自己教師型信号から学習することで,データに対する理解を深める。
この二次的なタスクは、ネットワークが対象の形状、空間配向や部分相関といった概念を学ぶのに役立ち、分類タスクの正規化として機能する。
論文 参考訳（メタデータ） (2020-07-24T06:19:53Z) - Self-supervised Learning from a Multi-view Perspective [121.63655399591681]
自己教師型表現はタスク関連情報を抽出し,タスク関連情報を破棄することができることを示す。
我々の理論的枠組みは、自己教師型学習目標設計のより広い空間への道を開くものである。
論文 参考訳（メタデータ） (2020-06-10T00:21:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。