論文の概要: Can We Break Free from Strong Data Augmentations in Self-Supervised Learning?

• arxiv url: http://arxiv.org/abs/2404.09752v1
• Date: Mon, 15 Apr 2024 12:53:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 12:30:43.222052
• Title: Can We Break Free from Strong Data Augmentations in Self-Supervised Learning?
• Title（参考訳）: 自己指導型学習におけるデータ強化から解放できるか?
• Authors: Shruthi Gowda, Elahe Arani, Bahram Zonooz,
• Abstract要約: ディープニューラルネットワーク(DNN)における限定ラベル付きデータの課題に対処するための、有望なソリューションとして、自己教師付き学習(SSL)が登場した。 SSLモデルのパフォーマンスと学習メカニズムを形作る上で,SSLの動作が重要な役割を担っていることを明らかにする。 本稿では,事前知識を統合した新しい学習手法を提案する。
• 参考スコア（独自算出の注目度）: 18.83003310612038
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Self-supervised learning (SSL) has emerged as a promising solution for addressing the challenge of limited labeled data in deep neural networks (DNNs), offering scalability potential. However, the impact of design dependencies within the SSL framework remains insufficiently investigated. In this study, we comprehensively explore SSL behavior across a spectrum of augmentations, revealing their crucial role in shaping SSL model performance and learning mechanisms. Leveraging these insights, we propose a novel learning approach that integrates prior knowledge, with the aim of curtailing the need for extensive data augmentations and thereby amplifying the efficacy of learned representations. Notably, our findings underscore that SSL models imbued with prior knowledge exhibit reduced texture bias, diminished reliance on shortcuts and augmentations, and improved robustness against both natural and adversarial corruptions. These findings not only illuminate a new direction in SSL research, but also pave the way for enhancing DNN performance while concurrently alleviating the imperative for intensive data augmentation, thereby enhancing scalability and real-world problem-solving capabilities.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、ディープニューラルネットワーク(DNN)における限定ラベル付きデータの問題に対処し、スケーラビリティを提供するための、有望なソリューションとして登場した。 しかし、SSLフレームワークにおける設計依存性の影響は、まだ十分に調査されていない。 本研究では,SSLモデルの性能と学習機構の形成において重要な役割を担っていることを明らかにする。 これらの知見を生かして,より広範なデータ拡張の必要性を緩和し,学習表現の有効性を高めることを目的とした,事前知識を統合する新しい学習手法を提案する。 特に,従来の知識を取り入れたSSLモデルでは,テクスチャバイアスの低減,ショートカットや拡張への依存の低減,自然と敵の両方の汚職に対する堅牢性の向上が確認できた。 これらの発見はSSL研究の新たな方向性を照らすだけでなく、DNNのパフォーマンス向上の道を開くと同時に、集中的なデータ拡張のための命令を同時に緩和し、スケーラビリティと現実世界の問題解決能力を向上する。

関連論文リスト

• Context-Aware Predictive Coding: A Representation Learning Framework for WiFi Sensing [0.0]
  WiFiセンサーは、様々なセンサーアプリケーションに無線信号を利用する新興技術である。 本稿では,CAPC(Context-Aware Predictive Coding)と呼ばれる新しいSSLフレームワークを紹介する。 CAPCは問題のないデータから効果的に学習し、多様な環境に適応する。 評価の結果、CAPCは他のSSLメソッドや教師付きアプローチよりも優れているだけでなく、優れた一般化能力も達成できることがわかった。
  論文  参考訳（メタデータ） (2024-09-16T17:59:49Z)
• A Survey of the Self Supervised Learning Mechanisms for Vision Transformers [5.152455218955949]
  視覚タスクにおける自己教師あり学習(SSL)の適用は注目されている。 SSL手法を体系的に分類する包括的分類法を開発した。 SSLの背後にあるモチベーションについて議論し、人気のある事前トレーニングタスクをレビューし、この分野の課題と進歩を強調します。
  論文  参考訳（メタデータ） (2024-08-30T07:38:28Z)
• Reinforcement Learning-Guided Semi-Supervised Learning [20.599506122857328]
  本稿では,SSLを片腕バンディット問題として定式化する新しい強化学習ガイド型SSL手法 RLGSSL を提案する。 RLGSSLは、ラベル付きデータとラベルなしデータのバランスを保ち、一般化性能を向上させるために、慎重に設計された報酬関数を組み込んでいる。 我々は,複数のベンチマークデータセットに対する広範な実験を通じてRCGSSLの有効性を実証し,我々の手法が最先端のSSL手法と比較して一貫した優れた性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-05-02T21:52:24Z)
• LLM-DA: Data Augmentation via Large Language Models for Few-Shot Named Entity Recognition [67.96794382040547]
  $LLM-DA$は、数発のNERタスクのために、大きな言語モデル(LLM)に基づいた、新しいデータ拡張テクニックである。 提案手法では,14のコンテキスト書き換え戦略を採用し,同一タイプのエンティティ置換を設計し,ロバスト性を高めるためにノイズ注入を導入する。
  論文  参考訳（メタデータ） (2024-02-22T14:19:56Z)
• Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes [72.75421975804132]
  学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。 能動学習問題の対称性と独立性を利用した新しい分類法を提案する。 私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
  論文  参考訳（メタデータ） (2023-09-11T14:16:37Z)
• Self-Supervision for Tackling Unsupervised Anomaly Detection: Pitfalls and Opportunities [50.231837687221685]
  自己教師付き学習(SSL)は、機械学習とその多くの現実世界のアプリケーションに変化をもたらした。 非教師なし異常検出(AD)は、自己生成性擬似異常によりSSLにも乗じている。
  論文  参考訳（メタデータ） (2023-08-28T07:55:01Z)
• LSFSL: Leveraging Shape Information in Few-shot Learning [11.145085584637746]
  少ないショットの学習技術は、限られた経験から人間がどのように学習するかに似た、少ないサンプルを使用して、データの基盤となるパターンを学習しようとする。 この限定データシナリオでは、ショートカット学習やテクスチャバイアス行動など、ディープニューラルネットワークに関連する課題がさらに悪化する。 本研究では,データに含まれる暗黙的な事前情報を利用して,より一般化可能な特徴を学習するためにモデルを強制するLSFSLを提案する。
  論文  参考訳（メタデータ） (2023-04-13T16:59:22Z)
• Does Decentralized Learning with Non-IID Unlabeled Data Benefit from Self Supervision? [51.00034621304361]
  自己教師型学習(SSL)のレンズによるラベルなしデータによる分散学習の研究 本研究では,分散学習環境下でのコントラスト学習アルゴリズムの有効性について検討する。
  論文  参考訳（メタデータ） (2022-10-20T01:32:41Z)
• On Higher Adversarial Susceptibility of Contrastive Self-Supervised Learning [104.00264962878956]
  コントラスト型自己教師学習(CSL)は,画像と映像の分類において,教師あり学習のパフォーマンスに適合するか上回っている。 2つの学習パラダイムによって誘導される表現の性質が似ているかどうかは、いまだに不明である。 我々は,CSL表現空間における単位超球面上のデータ表現の均一分布を,この現象の鍵となる要因として同定する。 CSLトレーニングでモデルロバスト性を改善するのにシンプルだが有効である戦略を考案する。
  論文  参考訳（メタデータ） (2022-07-22T03:49:50Z)
• Collaborative Intelligence Orchestration: Inconsistency-Based Fusion of Semi-Supervised Learning and Active Learning [60.26659373318915]
  アクティブラーニング(AL)と半教師付きラーニング(SSL)は2つの効果があるが、しばしば孤立している。 本稿では、SSL-ALの潜在的な優位性をさらに調査するために、革新的な一貫性に基づく仮想aDvErialアルゴリズムを提案する。 2つの実世界のケーススタディは、提案したデータサンプリングアルゴリズムの適用と展開の実践的な産業価値を可視化する。
  論文  参考訳（メタデータ） (2022-06-07T13:28:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。