論文の概要: An Empirical Study of Accuracy-Robustness Tradeoff and Training Efficiency in Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2501.03507v1
• Date: Tue, 07 Jan 2025 03:50:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-08 15:50:15.606960
• Title: An Empirical Study of Accuracy-Robustness Tradeoff and Training Efficiency in Self-Supervised Learning
• Title（参考訳）: 自己指導型学習における精度・ロバスト性トレードオフと訓練効率に関する実証的研究
• Authors: Fatemeh Ghofrani, Pooyan Jamshidi,
• Abstract要約: 自己教師付き学習(SSL)は画像表現学習が大幅に進歩しているが、効率の課題は継続する。 我々は、画像当たりの作物数を増やすことの重要性を強調し、堅牢なEMP-SSLフレームワークを再考する。 我々は、コストフリーのマルチクロップ自己監視学習(CF-AMC-SSL)を導入して、マルチクロップSSLにおける自由敵トレーニングによるこのアプローチを拡張した。
• 参考スコア（独自算出の注目度）: 1.590683264892176
• License:
• Abstract: Self-supervised learning (SSL) has significantly advanced image representation learning, yet efficiency challenges persist, particularly with adversarial training. Many SSL methods require extensive epochs to achieve convergence, a demand further amplified in adversarial settings. To address this inefficiency, we revisit the robust EMP-SSL framework, emphasizing the importance of increasing the number of crops per image to accelerate learning. Unlike traditional contrastive learning, robust EMP-SSL leverages multi-crop sampling, integrates an invariance term and regularization, and reduces training epochs, enhancing time efficiency. Evaluated with both standard linear classifiers and multi-patch embedding aggregation, robust EMP-SSL provides new insights into SSL evaluation strategies. Our results show that robust crop-based EMP-SSL not only accelerates convergence but also achieves a superior balance between clean accuracy and adversarial robustness, outperforming multi-crop embedding aggregation. Additionally, we extend this approach with free adversarial training in Multi-Crop SSL, introducing the Cost-Free Adversarial Multi-Crop Self-Supervised Learning (CF-AMC-SSL) method. CF-AMC-SSL demonstrates the effectiveness of free adversarial training in reducing training time while simultaneously improving clean accuracy and adversarial robustness. These findings underscore the potential of CF-AMC-SSL for practical SSL applications. Our code is publicly available at https://github.com/softsys4ai/CF-AMC-SSL.
• Abstract（参考訳）: 自己教師付き学習(SSL)は画像表現学習が著しく進歩しているが、特に対人訓練では効率の課題が持続する。 多くのSSLメソッドは収束を達成するために広範囲なエポックを必要とする。 この非効率性に対処するため、我々は堅牢なEMP-SSLフレームワークを再考し、学習を加速するために画像当たりの作物の数を増やすことの重要性を強調した。 従来のコントラスト学習とは異なり、堅牢なEMP-SSLはマルチクロップサンプリングを活用し、不変項と正規化を統合し、トレーニングのエポックを低減し、時間効率を向上させる。 標準線形分類器とマルチパッチ埋め込みアグリゲーションの両方で評価され、堅牢なEMP-SSLはSSL評価戦略に関する新たな洞察を提供する。 以上の結果から, 作物由来のEMP-SSLはコンバージェンスを促進させるだけでなく, クリーンな精度と対向的なロバスト性とのバランスが良好であること, マルチクロップ埋め込みアグリゲーションよりも優れていることが示唆された。 さらに,この手法を,コストフリーなマルチクロップ自己監視学習法(CF-AMC-SSL)を導入して,マルチクロップSSLにおける自由逆トレーニングにより拡張する。 CF-AMC-SSLは、トレーニング時間を短縮し、クリーンな精度と対向堅牢性を同時に改善する自由対向トレーニングの有効性を示す。 これらの結果は,実用的なSSLアプリケーションに対するCF-AMC-SSLの可能性を示している。 私たちのコードはhttps://github.com/softsys4ai/CF-AMC-SSLで公開されています。

関連論文リスト

• SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training [68.7896349660824]
  本稿では,Seq FTのレンズからの進行オーバーフィッティング問題を詳細に解析する。 過度に高速な表現学習と偏りのある分類層がこの問題を構成することを考慮し、先進的なSlow Learner with Alignment(S++)フレームワークを導入する。 提案手法は,バックボーンパラメータの学習率を選択的に減少させるスローラーナーと,ポストホック方式で不規則な分類層を整列させるアライメントを含む。
  論文  参考訳（メタデータ） (2024-08-15T17:50:07Z)
• On the Discriminability of Self-Supervised Representation Learning [38.598160031349686]
  自己教師付き学習(SSL)は、最近、下流の視覚タスクで大きな成功を収めた。 特に複雑な下流タスクにおいて、SSLと教師あり学習(SL)の間には、注目すべきギャップがまだ残っている。
  論文  参考訳（メタデータ） (2024-07-18T14:18:03Z)
• ProFeAT: Projected Feature Adversarial Training for Self-Supervised Learning of Robust Representations [35.68752612346952]
  教師付きAdversarial Training (AT) におけるラベル付きデータの必要性は,ATによる自己監督学習(SSL)技術の利用を促している。 既存のSSLメソッドの対向トレーニングへの直接的な適用は、SSLとATの組み合わせによるトレーニングの複雑さの増大により、サブ最適になっている。 本研究では,教師と生徒の弱さと強みを兼ね備えた,特徴とプロジェクタに対する適切な攻撃と防御の損失を提案する。
  論文  参考訳（メタデータ） (2024-06-09T14:20:46Z)
• Erasing the Bias: Fine-Tuning Foundation Models for Semi-Supervised Learning [4.137391543972184]
  半教師付き学習(SSL)は目覚ましい進歩をみせており、多くの方法のバリエーションをもたらしている。 本稿では,FinSSLという新しいSSLアプローチを提案する。 我々は、FineSSLが複数のベンチマークデータセットにSSLの新たな状態を設定し、トレーニングコストを6倍以上削減し、さまざまな微調整と現代的なSSLアルゴリズムをシームレスに統合できることを実証した。
  論文  参考訳（メタデータ） (2024-05-20T03:33:12Z)
• Reinforcement Learning-Guided Semi-Supervised Learning [20.599506122857328]
  本稿では,SSLを片腕バンディット問題として定式化する新しい強化学習ガイド型SSL手法 RLGSSL を提案する。 RLGSSLは、ラベル付きデータとラベルなしデータのバランスを保ち、一般化性能を向上させるために、慎重に設計された報酬関数を組み込んでいる。 我々は,複数のベンチマークデータセットに対する広範な実験を通じてRCGSSLの有効性を実証し,我々の手法が最先端のSSL手法と比較して一貫した優れた性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-05-02T21:52:24Z)
• Decoupled Adversarial Contrastive Learning for Self-supervised Adversarial Robustness [69.39073806630583]
  頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。 Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-22T06:30:44Z)
• On Higher Adversarial Susceptibility of Contrastive Self-Supervised Learning [104.00264962878956]
  コントラスト型自己教師学習(CSL)は,画像と映像の分類において,教師あり学習のパフォーマンスに適合するか上回っている。 2つの学習パラダイムによって誘導される表現の性質が似ているかどうかは、いまだに不明である。 我々は,CSL表現空間における単位超球面上のデータ表現の均一分布を,この現象の鍵となる要因として同定する。 CSLトレーニングでモデルロバスト性を改善するのにシンプルだが有効である戦略を考案する。
  論文  参考訳（メタデータ） (2022-07-22T03:49:50Z)
• Collaborative Intelligence Orchestration: Inconsistency-Based Fusion of Semi-Supervised Learning and Active Learning [60.26659373318915]
  アクティブラーニング(AL)と半教師付きラーニング(SSL)は2つの効果があるが、しばしば孤立している。 本稿では、SSL-ALの潜在的な優位性をさらに調査するために、革新的な一貫性に基づく仮想aDvErialアルゴリズムを提案する。 2つの実世界のケーススタディは、提案したデータサンプリングアルゴリズムの適用と展開の実践的な産業価値を可視化する。
  論文  参考訳（メタデータ） (2022-06-07T13:28:43Z)
• Boosting Discriminative Visual Representation Learning with Scenario-Agnostic Mixup [54.09898347820941]
  自己教師付き学習(SSL)と教師付き学習(SL)の両方のシナリオに対して,textbfScenario-textbfAgnostic textbfMixup (SAMix)を提案する。 具体的には、2つの混合クラス間の局所的な滑らかさを最適化するために、混合生成の目的関数を仮説化し、検証する。 非自明な混合サンプルを効果的に提供し、転送可能な能力を向上させるラベルフリーな生成サブネットワークを設計する。
  論文  参考訳（メタデータ） (2021-11-30T14:49:59Z)
• Decoupled Contrastive Learning [23.25775900388382]
  我々は,広く使用されているクロスエントロピー(InfoNCE)損失における顕著な負陽性結合(NPC)効果を同定した。 NPC効果を適切に処理することにより、非結合型コントラスト学習(DCL)目標関数に到達する。 われわれのアプローチは、200時間以内のバッチサイズ256を使用して6.9%のImageNet top-1精度を実現し、ベースラインのSimCLRを5.1%上回った。
  論文  参考訳（メタデータ） (2021-10-13T16:38:43Z)
• On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
  最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。 これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
  論文  参考訳（メタデータ） (2021-01-18T10:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。