論文の概要: Adversarial Robustness of Discriminative Self-Supervised Learning in Vision

• arxiv url: http://arxiv.org/abs/2503.06361v1
• Date: Sat, 08 Mar 2025 23:50:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:49:03.097083
• Title: Adversarial Robustness of Discriminative Self-Supervised Learning in Vision
• Title（参考訳）: 視覚における識別的自己監督学習の敵対的ロバスト性
• Authors: Ömer Veysel Çağatan, Ömer Faruk Tal, M. Emre Gürsoy,
• Abstract要約: 本研究では,7つの識別的自己監督モデルと1つの教師付きモデルの相反するロバスト性を評価する。 以上の結果から, 識別型SSLモデルでは, イメージネットの監視対象モデルに比べて, 敵攻撃に対する堅牢性が良好であることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Self-supervised learning (SSL) has advanced significantly in visual representation learning, yet comprehensive evaluations of its adversarial robustness remain limited. In this study, we evaluate the adversarial robustness of seven discriminative self-supervised models and one supervised model across diverse tasks, including ImageNet classification, transfer learning, segmentation, and detection. Our findings suggest that discriminative SSL models generally exhibit better robustness to adversarial attacks compared to their supervised counterpart on ImageNet, with this advantage extending to transfer learning when using linear evaluation. However, when fine-tuning is applied, the robustness gap between SSL and supervised models narrows considerably. Similarly, this robustness advantage diminishes in segmentation and detection tasks. We also investigate how various factors might influence adversarial robustness, including architectural choices, training duration, data augmentations, and batch sizes. Our analysis contributes to the ongoing exploration of adversarial robustness in visual self-supervised representation systems.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、視覚表現学習において著しく進歩しているが、その敵対的堅牢性に対する包括的評価は依然として限られている。 本研究では,イメージネット分類,移動学習,セグメンテーション,検出など,様々なタスクにまたがる7つの識別的自己監督モデルと1つの教師付きモデルの対角的ロバスト性を評価する。 以上の結果から,識別型SSLモデルでは,イメージネット上の教師付きモデルに比べて,敵攻撃に対する堅牢性が良好であることが示唆された。 しかし、微調整を適用すると、SSLと教師付きモデルの堅牢性ギャップはかなり狭くなる。 同様に、このロバスト性優位性はセグメンテーションや検出タスクにおいて低下する。 また、アーキテクチャの選択、トレーニング期間、データ拡張、バッチサイズなど、さまざまな要因が、敵の堅牢性にどのように影響するかについても検討する。 本分析は,視覚的自己監督型表現システムにおける対角的堅牢性の探索に寄与する。

関連論文リスト

• Using Self-supervised Learning Can Improve Model Fairness [10.028637666224093]
  自己教師型学習(SSL)は,大規模モデルのデファクトトレーニングパラダイムとなっている。 本研究では,事前学習と微調整が公正性に及ぼす影響について検討する。 SSLの公平性評価フレームワークを導入し、データセット要件の定義、事前トレーニング、段階的凍結による微調整、人口統計学的に条件付けられた表現類似性の評価、ドメイン固有の評価プロセスの確立の5段階を含む。
  論文  参考訳（メタデータ） (2024-06-04T14:38:30Z)
• What Makes CLIP More Robust to Long-Tailed Pre-Training Data? A Controlled Study for Transferable Insights [67.72413262980272]
  大規模なデータ不均衡は、Webスケールの視覚言語データセットの間に自然に存在する。 事前学習したCLIPは、教師付き学習と比較してデータ不均衡に顕著な堅牢性を示す。 CLIPの堅牢性と差別性は、より記述的な言語監督、より大きなデータスケール、より広いオープンワールドの概念によって改善される。
  論文  参考訳（メタデータ） (2024-05-31T17:57:24Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Cluster-aware Contrastive Learning for Unsupervised Out-of-distribution Detection [0.0]
  教師なしアウト・オブ・ディストリビューション(OOD)検出は、ラベル情報なしでトレーニングデータの分布外に落下するサンプルを分離することを目的としている。 本稿では,インスタンスレベルの情報と意味レベルの情報の両方を考慮した,教師なしOOD検出のためのクラスタ対応コントラスト学習(CCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-06T07:21:03Z)
• PointACL:Adversarial Contrastive Learning for Robust Point Clouds Representation under Adversarial Attack [73.3371797787823]
  逆比較学習(Adversarial contrastive learning, ACL)は、事前学習されたモデルの堅牢性を改善する効果的な方法と考えられている。 本稿では,自己指導型コントラスト学習フレームワークを逆向きに学習するために,ロバストな認識損失関数を提案する。 提案手法であるPointACLを,複数のデータセットを用いた3次元分類と3次元分割を含む下流タスクで検証する。
  論文  参考訳（メタデータ） (2022-09-14T22:58:31Z)
• Robust Transferable Feature Extractors: Learning to Defend Pre-Trained Networks Against White Box Adversaries [69.53730499849023]
  また, 予測誤差を誘導するために, 逆例を独立に学習した別のモデルに移すことが可能であることを示す。 本稿では,頑健な伝達可能な特徴抽出器(RTFE)と呼ばれる,ディープラーニングに基づく事前処理機構を提案する。
  論文  参考訳（メタデータ） (2022-09-14T21:09:34Z)
• On Higher Adversarial Susceptibility of Contrastive Self-Supervised Learning [104.00264962878956]
  コントラスト型自己教師学習(CSL)は,画像と映像の分類において,教師あり学習のパフォーマンスに適合するか上回っている。 2つの学習パラダイムによって誘導される表現の性質が似ているかどうかは、いまだに不明である。 我々は,CSL表現空間における単位超球面上のデータ表現の均一分布を,この現象の鍵となる要因として同定する。 CSLトレーニングでモデルロバスト性を改善するのにシンプルだが有効である戦略を考案する。
  論文  参考訳（メタデータ） (2022-07-22T03:49:50Z)
• Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
  本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T19:05:13Z)
• A Broad Study on the Transferability of Visual Representations with Contrastive Learning [15.667240680328922]
  線形評価, 全ネットワーク転送, 数ショット認識のための造影的アプローチの学習表現の伝達性について検討する。 その結果、コントラスト的アプローチは、異なる下流タスクに簡単に移行できる表現を学習できることが示される。 分析の結果, コントラスト的アプローチから得られた表現は, クロスエントロピーモデルよりも低レベル・中レベルセマンティクスを含んでいることがわかった。
  論文  参考訳（メタデータ） (2021-03-24T22:55:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。