論文の概要: Generalization Bounds for Robust Contrastive Learning: From Theory to Practice

• arxiv url: http://arxiv.org/abs/2311.09671v2
• Date: Mon, 27 Oct 2025 10:48:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 17:41:21.25164
• Title: Generalization Bounds for Robust Contrastive Learning: From Theory to Practice
• Title（参考訳）: ロバスト・コントラスト学習のための一般化境界:理論から実践へ
• Authors: Ngoc N. Tran, Lam Tran, Hoang Phan, Anh Bui, Tung Pham, Toan Tran, Dinh Phung, Trung Le,
• Abstract要約: 教師なし学習のどの要素が、教師なし学習の堅牢な損失を改善するのに役立つかを特定する理論を開発する。 対向的な対照的な損失に加えて、良性のあるものは、良性と対向的な例のグローバルなばらつきと共に、堅牢性も向上する。
• 参考スコア（独自算出の注目度）: 20.805320268190936
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Contrastive Learning first extracts features from unlabeled data, followed by linear probing with labeled data. Adversarial Contrastive Learning (ACL) integrates Adversarial Training into the first phase to enhance feature robustness against attacks in the probing phase. While ACL has shown strong empirical results, its theoretical understanding remains limited. Furthermore, while a fair amount of theoretical works analyze how the unsupervised loss can support the supervised loss in the probing phase, none has examined its role to the robust supervised loss. To fill this gap, our work develops rigorous theories to identify which components in the unsupervised training can help improve the robust supervised loss. Specifically, besides the adversarial contrastive loss, we reveal that the benign one, along with a global divergence between benign and adversarial examples can also improve robustness. Proper experiments are conducted to justify our findings.
• Abstract（参考訳）: 対照的学習はまずラベル付きデータから特徴を抽出し、次にラベル付きデータによる線形探索を行う。 Adversarial Contrastive Learning (ACL) は、Adversarial Trainingを第1フェーズに統合し、探索フェーズにおける攻撃に対する特徴的堅牢性を高める。 ACLは強い経験的結果を示したが、理論的な理解は依然として限られている。 さらに, 調査段階における教師なし損失が教師付き損失にどのように寄与するかを, かなりの量の理論的研究が分析しているが, 厳密な教師付き損失に対するその役割について検討はされていない。 このギャップを埋めるために、我々の研究は厳密な理論を開発し、教師なしトレーニングのどのコンポーネントが、教師なしの強い損失を改善するのに役立つかを特定する。 具体的には, 対向的対向的損失に加えて, 対向的対向的対向的損失に加えて, 良性と対向的対向的対向的な大域的偏差が強靭性を向上させることを明らかにする。 我々の発見を正当化するための適切な実験が実施されている。

関連論文リスト

• Dual-Head Knowledge Distillation: Enhancing Logits Utilization with an Auxiliary Head [38.898038672237746]
  本稿では,広く使用されている確率レベル損失関数の補足として,ロジットレベル損失関数を導入する。 新たに導入されたロジットレベルの損失と,それ以前の確率レベルの損失の合計は,性能劣化につながる。 本稿では, 線形分類器を2つの分類ヘッドに分割し, 損失の異なる2つの分類ヘッドに分割する, 二重知識蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-11-13T12:33:04Z)
• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• What Makes CLIP More Robust to Long-Tailed Pre-Training Data? A Controlled Study for Transferable Insights [67.72413262980272]
  大規模なデータ不均衡は、Webスケールの視覚言語データセットの間に自然に存在する。 事前学習したCLIPは、教師付き学習と比較してデータ不均衡に顕著な堅牢性を示す。 CLIPの堅牢性と差別性は、より記述的な言語監督、より大きなデータスケール、より広いオープンワールドの概念によって改善される。
  論文  参考訳（メタデータ） (2024-05-31T17:57:24Z)
• Semi-Supervised End-To-End Contrastive Learning For Time Series Classification [10.635321868623883]
  時系列分類は、金融、医療、センサーデータ分析など、さまざまな分野において重要な課題である。 SLOTS(Semi-supervised Learning fOr Time clasSification)と呼ばれるエンドツーエンドモデルを提案する。
  論文  参考訳（メタデータ） (2023-10-13T04:22:21Z)
• Rethinking Weak Supervision in Helping Contrastive Learning [19.5649824524209]
  コントラスト学習における半教師付き情報と雑音ラベル付き情報との機械的差異について検討する。 具体的には、教師付きと教師なしのコントラスト的損失の協調訓練の最も直感的なパラダイムについて検討する。 半教師付きラベルが下流誤差境界を改善するのに対し、ノイズラベルはそのようなパラダイムの下では限定的な効果を持つことを示す。
  論文  参考訳（メタデータ） (2023-06-07T05:18:27Z)
• Robustness of Unsupervised Representation Learning without Labels [92.90480374344777]
  モデルとタスクに依存しない,ラベルのない,教師なしのロバストネス尺度のファミリーを提案する。 本研究は, 線形プローブによる検証を行い, MOCOv2の場合, 対向トレーニングの結果が3倍の精度で得られたことを示す。
  論文  参考訳（メタデータ） (2022-10-08T18:03:28Z)
• Semi-Supervised Learning with Mutual Distillation for Monocular Depth Estimation [27.782150368174413]
  それぞれの損失に対して異なる2つのネットワーク分岐を構築し, 相互蒸留損失関数を用いて相互蒸留を行う。 我々は,最新の手法によるフレームワークの有効性を実証する実験を行い,広範囲にわたるアブレーション研究を行った。
  論文  参考訳（メタデータ） (2022-03-18T04:28:58Z)
• Adversarial Dual-Student with Differentiable Spatial Warping for Semi-Supervised Semantic Segmentation [70.2166826794421]
  本研究では、教師なしデータ拡張を行うために、微分可能な幾何ワープを提案する。 また,平均教師数を改善するために,新しい対角的二重学習フレームワークを提案する。 我々のソリューションは、両方のデータセットで得られるパフォーマンスと最先端の結果を大幅に改善します。
  論文  参考訳（メタデータ） (2022-03-05T17:36:17Z)
• Leveraged Weighted Loss for Partial Label Learning [64.85763991485652]
  部分ラベル学習は、各インスタンスに候補ラベルのセットが割り当てられるデータを扱うが、そのうちの1つだけが真実である。 部分ラベルからの学習に関する多くの方法論の研究にもかかわらず、リスク一貫した性質に関する理論的理解はいまだに欠けている。 本稿では,テキスト重み付き損失(LW)と呼ばれる損失関数のファミリーを提案する。これはまず,部分ラベル上の損失と非部分的な損失とのトレードオフを検討するために,レバレッジパラメータ$beta$を導入する。
  論文  参考訳（メタデータ） (2021-06-10T13:25:13Z)
• A Commentary on the Unsupervised Learning of Disentangled Representations [63.042651834453544]
  不整合表現の教師なし学習の目標は、データの変化の独立した説明的要因を、監督にアクセスできることなく分離することである。 本稿では,非教師なしの非教師付き表現の学習が帰納的バイアスなしでは基本的に不可能であることを示す理論的結果について議論する。
  論文  参考訳（メタデータ） (2020-07-28T13:13:45Z)
• Structured Consistency Loss for semi-supervised semantic segmentation [1.4146420810689415]
  整合性喪失は、半教師付き学習の最近の研究において、問題解決において重要な役割を担っている。 本稿では,既存の研究の限界に対処する構造的整合損失を提案する。 我々は,セマンティックセグメンテーションにおける最先端の半教師あり学習の優位性を初めて提示する。
  論文  参考訳（メタデータ） (2020-01-14T07:08:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。