論文の概要: Generalization Bounds for Robust Contrastive Learning: From Theory to Practice

• arxiv url: http://arxiv.org/abs/2311.09671v2
• Date: Mon, 27 Oct 2025 10:48:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 17:41:21.25164
• Title: Generalization Bounds for Robust Contrastive Learning: From Theory to Practice
• Title（参考訳）: ロバスト・コントラスト学習のための一般化境界:理論から実践へ
• Authors: Ngoc N. Tran, Lam Tran, Hoang Phan, Anh Bui, Tung Pham, Toan Tran, Dinh Phung, Trung Le,
• Abstract要約: 教師なし学習のどの要素が、教師なし学習の堅牢な損失を改善するのに役立つかを特定する理論を開発する。 対向的な対照的な損失に加えて、良性のあるものは、良性と対向的な例のグローバルなばらつきと共に、堅牢性も向上する。
• 参考スコア（独自算出の注目度）: 20.805320268190936
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Contrastive Learning first extracts features from unlabeled data, followed by linear probing with labeled data. Adversarial Contrastive Learning (ACL) integrates Adversarial Training into the first phase to enhance feature robustness against attacks in the probing phase. While ACL has shown strong empirical results, its theoretical understanding remains limited. Furthermore, while a fair amount of theoretical works analyze how the unsupervised loss can support the supervised loss in the probing phase, none has examined its role to the robust supervised loss. To fill this gap, our work develops rigorous theories to identify which components in the unsupervised training can help improve the robust supervised loss. Specifically, besides the adversarial contrastive loss, we reveal that the benign one, along with a global divergence between benign and adversarial examples can also improve robustness. Proper experiments are conducted to justify our findings.
• Abstract（参考訳）: 対照的学習はまずラベル付きデータから特徴を抽出し、次にラベル付きデータによる線形探索を行う。 Adversarial Contrastive Learning (ACL) は、Adversarial Trainingを第1フェーズに統合し、探索フェーズにおける攻撃に対する特徴的堅牢性を高める。 ACLは強い経験的結果を示したが、理論的な理解は依然として限られている。 さらに, 調査段階における教師なし損失が教師付き損失にどのように寄与するかを, かなりの量の理論的研究が分析しているが, 厳密な教師付き損失に対するその役割について検討はされていない。 このギャップを埋めるために、我々の研究は厳密な理論を開発し、教師なしトレーニングのどのコンポーネントが、教師なしの強い損失を改善するのに役立つかを特定する。 具体的には, 対向的対向的損失に加えて, 対向的対向的対向的損失に加えて, 良性と対向的対向的対向的な大域的偏差が強靭性を向上させることを明らかにする。 我々の発見を正当化するための適切な実験が実施されている。

関連論文リスト

• Test-Time Learning of Causal Structure from Interventional Data [50.06913286558919]
  共同因果推論を用いたテスト時間トレーニングを併用する新しい手法であるTICL(Test-Time Interventional Causal Learning)を提案する。 具体的には、テスト時にインスタンス固有のトレーニングデータを生成するための自己拡張戦略を設計し、分散シフトを効果的に回避する。 共同因果推論を統合することで,PCにインスパイアされた2相教師付き学習手法を開発し,理論的識別性を確保しつつ,自己拡張学習データを有効に活用した。
  論文  参考訳（メタデータ） (2026-02-22T11:23:05Z)
• A Unified and Stable Risk Minimization Framework for Weakly Supervised Learning with Theoretical Guarantees [33.15955234458642]
  完全かつ正確なラベルが取得にコストがかかる、あるいは不可能な場合には、完全に教師付き学習の代替として弱教師付き学習が実用化されている。 弱教師付きデータの構造に根ざした安定な代理リスクを定式化することにより、そのようなポストホック調整を回避できる、原則化された統一されたフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-28T00:57:04Z)
• Dual-Head Knowledge Distillation: Enhancing Logits Utilization with an Auxiliary Head [38.898038672237746]
  本稿では,広く使用されている確率レベル損失関数の補足として,ロジットレベル損失関数を導入する。 新たに導入されたロジットレベルの損失と,それ以前の確率レベルの損失の合計は,性能劣化につながる。 本稿では, 線形分類器を2つの分類ヘッドに分割し, 損失の異なる2つの分類ヘッドに分割する, 二重知識蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-11-13T12:33:04Z)
• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• What Makes CLIP More Robust to Long-Tailed Pre-Training Data? A Controlled Study for Transferable Insights [67.72413262980272]
  大規模なデータ不均衡は、Webスケールの視覚言語データセットの間に自然に存在する。 事前学習したCLIPは、教師付き学習と比較してデータ不均衡に顕著な堅牢性を示す。 CLIPの堅牢性と差別性は、より記述的な言語監督、より大きなデータスケール、より広いオープンワールドの概念によって改善される。
  論文  参考訳（メタデータ） (2024-05-31T17:57:24Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• Semi-Supervised End-To-End Contrastive Learning For Time Series Classification [10.635321868623883]
  時系列分類は、金融、医療、センサーデータ分析など、さまざまな分野において重要な課題である。 SLOTS(Semi-supervised Learning fOr Time clasSification)と呼ばれるエンドツーエンドモデルを提案する。
  論文  参考訳（メタデータ） (2023-10-13T04:22:21Z)
• Rethinking Weak Supervision in Helping Contrastive Learning [19.5649824524209]
  コントラスト学習における半教師付き情報と雑音ラベル付き情報との機械的差異について検討する。 具体的には、教師付きと教師なしのコントラスト的損失の協調訓練の最も直感的なパラダイムについて検討する。 半教師付きラベルが下流誤差境界を改善するのに対し、ノイズラベルはそのようなパラダイムの下では限定的な効果を持つことを示す。
  論文  参考訳（メタデータ） (2023-06-07T05:18:27Z)
• Robustness of Unsupervised Representation Learning without Labels [92.90480374344777]
  モデルとタスクに依存しない,ラベルのない,教師なしのロバストネス尺度のファミリーを提案する。 本研究は, 線形プローブによる検証を行い, MOCOv2の場合, 対向トレーニングの結果が3倍の精度で得られたことを示す。
  論文  参考訳（メタデータ） (2022-10-08T18:03:28Z)
• Semi-Supervised Learning with Mutual Distillation for Monocular Depth Estimation [27.782150368174413]
  それぞれの損失に対して異なる2つのネットワーク分岐を構築し, 相互蒸留損失関数を用いて相互蒸留を行う。 我々は,最新の手法によるフレームワークの有効性を実証する実験を行い,広範囲にわたるアブレーション研究を行った。
  論文  参考訳（メタデータ） (2022-03-18T04:28:58Z)
• Adversarial Dual-Student with Differentiable Spatial Warping for Semi-Supervised Semantic Segmentation [70.2166826794421]
  本研究では、教師なしデータ拡張を行うために、微分可能な幾何ワープを提案する。 また,平均教師数を改善するために,新しい対角的二重学習フレームワークを提案する。 我々のソリューションは、両方のデータセットで得られるパフォーマンスと最先端の結果を大幅に改善します。
  論文  参考訳（メタデータ） (2022-03-05T17:36:17Z)
• The Power of Contrast for Feature Learning: A Theoretical Analysis [42.20116348668721]
  対照的な学習は、標準的な自己エンコーダや生成的敵ネットワークよりも優れていることを示す。 また、教師付きコントラスト学習におけるラベル付きデータの影響についても説明する。
  論文  参考訳（メタデータ） (2021-10-06T03:10:28Z)
• Leveraged Weighted Loss for Partial Label Learning [64.85763991485652]
  部分ラベル学習は、各インスタンスに候補ラベルのセットが割り当てられるデータを扱うが、そのうちの1つだけが真実である。 部分ラベルからの学習に関する多くの方法論の研究にもかかわらず、リスク一貫した性質に関する理論的理解はいまだに欠けている。 本稿では,テキスト重み付き損失(LW)と呼ばれる損失関数のファミリーを提案する。これはまず,部分ラベル上の損失と非部分的な損失とのトレードオフを検討するために,レバレッジパラメータ$beta$を導入する。
  論文  参考訳（メタデータ） (2021-06-10T13:25:13Z)
• Learning and Certification under Instance-targeted Poisoning [49.55596073963654]
  インスタンスターゲット中毒攻撃におけるPAC学習性と認証について検討する。 敵の予算がサンプルの複雑さに比例してスケールすると、PACの学習性と認定が達成可能であることを示す。 実データセット上でのK近傍, ロジスティック回帰, 多層パーセプトロン, 畳み込みニューラルネットワークの堅牢性を実証的に検討する。
  論文  参考訳（メタデータ） (2021-05-18T17:48:15Z)
• Curse or Redemption? How Data Heterogeneity Affects the Robustness of Federated Learning [51.15273664903583]
  データの不均一性は、フェデレートラーニングにおける重要な特徴の1つとして認識されているが、しばしば敵対的攻撃に対する堅牢性のレンズで見過ごされる。 本稿では, 複合学習におけるバックドア攻撃の影響を, 総合的な実験を通じて評価し, 理解することを目的とした。
  論文  参考訳（メタデータ） (2021-02-01T06:06:21Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• A Commentary on the Unsupervised Learning of Disentangled Representations [63.042651834453544]
  不整合表現の教師なし学習の目標は、データの変化の独立した説明的要因を、監督にアクセスできることなく分離することである。 本稿では,非教師なしの非教師付き表現の学習が帰納的バイアスなしでは基本的に不可能であることを示す理論的結果について議論する。
  論文  参考訳（メタデータ） (2020-07-28T13:13:45Z)
• Structured Consistency Loss for semi-supervised semantic segmentation [1.4146420810689415]
  整合性喪失は、半教師付き学習の最近の研究において、問題解決において重要な役割を担っている。 本稿では,既存の研究の限界に対処する構造的整合損失を提案する。 我々は,セマンティックセグメンテーションにおける最先端の半教師あり学習の優位性を初めて提示する。
  論文  参考訳（メタデータ） (2020-01-14T07:08:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。