論文の概要: Understanding Difficult-to-learn Examples in Contrastive Learning: A Theoretical Framework for Spectral Contrastive Learning
- arxiv url: http://arxiv.org/abs/2501.01317v1
- Date: Thu, 02 Jan 2025 16:17:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-05 17:16:07.732195
- Title: Understanding Difficult-to-learn Examples in Contrastive Learning: A Theoretical Framework for Spectral Contrastive Learning
- Title（参考訳）: コントラスト学習における難易度と学習例の理解:スペクトルコントラスト学習のための理論的枠組み
- Authors: Yi-Ge Zhang, Jingyi Cui, Qiran Li, Yisen Wang,
- Abstract要約: 教師なしのコントラスト学習は近年、様々なタスクにおいて教師付き学習に近づいたり、競合したりするなど、大幅なパフォーマンス向上を見せている。
従来の研究では、教師なし学習に欠かせない学習例は、教師なしの環境において最小限に寄与することが示されている。
本稿では,サンプルサイズを小さくするが,難解なサンプルの直接除去により,コントラスト学習の下流分類性能が向上することを見出した。
- 参考スコア（独自算出の注目度）: 20.53618673620584
- License:
- Abstract: Unsupervised contrastive learning has shown significant performance improvements in recent years, often approaching or even rivaling supervised learning in various tasks. However, its learning mechanism is fundamentally different from that of supervised learning. Previous works have shown that difficult-to-learn examples (well-recognized in supervised learning as examples around the decision boundary), which are essential in supervised learning, contribute minimally in unsupervised settings. In this paper, perhaps surprisingly, we find that the direct removal of difficult-to-learn examples, although reduces the sample size, can boost the downstream classification performance of contrastive learning. To uncover the reasons behind this, we develop a theoretical framework modeling the similarity between different pairs of samples. Guided by this theoretical framework, we conduct a thorough theoretical analysis revealing that the presence of difficult-to-learn examples negatively affects the generalization of contrastive learning. Furthermore, we demonstrate that the removal of these examples, and techniques such as margin tuning and temperature scaling can enhance its generalization bounds, thereby improving performance. Empirically, we propose a simple and efficient mechanism for selecting difficult-to-learn examples and validate the effectiveness of the aforementioned methods, which substantiates the reliability of our proposed theoretical framework.
- Abstract（参考訳）: 教師なしのコントラスト学習は近年、様々なタスクにおいて教師付き学習に近づいたり、競合したりするなど、大幅なパフォーマンス向上を見せている。
しかし、その学習メカニズムは、教師付き学習とは根本的に異なる。
これまでの研究では、教師なし学習に不可欠な学習例(教師なし学習では意思決定境界の例としてよく認識されている)が教師なしの環境において最小限に寄与することが示されている。
本稿では, サンプルサイズを小さくするが, 難解なサンプルの直接除去により, 比較学習の下流分類性能が向上することを見出した。
この原因を明らかにするために,異なるサンプル対の類似性をモデル化する理論的枠組みを開発する。
この理論的枠組みにより、難解な例の存在が対照的な学習の一般化に悪影響を及ぼすことを示す、徹底的な理論的分析を行う。
さらに,これらの例の除去と,マージンチューニングや温度スケーリングといった手法により,一般化限界が向上し,性能が向上することが実証された。
提案手法の有効性を実証的に検証し,本手法の有効性を検証し,提案手法の有効性を検証した。
関連論文リスト
- A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment
for Imbalanced Learning [129.63326990812234]
そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。
この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
論文 参考訳（メタデータ） (2023-10-07T09:15:08Z) - Theoretical Foundations of Adversarially Robust Learning [7.589246500826111]
現在の機械学習システムは、敵の例に対して脆弱であることが示されている。
この論文では、敵の例に対して、ロバストネス特性がどのような保証を期待できるかを論じる。
論文 参考訳（メタデータ） (2023-06-13T12:20:55Z) - Rethinking Weak Supervision in Helping Contrastive Learning [19.5649824524209]
コントラスト学習における半教師付き情報と雑音ラベル付き情報との機械的差異について検討する。
具体的には、教師付きと教師なしのコントラスト的損失の協調訓練の最も直感的なパラダイムについて検討する。
半教師付きラベルが下流誤差境界を改善するのに対し、ノイズラベルはそのようなパラダイムの下では限定的な効果を持つことを示す。
論文 参考訳（メタデータ） (2023-06-07T05:18:27Z) - A Theoretical Study of Inductive Biases in Contrastive Learning [32.98250585760665]
モデルクラスから派生した帰納的バイアスの効果を取り入れた,自己指導型学習に関する最初の理論的分析を行った。
モデルが限られたキャパシティを持つ場合、コントラスト表現はモデルアーキテクチャと互換性のある特定のクラスタリング構造を復元することを示す。
論文 参考訳（メタデータ） (2022-11-27T01:53:29Z) - The Power of Contrast for Feature Learning: A Theoretical Analysis [42.20116348668721]
対照的な学習は、標準的な自己エンコーダや生成的敵ネットワークよりも優れていることを示す。
また、教師付きコントラスト学習におけるラベル付きデータの影響についても説明する。
論文 参考訳（メタデータ） (2021-10-06T03:10:28Z) - Exploring Adversarial Examples for Efficient Active Learning in Machine
Learning Classifiers [17.90617023533039]
まず、敵攻撃法を用いて、元の訓練例に特定の摂動を加える。
次に、アクティブラーニングとこれらの特定のトレーニング例との関係について検討する。
その結果, 理論基盤の確立は, 敵の事例に基づいて, より良いアクティブな学習戦略を導いてくれることが示唆された。
論文 参考訳（メタデータ） (2021-09-22T14:51:26Z) - Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。
対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。
提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
論文 参考訳（メタデータ） (2021-06-07T15:29:14Z) - Adversarial Examples for Unsupervised Machine Learning Models [71.81480647638529]
回避予測を引き起こすアドリラルな例は、機械学習モデルの堅牢性を評価し改善するために広く利用されている。
教師なしモデルに対する逆例生成の枠組みを提案し,データ拡張への新たな応用を実証する。
論文 参考訳（メタデータ） (2021-03-02T17:47:58Z) - Nonparametric Estimation of Heterogeneous Treatment Effects: From Theory
to Learning Algorithms [91.3755431537592]
プラグイン推定と擬似出力回帰に依存する4つの幅広いメタ学習戦略を解析する。
この理論的推論を用いて、アルゴリズム設計の原則を導出し、分析を実践に翻訳する方法について強調する。
論文 参考訳（メタデータ） (2021-01-26T17:11:40Z) - Learning explanations that are hard to vary [75.30552491694066]
例を越えた平均化は、異なる戦略を縫合する記憶とパッチワークのソリューションに有利であることを示す。
そこで我々は論理ANDに基づく単純な代替アルゴリズムを提案し,実験的に検証する。
論文 参考訳（メタデータ） (2020-09-01T10:17:48Z) - Learning the Truth From Only One Side of the Story [58.65439277460011]
一般化線形モデルに焦点をあて、このサンプリングバイアスを調整しなければ、モデルは準最適に収束するか、あるいは最適解に収束しないかもしれないことを示す。
理論的保証を伴って適応的なアプローチを提案し、いくつかの既存手法を実証的に上回っていることを示す。
論文 参考訳（メタデータ） (2020-06-08T18:20:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。