論文の概要: How does Labeling Error Impact Contrastive Learning? A Perspective from Data Dimensionality Reduction

• arxiv url: http://arxiv.org/abs/2507.11161v1
• Date: Tue, 15 Jul 2025 10:09:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-16 19:46:03.070555
• Title: How does Labeling Error Impact Contrastive Learning? A Perspective from Data Dimensionality Reduction
• Title（参考訳）: 誤りのラベル付けはコントラスト学習にどのように影響するか? データ次元削減の観点から
• Authors: Jun Chen, Hong Chen, Yonghua Yu, Yiming Ying,
• Abstract要約: 本稿では,ラベリング誤差がコントラスト学習の下流分類性能に及ぼす影響を理論的に検討する。 これらの影響を軽減するために、データ次元減少法(例:特異値分解)が元のデータに適用され、偽陽性サンプルを減らす。 また,SVDは二重刃の剣として機能し,増大グラフの接続性の低下による下流分類精度の低下につながる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 29.43826752911795
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, contrastive learning has achieved state-of-the-art performance in the territory of self-supervised representation learning. Many previous works have attempted to provide the theoretical understanding underlying the success of contrastive learning. Almost all of them rely on a default assumption, i.e., the label consistency assumption, which may not hold in practice (the probability of failure is called labeling error) due to the strength and randomness of common augmentation strategies, such as random resized crop (RRC). This paper investigates the theoretical impact of labeling error on the downstream classification performance of contrastive learning. We first reveal several significant negative impacts of labeling error on downstream classification risk. To mitigate these impacts, data dimensionality reduction method (e.g., singular value decomposition, SVD) is applied on original data to reduce false positive samples, and establish both theoretical and empirical evaluations. Moreover, it is also found that SVD acts as a double-edged sword, which may lead to the deterioration of downstream classification accuracy due to the reduced connectivity of the augmentation graph. Based on the above observations, we give the augmentation suggestion that we should use some moderate embedding dimension (such as $512, 1024$ in our experiments), data inflation, weak augmentation, and SVD to ensure large graph connectivity and small labeling error to improve model performance.
• Abstract（参考訳）: 近年,自己指導型表現学習の領域において,コントラスト学習は最先端のパフォーマンスを達成している。 それまでの多くの研究は、対照的な学習の成功の根底にある理論的理解を提供しようと試みてきた。 ほとんど全てはデフォルトの仮定、すなわち、ランダムな再サイズ作物(RRC)のような一般的な増強戦略の強さとランダム性のために、実際には成り立たない(失敗の確率はラベル付け誤差と呼ばれる)ラベル一貫性の仮定に依存している。 本稿では,ラベリング誤差がコントラスト学習の下流分類性能に及ぼす影響を理論的に検討する。 まず,下流分類リスクに対するラベル付け誤差の有意な負の影響を明らかにした。 これらの影響を緩和するために、データ次元減少法(例:特異値分解、SVD)を原データに適用し、偽陽性サンプルを減らし、理論的および実証的な評価を確立する。 また,SVDは二重刃の剣として機能し,増大グラフの接続性の低下による下流分類精度の低下につながる可能性が示唆された。 以上の結果から,データインフレーション,弱い拡張,SVDといった中程度の埋め込み次元(512ドル,1024ドルなど)を用いて,グラフ接続性の向上とモデル性能の向上を図ることを提案する。

関連論文リスト

• A Statistical Theory of Contrastive Learning via Approximate Sufficient Statistics [19.24473530318175]
  我々はデータ拡張に基づくコントラスト学習を解析するための新しい理論フレームワークを開発した。 我々は,SimCLRなどのコントラスト損失を最小化すれば,ほぼ十分エンコーダが得られることを示す。
  論文  参考訳（メタデータ） (2025-03-21T21:07:18Z)
• Dissecting Representation Misalignment in Contrastive Learning via Influence Function [15.28417468377201]
  コントラスト損失に対する拡張影響関数 (ECIF) を導入し, コントラスト損失に対する影響関数について検討した。 ECIFは正と負の両方のサンプルを考慮し、対照的な学習モデルの閉形式近似を提供する。 我々はECIFに基づいて,データ評価,誤修正検出,誤予測トレースバックタスクのための一連のアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-11-18T15:45:41Z)
• For Better or For Worse? Learning Minimum Variance Features With Label Augmentation [7.183341902583164]
  本研究では,データ拡張手法のラベル拡張の側面が果たす役割を解析する。 まず、ラベル拡張で訓練されたバイナリ分類データの線形モデルが、データ内の最小分散特性のみを学ぶことを証明した。 次に, 非線形モデルや一般データ分布においても, ラベルの平滑化や混合損失はモデル出力分散の関数によって低く抑えられることを示す。
  論文  参考訳（メタデータ） (2024-02-10T01:36:39Z)
• Understanding the Detrimental Class-level Effects of Data Augmentation [63.1733767714073]
  最適な平均精度を達成するには、ImageNetで最大20%の個々のクラスの精度を著しく損なうコストがかかる。 本稿では,DAがクラスレベルの学習力学とどのように相互作用するかを理解するためのフレームワークを提案する。 そこで本研究では, クラス条件拡張戦略により, 負の影響を受けるクラスの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-12-07T18:37:43Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Pseudo Contrastive Learning for Graph-based Semi-supervised Learning [67.37572762925836]
  Pseudo Labelingは、グラフニューラルネットワーク(GNN)の性能向上に使用されるテクニックである。 我々はPseudo Contrastive Learning(PCL)と呼ばれるGNNのための一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-19T10:34:08Z)
• Incorporating Semi-Supervised and Positive-Unlabeled Learning for Boosting Full Reference Image Quality Assessment [73.61888777504377]
  フル参照(FR)画像品質評価(IQA)は、その知覚的差異をプリズム品質基準で測定することにより、歪み画像の視覚的品質を評価する。 ラベルなしデータは、画像劣化または復元プロセスから容易に収集することができ、ラベルなしのトレーニングデータを利用してFR-IQA性能を高めることを奨励する。 本稿では, 半教師付き, 正の未ラベル学習(PU)を用いて, ラベルなしデータを活用し, オフレーヤの悪影響を軽減することを提案する。
  論文  参考訳（メタデータ） (2022-04-19T09:10:06Z)
• Scale-Equivalent Distillation for Semi-Supervised Object Detection [57.59525453301374]
  近年のSemi-Supervised Object Detection (SS-OD) 法は主に自己学習に基づいており、教師モデルにより、ラベルなしデータを監視信号としてハードな擬似ラベルを生成する。 実験結果から,これらの手法が直面する課題を分析した。 本稿では,大規模オブジェクトサイズの分散とクラス不均衡に頑健な簡易かつ効果的なエンド・ツー・エンド知識蒸留フレームワークであるSED(Scale-Equivalent Distillation)を提案する。
  論文  参考訳（メタデータ） (2022-03-23T07:33:37Z)
• Generalizable Information Theoretic Causal Representation [37.54158138447033]
  本稿では,観測データから因果表現を学習するために,仮説因果グラフに基づいて相互情報量で学習手順を規則化することを提案する。 この最適化は、因果性に着想を得た学習がサンプルの複雑さを減らし、一般化能力を向上させるという理論的保証を導出する反ファクト的損失を伴う。
  論文  参考訳（メタデータ） (2022-02-17T00:38:35Z)
• X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
  ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。 両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
  論文  参考訳（メタデータ） (2021-10-09T13:56:48Z)
• Sharp Learning Bounds for Contrastive Unsupervised Representation Learning [4.017760528208122]
  本研究は, 負のサンプルサイズにおいて, 厳密なインターセプトに縛られた下流の分類損失を確定する。 下流損失推定器としての対照的な損失について、我々の理論は既存の学習限界を大幅に改善する。 我々は、我々の理論が合成、視覚、言語データセットに関する実験と一致していることを検証する。
  論文  参考訳（メタデータ） (2021-10-06T04:29:39Z)
• Provable Guarantees for Self-Supervised Deep Learning with Spectral Contrastive Loss [72.62029620566925]
  自己教師型学習の最近の研究は、対照的な学習パラダイムを頼りに、最先端の技術の進歩を遂げている。 我々の研究は、正の対の条件的独立性を仮定することなく、対照的な学習を分析する。 本稿では,人口増分グラフ上でスペクトル分解を行う損失を提案し,コントラスト学習目的として簡潔に記述することができる。
  論文  参考訳（メタデータ） (2021-06-08T07:41:02Z)
• Class-incremental Learning with Rectified Feature-Graph Preservation [24.098892115785066]
  本論文の中心的なテーマは,逐次的な段階を経る新しいクラスを学習することである。 旧知識保存のための重み付きユークリッド正規化を提案する。 新しいクラスを効果的に学習するために、クラス分離を増やすためにバイナリクロスエントロピーでどのように機能するかを示す。
  論文  参考訳（メタデータ） (2020-12-15T07:26:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。