論文の概要: An Augmentation-Aware Theory for Self-Supervised Contrastive Learning

• arxiv url: http://arxiv.org/abs/2505.22196v1
• Date: Wed, 28 May 2025 10:18:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.547175
• Title: An Augmentation-Aware Theory for Self-Supervised Contrastive Learning
• Title（参考訳）: 自己監督型コントラスト学習のための拡張意識理論
• Authors: Jingyi Cui, Hongwei Wen, Yisen Wang,
• Abstract要約: 本稿では,自己教師付きコントラスト学習のための拡張型エラー境界を提案する。 教師付きリスクは、教師なしリスクだけでなく、データ拡張によって引き起こされるトレードオフによっても拘束されていることを示す。
• 参考スコア（独自算出の注目度）: 25.01234368914713
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised contrastive learning has emerged as a powerful tool in machine learning and computer vision to learn meaningful representations from unlabeled data. Meanwhile, its empirical success has encouraged many theoretical studies to reveal the learning mechanisms. However, in the existing theoretical research, the role of data augmentation is still under-exploited, especially the effects of specific augmentation types. To fill in the blank, we for the first time propose an augmentation-aware error bound for self-supervised contrastive learning, showing that the supervised risk is bounded not only by the unsupervised risk, but also explicitly by a trade-off induced by data augmentation. Then, under a novel semantic label assumption, we discuss how certain augmentation methods affect the error bound. Lastly, we conduct both pixel- and representation-level experiments to verify our proposed theoretical results.
• Abstract（参考訳）: 自己教師付きコントラスト学習は、ラベルのないデータから意味のある表現を学ぶための機械学習とコンピュータビジョンの強力なツールとして登場した。 一方、その実証的な成功は、多くの理論的研究が学習メカニズムを明らかにすることを奨励している。 しかし、既存の理論的研究では、データ拡張の役割はまだ未解明であり、特に特定の拡張タイプの影響は大きい。 この空白を埋めるために,我々は,教師なしのリスクだけでなく,データ強化によって引き起こされるトレードオフによって,教師付きリスクが拘束されていることを示す,自己教師付きコントラスト学習のための拡張対応エラーを初めて提案する。 そして,新しいセマンティックラベルの仮定の下で,特定の拡張手法がエラー境界にどのように影響するかを議論する。 最後に,提案した理論的結果を検証するため,画素レベルと表現レベルの両方の実験を行った。

関連論文リスト

• The Clever Hans Effect in Unsupervised Learning [24.107672144631326]
  Clever Hans効果が教師なし学習で広く利用されていることを示すのはこれが初めてである。 我々の研究は、教師なし学習の実践的応用に関連する未調査のリスクに光を当てている。
  論文  参考訳（メタデータ） (2024-08-15T09:19:42Z)
• Self-Distilled Disentangled Learning for Counterfactual Prediction [49.84163147971955]
  我々は、SD2$として知られる自己蒸留遠絡フレームワークを提案する。 情報理論を基礎として、複雑な相互情報推定器の設計を伴わずに、理論上独立に不整合表現を鳴らす。 人工と実世界の両方のデータセットを用いて実験を行い,本手法の有効性を確認した。
  論文  参考訳（メタデータ） (2024-06-09T16:58:19Z)
• Unveiling the Potential of Probabilistic Embeddings in Self-Supervised Learning [4.124934010794795]
  自己教師付き学習は、ラベルのないデータから意味のある表現をモデルが取得できるようにすることで、機械学習を前進させる上で重要な役割を担っている。 本稿では,情報ボトルネックに対する確率的モデリングの影響について検討し,情報圧縮と情報保存のトレードオフについて述べる。 以上の結果から,損失空間に新たなボトルネックを導入することにより,アウト・オブ・ディストリビューションの事例を検出する能力が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2023-10-27T12:01:16Z)
• Learning Causal Mechanisms through Orthogonal Neural Networks [2.77390041716769]
  歪みデータポイントから独立したメカニズムの集合の逆転を,教師なしの方法で学習する問題について検討する。 本研究では,ラベルのないデータから独立したメカニズムの集合を発見・解離する教師なしの手法を提案し,それらを逆転する方法を学習する。
  論文  参考訳（メタデータ） (2023-06-05T13:11:33Z)
• Understanding Self-Predictive Learning for Reinforcement Learning [61.62067048348786]
  強化学習のための自己予測学習の学習ダイナミクスについて検討する。 本稿では,2つの表現を同時に学習する新しい自己予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-06T20:43:37Z)
• Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
  物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。 教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。 本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
  論文  参考訳（メタデータ） (2022-09-20T16:36:28Z)
• Generalizable Information Theoretic Causal Representation [37.54158138447033]
  本稿では,観測データから因果表現を学習するために,仮説因果グラフに基づいて相互情報量で学習手順を規則化することを提案する。 この最適化は、因果性に着想を得た学習がサンプルの複雑さを減らし、一般化能力を向上させるという理論的保証を導出する反ファクト的損失を伴う。
  論文  参考訳（メタデータ） (2022-02-17T00:38:35Z)
• The Power of Contrast for Feature Learning: A Theoretical Analysis [42.20116348668721]
  対照的な学習は、標準的な自己エンコーダや生成的敵ネットワークよりも優れていることを示す。 また、教師付きコントラスト学習におけるラベル付きデータの影響についても説明する。
  論文  参考訳（メタデータ） (2021-10-06T03:10:28Z)
• Adversarial Examples for Unsupervised Machine Learning Models [71.81480647638529]
  回避予測を引き起こすアドリラルな例は、機械学習モデルの堅牢性を評価し改善するために広く利用されている。 教師なしモデルに対する逆例生成の枠組みを提案し,データ拡張への新たな応用を実証する。
  論文  参考訳（メタデータ） (2021-03-02T17:47:58Z)
• A Sober Look at the Unsupervised Learning of Disentangled Representations and their Evaluation [63.042651834453544]
  モデルとデータの両方に帰納的バイアスを伴わずに,非教師なしの非教師付き表現学習は不可能であることを示す。 異なる手法は、対応する損失によって「強化」された特性を効果的に強制するが、よく見分けられたモデルは監督なしでは特定できないように見える。 以上の結果から,遠絡学習における今後の研究は,帰納的バイアスと(単純に)監督の役割を明確化すべきであることが示唆された。
  論文  参考訳（メタデータ） (2020-10-27T10:17:15Z)
• Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
  本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。 我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。 本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-01T00:58:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。