論文の概要: Understanding Self-supervised Contrastive Learning through Supervised Objectives

• arxiv url: http://arxiv.org/abs/2510.10572v1
• Date: Sun, 12 Oct 2025 12:43:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:30.015163
• Title: Understanding Self-supervised Contrastive Learning through Supervised Objectives
• Title（参考訳）: 監視対象による自己指導型コントラスト学習の理解
• Authors: Byeongchan Lee,
• Abstract要約: 我々は,自己教師付き表現学習を,教師付き表現学習目標に対する近似として定式化する。 我々の導出は、自然にプロトタイプ表現バイアスとバランスの取れた対照的な損失の概念を導入します。 正対相互作用と負対相互作用のバランス効果を実証的に検証する。
• 参考スコア（独自算出の注目度）: 2.0305676256390934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised representation learning has achieved impressive empirical success, yet its theoretical understanding remains limited. In this work, we provide a theoretical perspective by formulating self-supervised representation learning as an approximation to supervised representation learning objectives. Based on this formulation, we derive a loss function closely related to popular contrastive losses such as InfoNCE, offering insight into their underlying principles. Our derivation naturally introduces the concepts of prototype representation bias and a balanced contrastive loss, which help explain and improve the behavior of self-supervised learning algorithms. We further show how components of our theoretical framework correspond to established practices in contrastive learning. Finally, we empirically validate the effect of balancing positive and negative pair interactions. All theoretical proofs are provided in the appendix, and our code is included in the supplementary material.
• Abstract（参考訳）: 自己指導型表現学習は印象的な経験的成功を達成しているが、理論的な理解は限られている。 本研究では,自己教師付き表現学習を,教師付き表現学習目標に対する近似として定式化し,理論的視点を提供する。 この定式化に基づいて、InfoNCEのような一般的な対照的な損失と密接に関連する損失関数を導出し、その基礎となる原理を考察する。 我々の導出は自然に、自己教師付き学習アルゴリズムの振る舞いを説明・改善するのに役立つ、プロトタイプ表現バイアスとバランスの取れたコントラスト損失の概念を導入している。 さらに、我々の理論的枠組みの構成要素が、対照的な学習における確立された実践とどのように対応するかを示す。 最後に、正対相互作用と負対相互作用のバランス効果を実証的に検証する。 すべての理論的証明は付録に記載されており、私たちのコードは補足資料に含まれています。

関連論文リスト

• A Theoretical Framework for Explaining Reinforcement Learning with Shapley Values [0.0]
  強化学習エージェントは複雑な意思決定タスクにおいて超人的パフォーマンスを達成することができるが、その振る舞いを理解することはしばしば困難である。 我々は、強化学習エージェントの総合的な視点を提供する3つの中核的説明対象を特定した。 本研究では,エージェントが環境下で観察する個々の特徴の影響を利用して,これらの強化学習エージェントの3つの要素を説明するための統一的理論的枠組みを開発する。
  論文  参考訳（メタデータ） (2025-05-12T17:48:28Z)
• Learning Visual-Semantic Subspace Representations [49.17165360280794]
  我々は,自己教師型学習に有効な情報理論の原理を基礎として,核ノルムに基づく損失関数を導入する。 この損失の理論的特徴として、クラス性の促進に加えて、部分空間格子内のデータのスペクトル幾何学を符号化していることを示す。
  論文  参考訳（メタデータ） (2024-05-25T12:51:38Z)
• Towards Understanding the Mechanism of Contrastive Learning via Similarity Structure: A Theoretical Analysis [10.29814984060018]
  Kernel Contrastive Learning (KCL) と呼ばれるカーネルベースのコントラスト学習フレームワークについて検討する。 本稿では,統計的依存関係の観点から学習表現の類似性構造を定式化する。 下流タスクの分類誤差の新しい上限を示し、これは我々の理論が比較学習の実証的成功と一致することを説明している。
  論文  参考訳（メタデータ） (2023-04-01T21:53:29Z)
• Conditional Supervised Contrastive Learning for Fair Text Classification [59.813422435604025]
  対照的な学習を通してテキスト分類のための等化オッズとして知られる公平性の概念を満たす学習公正表現について研究する。 具体的には、まず、公正性制約のある学習表現と条件付き教師付きコントラスト目的との間の関係を理論的に分析する。
  論文  参考訳（メタデータ） (2022-05-23T17:38:30Z)
• The Power of Contrast for Feature Learning: A Theoretical Analysis [42.20116348668721]
  対照的な学習は、標準的な自己エンコーダや生成的敵ネットワークよりも優れていることを示す。 また、教師付きコントラスト学習におけるラベル付きデータの影響についても説明する。
  論文  参考訳（メタデータ） (2021-10-06T03:10:28Z)
• Which Mutual-Information Representation Learning Objectives are Sufficient for Control? [80.2534918595143]
  相互情報は、データの表現を学習するために魅力的な形式を提供する。 本稿では,最適政策の学習と表現のための状態表現の十分性について定式化する。 意外なことに、これらの2つの目的は、MDPの構造に関する軽度で一般的な仮定を前提に、不十分な表現をもたらす可能性がある。
  論文  参考訳（メタデータ） (2021-06-14T10:12:34Z)
• Counterfactual Representation Learning with Balancing Weights [74.67296491574318]
  観察データによる因果推論の鍵は、それぞれの治療タイプに関連する予測的特徴のバランスを達成することである。 近年の文献では、この目標を達成するために表現学習を探求している。 因果効果を柔軟かつスケーラブルかつ正確に推定するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-10-23T19:06:03Z)
• Self-supervised Learning from a Multi-view Perspective [121.63655399591681]
  自己教師型表現はタスク関連情報を抽出し,タスク関連情報を破棄することができることを示す。 我々の理論的枠組みは、自己教師型学習目標設計のより広い空間への道を開くものである。
  論文  参考訳（メタデータ） (2020-06-10T00:21:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。