論文の概要: Internal Discrepancy for Contrastive Learning: Generalization Bounds and Downstream Behaviors

• arxiv url: http://arxiv.org/abs/2610.32729v1
• Date: Fri, 23 Oct 2026 14:48:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.551019
• Title: Internal Discrepancy for Contrastive Learning: Generalization Bounds and Downstream Behaviors
• Title（参考訳）: コントラスト学習における内部差:一般化境界と下流行動
• Abstract要約: 本稿では,正試料の平均表現と潜在クラスター中心との差を定量化する内部差の測定手法を提案する。 次に、コントラスト学習後の下流教師付きタスクに対して、内部差分認識の一般化を実証する。 授業の不均衡の存在下では、コントラスト学習が不均衡学習を促進する理由を明かした。
• 参考スコア（独自算出の注目度）: 69.87352788209601
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive learning has emerged as a popular paradigm for training representation models. While prior studies pursue more practical and less restrictive assumptions to enhance theoretical understanding of contrastive learning, they essentially describe the interconnections among representations within the data or induced by the function class. To encapsulate these assumptions, we propose the measure of internal discrepancy that quantifies the difference between the mean representation of positive samples and latent cluster centers. We then prove an internal discrepancy-aware generalization bound for downstream supervised tasks following contrastive learning, without requiring additional assumptions. This generalization bound not only serves as a unifying framework connecting various assumptions but also motivates us to further reduce the internal discrepancy, thereby introducing the relaxed k-means loss as an approximation. Moreover, we investigate the downstream behaviors of contrastive learning from the perspective of contrastive learning-incurred supervised losses. In the presence of class imbalance, we shed light on why contrastive learning can facilitate imbalanced learning. Finally, we investigate the optimality of these incurred supervised losses, proving several intriguing properties.
• Abstract（参考訳）: コントラスト学習は、表現モデルを訓練するための一般的なパラダイムとして現れてきた。 先行研究は、対照的な学習の理論的理解を高めるために、より実践的で制約の少ない仮定を追求するが、それらは本質的に、データ内の表現間の相互関係や関数クラスによって引き起こされる関係を記述している。 これらの仮定をカプセル化するために,正試料の平均表現と潜在クラスター中心との差を定量化する内部差の測定法を提案する。 そこで, 逆学習に追従した下流教師ありタスクに対して, 追加の仮定を必要とせず, 内部不一致を意識した一般化を証明した。 この一般化は、様々な仮定を接続する統一フレームワークとして機能するだけでなく、内部の矛盾をさらに減らし、緩和されたk-平均損失を近似として導入する動機にもなります。 さらに、コントラスト学習の下流行動について、コントラスト学習による教師付き損失の観点から検討した。 授業の不均衡の存在下では、コントラスト学習が不均衡学習を促進する理由を明かした。 最後に,これらの損益の最適性について検討し,いくつかの興味深い特性を証明した。

関連論文リスト

• Understanding Self-supervised Contrastive Learning through Supervised Objectives [2.0305676256390934]
  我々は,自己教師付き表現学習を,教師付き表現学習目標に対する近似として定式化する。 我々の導出は、自然にプロトタイプ表現バイアスとバランスの取れた対照的な損失の概念を導入します。 正対相互作用と負対相互作用のバランス効果を実証的に検証する。
  論文  参考訳（メタデータ） (2025-10-12T12:43:03Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• Time-Series Contrastive Learning against False Negatives and Class Imbalance [17.43801009251228]
  我々は理論分析を行い、それらが基本的な問題、つまりInfoNCEの損失に基づくフレームワークに固有の偽陰性とクラス不均衡を見落としていることを発見した。 インスタンス識別タスクに携わるモデルに対して,SimCLRフレームワークに根ざした直感的な修正を導入する。 半教師付き一貫性分類を行い、マイノリティクラスの代表的能力を高める。
  論文  参考訳（メタデータ） (2023-12-19T08:38:03Z)
• Integrating Prior Knowledge in Contrastive Learning with Kernel [4.050766659420731]
  我々は、カーネル理論を用いて、(i)事前知識の統合を可能にし、(i)元のInfoNCE損失における負の正の結合を取り除くという、分離均一性(decoupled uniformity)と呼ばれる新しい損失を提案する。 教師なしの環境では、CLは自然画像と医用画像の両方で表現を改善するために生成モデルから恩恵を受けることを実証的に実証する。
  論文  参考訳（メタデータ） (2022-06-03T15:43:08Z)
• Understanding Contrastive Learning Requires Incorporating Inductive Biases [64.56006519908213]
  下流タスクにおけるコントラスト学習の成功を理論的に説明しようとする最近の試みは、エム強化の特性とエムコントラスト学習の損失の値によって保証が証明されている。 このような分析は,関数クラスやトレーニングアルゴリズムの帰納的バイアスを無視し,いくつかの設定において不確実な保証につながることを実証する。
  論文  参考訳（メタデータ） (2022-02-28T18:59:20Z)
• A Low Rank Promoting Prior for Unsupervised Contrastive Learning [108.91406719395417]
  提案手法は,従来の低階の促進をコントラスト学習の枠組みに効果的に組み込む新しい確率的グラフィカルモデルを構築する。 我々の仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さな次元の同じ部分空間上にあることを明示的に要求する。 実証的な証拠は、提案アルゴリズムが複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。
  論文  参考訳（メタデータ） (2021-08-05T15:58:25Z)
• Investigating the Role of Negatives in Contrastive Representation Learning [59.30700308648194]
  ノイズコントラスト学習は教師なし表現学習の一般的な手法である。 我々は、これらのパラメータの1つの役割の曖昧さ、すなわち負の例の数に焦点をあてる。 結果が我々の理論と広く一致しているのに対して、我々の視覚実験はより悪質であり、性能は時々負の数に敏感である。
  論文  参考訳（メタデータ） (2021-06-18T06:44:16Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。