論文の概要: Revisiting Theory of Contrastive Learning for Domain Generalization

• arxiv url: http://arxiv.org/abs/2512.02831v1
• Date: Tue, 02 Dec 2025 14:39:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-03 21:04:45.929045
• Title: Revisiting Theory of Contrastive Learning for Domain Generalization
• Title（参考訳）: 領域一般化のためのコントラスト学習理論の再検討
• Authors: Ali Alvandi, Mina Rezaei,
• Abstract要約: ドメインシフトとドメイン一般化という2つのタイプのミスマッチを明示的に説明する新しい一般化境界を導入する。 本分析により, 比較学習された表現の性能が, 事前学習と下流分布の統計的相違にどのように依存するかが明らかとなった。
• 参考スコア（独自算出の注目度）: 2.6935872912818297
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Contrastive learning is among the most popular and powerful approaches for self-supervised representation learning, where the goal is to map semantically similar samples close together while separating dissimilar ones in the latent space. Existing theoretical methods assume that downstream task classes are drawn from the same latent class distribution used during the pretraining phase. However, in real-world settings, downstream tasks may not only exhibit distributional shifts within the same label space but also introduce new or broader label spaces, leading to domain generalization challenges. In this work, we introduce novel generalization bounds that explicitly account for both types of mismatch: domain shift and domain generalization. Specifically, we analyze scenarios where downstream tasks either (i) draw classes from the same latent class space but with shifted distributions, or (ii) involve new label spaces beyond those seen during pretraining. Our analysis reveals how the performance of contrastively learned representations depends on the statistical discrepancy between pretraining and downstream distributions. This extended perspective allows us to derive provable guarantees on the performance of learned representations on average classification tasks involving class distributions outside the pretraining latent class set.
• Abstract（参考訳）: コントラスト学習(Contrastive learning)は、自己教師付き表現学習において最も一般的で強力なアプローチのひとつであり、目的は、潜在空間における異種を分離しながら、セマンティックに類似したサンプルを密にマッピングすることである。 既存の理論的手法では、下流のタスククラスは事前学習フェーズで使用されるのと同じ潜在クラス分布から引き出されると仮定する。 しかし、現実の環境では、下流タスクは同じラベル空間内で分布シフトを示すだけでなく、新しいラベル空間やより広いラベル空間を導入し、ドメインの一般化に挑戦する。 本研究では、ドメインシフトとドメイン一般化という2つのタイプのミスマッチを明示的に説明する新しい一般化境界を導入する。 特に、下流のタスクのシナリオを分析します。 (i)同じ潜在クラス空間からクラスを引き出すが、シフトした分布を持つもの (II)事前訓練中に見られるものを超える新しいラベル空間を含む。 本分析により, 比較学習された表現の性能が, 事前学習と下流分布の統計的相違にどのように依存するかが明らかとなった。 この拡張された視点は、事前学習された潜在クラスセット外のクラス分布を含む平均的な分類タスクにおいて、学習された表現の性能に関する証明可能な保証を導出することを可能にする。

関連論文リスト

• Discriminative Subspace Emersion from learning feature relevances across different populations [35.35606520517552]
  そこで本研究では,DSE(Driminative Subspace Emersion)法を提案する。 DSEでは,クラス間の重複度が高い場合にも,分類課題を2つの集団で区別する上で,最も関連性の高い特徴を特定することができる。
  論文  参考訳（メタデータ） (2025-03-31T19:33:39Z)
• Guidance Not Obstruction: A Conjugate Consistent Enhanced Strategy for Domain Generalization [50.04665252665413]
  ドメイン内のクラス間での差別的一般化の獲得が不可欠である。 分布の整合性を求めるのとは対照的に、ドメイン関係の階級間差別を保護しようと努力する。 我々は,新たな分布レベルのUniversum戦略を用いて,追加的なドメイン関係のクラス条件分布を生成する。
  論文  参考訳（メタデータ） (2024-12-13T12:25:16Z)
• Class Distribution Shifts in Zero-Shot Learning: Learning Robust Representations [3.8980564330208662]
  本研究では,前もって変化の原因となる属性が不明であると仮定したモデルを提案し,解析する。 提案アルゴリズムは,実世界のデータセット上でのシミュレーションと実験の両方において,多様なクラス分布への一般化を改善する。
  論文  参考訳（メタデータ） (2023-11-30T14:14:31Z)
• Towards Distribution-Agnostic Generalized Category Discovery [51.52673017664908]
  データ不均衡とオープンエンドの分布は、現実の視覚世界の本質的な特性である。 我々は,BaCon(Self-Balanced Co-Advice contrastive framework)を提案する。 BaConは、対照的な学習ブランチと擬似ラベルブランチで構成され、DA-GCDタスクを解決するためのインタラクティブな監視を提供するために協力して動作する。
  論文  参考訳（メタデータ） (2023-10-02T17:39:58Z)
• Multi-Domain Long-Tailed Learning by Augmenting Disentangled Representations [80.76164484820818]
  多くの現実世界の分類問題には、避けられない長い尾のクラスバランスの問題がある。 本稿では,この多領域長鎖学習問題について検討し,すべてのクラスとドメインにまたがってよく一般化されたモデルを作成することを目的とする。 TALLYは、選択的均衡サンプリング戦略に基づいて、ある例のセマンティック表現と別の例のドメイン関連ニュアンスを混合することでこれを達成している。
  論文  参考訳（メタデータ） (2022-10-25T21:54:26Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• A Theory of Label Propagation for Subpopulation Shift [61.408438422417326]
  ラベル伝搬に基づくドメイン適応のための有効なフレームワークを提案する。 アルゴリズム全体でエンドツーエンドの有限サンプル保証を得る。 理論的なフレームワークを、第3のラベルなしデータセットに基づいたソースからターゲットへの転送のより一般的な設定に拡張します。
  論文  参考訳（メタデータ） (2021-02-22T17:27:47Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• From Anchor Generation to Distribution Alignment: Learning a Discriminative Embedding Space for Zero-Shot Recognition [46.47620562161315]
  ゼロショット学習(ZSL)では、分類されるサンプルは通常、属性などのサイド情報テンプレートに投影される。 我々は,DAGDA(Distriminative Anchor Generation and Distribution Alignment Model)と呼ばれる新しいフレームワークを提案する。 まず, 拡散型グラフ畳み込みネットワークを用いて, クラス情報と側情報の相互作用を明示的にモデル化し, 識別的アンカーを生成する手法を提案する。 第二に、アンカー空間におけるサンプルと対応するアンカーとをさらに整合させるため、細粒度に分布を洗練させることを目的として、意味的関係正則化を導入する。
  論文  参考訳（メタデータ） (2020-02-10T05:25:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。