論文の概要: Semi-Supervised Contrastive Learning with Orthonormal Prototypes

• arxiv url: http://arxiv.org/abs/2512.07880v1
• Date: Thu, 27 Nov 2025 13:26:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-15 04:16:52.542159
• Title: Semi-Supervised Contrastive Learning with Orthonormal Prototypes
• Title（参考訳）: オルソノーマルなプロトタイプを用いた半教師付きコントラスト学習
• Authors: Huanran Li, Manh Nguyen, Daniel Pimentel-Alarcón,
• Abstract要約: 埋め込みが低次元空間に収束する次元崩壊は、大きな挑戦となる。 クラス埋め込みにおける線形部分空間の形成を促進することにより,次元崩壊を防止することを目的とした,新しい半教師付き損失関数CLOPを提案する。 CLOPは画像分類やオブジェクト検出タスクの性能を向上させるとともに,学習速度やバッチサイズにまたがる安定性も向上することを示す。
• 参考スコア（独自算出の注目度）: 1.478364697333309
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning has emerged as a powerful method in deep learning, excelling at learning effective representations through contrasting samples from different distributions. However, dimensional collapse, where embeddings converge into a lower-dimensional space, poses a significant challenge, especially in semi-supervised and self-supervised setups. In this paper, we first identify a critical learning-rate threshold, beyond which standard contrastive losses converge to collapsed solutions. Building on these insights, we propose CLOP, a novel semi-supervised loss function designed to prevent dimensional collapse by promoting the formation of orthogonal linear subspaces among class embeddings. Through extensive experiments on real and synthetic datasets, we demonstrate that CLOP improves performance in image classification and object detection tasks while also exhibiting greater stability across different learning rates and batch sizes.
• Abstract（参考訳）: コントラスト学習はディープラーニングにおいて強力な手法として出現し、異なる分布からのサンプルを対比することで効果的な表現を学習するのに長けている。 しかし、埋め込みが低次元空間に収束する次元の崩壊は、特に半教師付きおよび自己教師付きセットアップにおいて重要な挑戦を引き起こす。 本稿では、まず、標準のコントラスト損失が崩壊した解に収束する臨界学習率閾値を同定する。 これらの知見に基づいて,クラス埋め込み間の直交線型部分空間の形成を促進することにより,次元崩壊を防止することを目的とした,新しい半教師付き損失関数CLOPを提案する。 実際のデータセットと合成データセットに関する広範な実験を通じて、CLOPは画像分類やオブジェクト検出タスクのパフォーマンスを向上させるとともに、学習速度やバッチサイズにまたがる安定性も向上することを示した。

関連論文リスト

• SimO Loss: Anchor-Free Contrastive Loss for Fine-Grained Supervised Contrastive Learning [0.0]
  提案した類似性-直交性(SimO)損失を利用したアンカーフリーコントラスト学習(L)手法を提案する。 提案手法は,2つの主目的を同時に最適化するセミメトリック判別損失関数を最小化する。 埋め込み空間におけるSimO損失の影響を可視化する。
  論文  参考訳（メタデータ） (2024-10-07T17:41:10Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Anti-Collapse Loss for Deep Metric Learning Based on Coding Rate Metric [99.19559537966538]
  DMLは、分類、クラスタリング、検索といった下流タスクのための識別可能な高次元埋め込み空間を学習することを目的としている。 埋め込み空間の構造を維持し,特徴の崩壊を避けるために,反崩壊損失と呼ばれる新しい損失関数を提案する。 ベンチマークデータセットの総合実験により,提案手法が既存の最先端手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-03T13:44:20Z)
• Bayesian Learning-driven Prototypical Contrastive Loss for Class-Incremental Learning [42.14439854721613]
  本稿では,先行クラスと新たに登場したクラスプロトタイプ間の効果的な表現を学習する手法を提案する。 クラス間距離を減少させ,クラス間距離を増大させることにより,新しいクラスを潜在表現に組み込むコントラスト的損失を導入する。
  論文  参考訳（メタデータ） (2024-05-17T19:49:02Z)
• Preventing Collapse in Contrastive Learning with Orthonormal Prototypes (CLOP) [0.0]
  CLOPは、クラス埋め込み間の線形部分空間の形成を促進することにより、神経崩壊を防止するために設計された、新しい半教師付き損失関数である。 CLOPは性能を向上し,学習速度やバッチサイズにまたがる安定性が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-27T15:48:16Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• Rethinking Prototypical Contrastive Learning through Alignment, Uniformity and Correlation [24.794022951873156]
  我々は、アライメント、均一性、相関(PAUC)を通して、プロトタイプ表現を学ぶことを提案する。 具体的には,(1)正の原型から埋め込みを抽出するアライメント損失,(2)原型レベルの特徴を均一に分配するアライメント損失,(3)原型レベルの特徴間の多様性と識別性を増大させる相関損失を補正する。
  論文  参考訳（メタデータ） (2022-10-18T22:33:12Z)
• Dual Contrastive Learning for General Face Forgery Detection [64.41970626226221]
  本稿では,正と負のペアデータを構成するDCL (Dual Contrastive Learning) という新しい顔偽造検出フレームワークを提案する。 本研究は, 事例内コントラスト学習(Intra-ICL)において, 偽造顔における局所的内容の不整合に焦点をあてる。
  論文  参考訳（メタデータ） (2021-12-27T05:44:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。