論文の概要: OSCS-SupCon: Orthogonal Sigmoid-based Common and Style Supervised Contrastive Learning for Robust Feature Disentanglement
- arxiv url: http://arxiv.org/abs/2606.11233v1
- Date: Fri, 29 May 2026 06:37:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 07:09:36.85502
- Title: OSCS-SupCon: Orthogonal Sigmoid-based Common and Style Supervised Contrastive Learning for Robust Feature Disentanglement
- Title(参考訳): OSCS-SupCon: 直交シグモイドをベースとしたロバスト特徴分散のためのコントラスト学習
- Abstract要約: Supervised Contrastive Learning (SupCon)は、サンプル間のペア関係を明示的にモデル化することで、強力なパフォーマンスを実現している。
既存のSupConベースのメソッドには、標準InfoNCE損失によって引き起こされる負サンプル希釈と、特徴空間の絡み合いという2つの重要な制限がある。
我々はこれらの問題に対処するためにOSCS-SupCon(直交シグモイドに基づく共通およびスタイル監視コントラスト学習)を提案する。
- 参考スコア(独自算出の注目度): 13.983602516442454
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Supervised Contrastive Learning (SupCon) has achieved strong performance by explicitly modeling pairwise relationships among samples. However, existing SupCon-based methods suffer from two key limitations: negative-sample dilution induced by the standard InfoNCE loss, and feature-space entanglement caused by the lack of explicit constraints separating category-relevant (common) and category-irrelevant (style) features. These limitations reduce feature discriminability and generalization ability. To address these issues, we propose OSCS-SupCon (Orthogonal Sigmoid-based Common and Style Supervised Contrastive Learning), a unified framework that combines a sigmoid-based pairwise contrastive objective with explicit orthogonality constraints. Specifically, we introduce a sigmoid-based contrastive loss with two learnable parameters, temperature and bias, which adaptively modulate pairwise decision boundaries and alleviate negative-sample dilution. Furthermore, we enforce orthogonality between common and style feature subspaces via a linear projection with ReLU nonlinearity, thereby reducing feature overlap and improving disentanglement of style-irrelevant representations. Extensive experiments on six benchmark datasets demonstrate that OSCS-SupCon consistently outperforms state-of-the-art supervised contrastive learning methods across multiple backbone architectures. In particular, on the fine-grained CUB200-2011 dataset with a ResNet-18 backbone, the proposed method achieves a 3.4% improvement in classification accuracy over CS-SupCon, highlighting its robustness and generalization capability. Ablation studies further confirm the effectiveness of each component.
- Abstract(参考訳): Supervised Contrastive Learning (SupCon)は、サンプル間のペア関係を明示的にモデル化することで、強力なパフォーマンスを実現している。
しかし、既存のSupConベースの手法では、標準InfoNCE損失によって引き起こされる負サンプルの希釈と、カテゴリ関連(一般的)とカテゴリ関連(スタイル)の特徴を分離する明示的な制約の欠如に起因する特徴空間の絡み合いという2つの重要な制限が課されている。
これらの制限により、特徴識別性と一般化能力は低下する。
これらの問題に対処するため,我々は,シグモノイドに基づく対対比較目的と明示的な直交制約を併用した統合フレームワークであるOSCS-SupCon(Orthogonal Sigmoid-based Common and Style Supervised Contrastive Learning)を提案する。
具体的には、温度とバイアスの2つの学習可能なパラメータを持つシグモイドに基づくコントラスト損失を導入し、ペアの判定境界を適応的に調整し、負サンプルの希釈を緩和する。
さらに、ReLU非線形性を持つ線形射影により、共通特徴部分空間とスタイル特徴部分空間の直交性を強制し、特徴重なりを低減し、スタイル非関連表現の非絡み合いを改善する。
6つのベンチマークデータセットに対する大規模な実験は、OSCS-SupConが複数のバックボーンアーキテクチャをまたいだ最先端の教師付きコントラスト学習手法を一貫して上回っていることを示している。
特に、ResNet-18バックボーンを持つ細粒度CUB200-2011データセットでは、CS-SupConよりも分類精度が3.4%向上し、その堅牢性と一般化能力を強調している。
アブレーション研究は各成分の有効性をさらに確認する。
関連論文リスト
- Hierarchical Consistency Learning for Test-time Adaptation in Camouflage Perception [50.278200968044665]
カモフラージュされた物体検出(COD)は、物理的属性を通して背景から最小限の知覚差を示すターゲットをローカライズすることを目的としている。
既存のメソッドは、静的なTrain-then-freezeパラダイムによって制約されており、ドメインの剛性と依存性のアノテーションに悩まされている。
動的表現再構成のためのテスト時間適応を統合した階層的一貫性学習フレームワークを提案する。
論文 参考訳(メタデータ) (2026-05-25T09:57:46Z) - Hyperbolic Enhanced Representation Learning for Incomplete Multi-view Clustering [57.38215918201251]
本稿では,不完全なマルチビュークラスタリングのためのハイパーボリック拡張表現学習フレームワークであるHERLを提案する。
ポアンカレボール内で操作すると、HERLは表現学習を強化するために構造を意識した潜在空間を構築する。
HERLは最先端のアプローチよりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2026-04-18T10:50:46Z) - Toward Stable Semi-Supervised Remote Sensing Segmentation via Co-Guidance and Co-Fusion [31.189038928192648]
Co2Sは半教師付きRSセグメンテーションフレームワークで、ビジョン言語モデルと自己教師型モデルとを融合する。
テキスト埋め込みと学習可能なクエリを利用した,明示的でシンプルなセマンティックコガイダンス機構が導入された。
6つの一般的なデータセットに対する実験は,提案手法の優位性を実証している。
論文 参考訳(メタデータ) (2025-12-28T18:24:19Z) - SCS-SupCon: Sigmoid-based Common and Style Supervised Contrastive Learning with Adaptive Decision Boundaries [13.983602516442454]
Sigmoid-based Common and Style Supervised Contrastive Learning (SCS-SupCon)を提案する。
本フレームワークでは,学習可能な温度とバイアスパラメータを併用したシグモイドによる対向的損失を導入し,適応的な決定境界を実現する。
SCS-SupConはCNNとTransformerのバックボーンで最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2025-12-17T15:55:47Z) - Adapting Multimodal Foundation Models for Few-Shot Learning: A Comprehensive Study on Contrastive Captioners [1.2461503242570642]
本稿では,コントラシティブ・キャピタ(CoCa)視覚バックボーンを用いた画像分類手法を提案する。
強いデータ拡張は、低ショット環境での線形探索の性能を低下させるが、LoRA微調整の安定化には不可欠である。
また,Supervised Contrastive (SupCon) の損失を組み込んだハイブリッド目的が,標準的なクロスエントロピーよりも一貫した性能向上をもたらすことを示す。
論文 参考訳(メタデータ) (2025-12-14T20:13:21Z) - Enhancing CLIP Robustness via Cross-Modality Alignment [54.01929554563447]
視覚言語モデルのための最適なトランスポートベースフレームワークであるクロスモダリティアライメントを提案する。
COLAは、グローバルな画像テキストアライメントと特徴空間における局所的な構造的一貫性を復元する。
COLAはトレーニングフリーで、既存の微調整モデルと互換性がある。
論文 参考訳(メタデータ) (2025-10-28T03:47:44Z) - Identifiable Convex-Concave Regression via Sub-gradient Regularised Least Squares [1.9580473532948397]
複雑な入力関係を凸成分と凹成分の和としてモデル化する新しい非パラメトリック回帰法を提案する。
The method-ICCNLS-decomposes sub-constrained shape-constrained additive decomposition。
論文 参考訳(メタデータ) (2025-06-22T15:53:12Z) - Probabilistic Variational Contrastive Learning [8.23660331371415]
我々は,エビデンスローバウンド(ELBO)を最大化するデコーダフリーフレームワークを提案する。
約$q_theta(z|x)$を投影正規分布としてモデル化し、確率的埋め込みのサンプリングを可能にする。
論文 参考訳(メタデータ) (2025-06-11T20:26:07Z) - Interpretable Few-Shot Image Classification via Prototypical Concept-Guided Mixture of LoRA Experts [79.18608192761512]
自己説明可能なモデル(SEM)は、視覚認識プロセスをより解釈可能なものにするために、プロトタイプ概念学習(PCL)に依存している。
パラメトリック不均衡と表現の不整合という2つの重要な課題を緩和するFew-Shotプロトタイプ概念分類フレームワークを提案する。
我々のアプローチは、既存のSEMを顕著な差で常に上回っており、5-way 5-shot分類では4.2%-8.7%の相対的な利得がある。
論文 参考訳(メタデータ) (2025-06-05T06:39:43Z) - Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳(メタデータ) (2024-01-17T09:01:29Z) - Unleashing the Power of Contrastive Self-Supervised Visual Models via
Contrast-Regularized Fine-Tuning [94.35586521144117]
コントラスト学習を微調整に適用することでさらにメリットが得られるか検討する。
本研究では,コントラスト正規化調律(core-tuning)を提案する。
論文 参考訳(メタデータ) (2021-02-12T16:31:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。