論文の概要: Silhouette Loss: Differentiable Global Structure Learning for Deep Representations
- arxiv url: http://arxiv.org/abs/2604.08573v1
- Date: Fri, 27 Mar 2026 12:11:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-19 19:09:11.445595
- Title: Silhouette Loss: Differentiable Global Structure Learning for Deep Representations
- Title(参考訳): Silhouette Loss: 深層表現のための微分可能なグローバル構造学習
- Authors: Matheus Vinícius Todescato, Joel Luís Carbonera,
- Abstract要約: 我々は、クラスタリング解析から古典的なシルエット係数に着想を得た、新しい微分可能な目標であるソフトシルエットロスを紹介する。
我々の定式化は、各サンプルをバッチ内の全クラスに対して評価し、バッチレベルのグローバル構造の概念を提供する。
クロスエントロピーとシームレスに結合することができ、教師付きコントラスト学習を補完する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning discriminative representations is a central goal of supervised deep learning. While cross-entropy (CE) remains the dominant objective for classification, it does not explicitly enforce desirable geometric properties in the embedding space, such as intra-class compactness and inter-class separation. Existing metric learning approaches, including supervised contrastive learning (SupCon) and proxy-based methods, address this limitation by operating on pairwise or proxy-based relationships, but often increase computational cost and complexity. In this work, we introduce Soft Silhouette Loss, a novel differentiable objective inspired by the classical silhouette coefficient from clustering analysis. Unlike pairwise objectives, our formulation evaluates each sample against all classes in the batch, providing a batch-level notion of global structure. The proposed loss directly encourages samples to be closer to their own class than to competing classes, while remaining lightweight. Soft Silhouette Loss can be seamlessly combined with cross-entropy, and is also complementary to supervised contrastive learning. We propose a hybrid objective that integrates them, jointly optimizing local pairwise consistency and global cluster structure. Extensive experiments on seven diverse datasets demonstrate that: (i) augmenting CE with Soft Silhouette Loss consistently improves over CE and other metric learning baselines; (ii) the hybrid formulation outperforms SupCon alone; and (iii) the combined method achieves the best performance, improving average top-1 accuracy from 36.71% (CE) and 37.85% (SupCon2) to 39.08%, while incurring substantially lower computational overhead. These results suggest that classical clustering principles can be reinterpreted as differentiable objectives for deep learning, enabling efficient optimization of both local and global structure in representation spaces.
- Abstract(参考訳): 差別表現の学習は、教師付きディープラーニングの中心的な目標である。
クロスエントロピー (CE) は依然として分類の主目的であるが、クラス内コンパクト性やクラス間分離のような埋め込み空間における望ましい幾何学的性質を明示的に強制するものではない。
教師付きコントラスト学習(SupCon)やプロキシベースの手法を含む既存のメトリクス学習アプローチは、ペアワイドあるいはプロキシベースの関係を操作することでこの制限に対処するが、計算コストと複雑性を増大させることが多い。
本研究では,クラスタリング解析から古典的シルエット係数にインスパイアされた,新たな微分可能な目標であるソフトシルエットロスを紹介する。
一対の目的と異なり、我々の定式化は各サンプルをバッチ内のすべてのクラスに対して評価し、バッチレベルのグローバル構造の概念を提供する。
提案された損失により、サンプルは競合するクラスよりも独自のクラスに近づき、軽量のままである。
ソフト・シルエット・ロスはクロスエントロピーとシームレスに結合することができ、教師付きコントラスト学習を補完する。
局所的なペアワイズ整合性と大域的クラスタ構造を協調的に最適化するハイブリッドな目的を提案する。
7つの多様なデータセットに関する大規模な実験は、次のように示している。
(i)ソフトシルエットロスによるCEの増強は、CEや他のメートル法学習ベースラインを一貫して改善する。
(二)ハイブリッドの定式化はSupCon単体より優れており、
三 この組み合わせにより、平均トップ1の精度を36.71%(CE)と37.85%(SupCon2)から39.08%に改善し、計算オーバーヘッドを大幅に低減した。
これらの結果は、古典的なクラスタリングの原理をディープラーニングの微分可能な目的として再解釈することができ、表現空間における局所的構造と大域的構造の両方を効率的に最適化することができることを示唆している。
関連論文リスト
- NDCG-Consistent Softmax Approximation with Accelerated Convergence [67.10365329542365]
本稿では,ランキングの指標と直接一致した新たな損失定式化を提案する。
提案したRG損失を高効率な Alternating Least Squares (ALS) 最適化手法と統合する。
実世界のデータセットに対する実証的な評価は、我々のアプローチが同等または上位のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2025-06-11T06:59:17Z) - LCFed: An Efficient Clustered Federated Learning Framework for Heterogeneous Data [21.341280782748278]
クラスタ型フェデレーションラーニング(CFL)は、フェデレーションラーニング(FL)におけるデータ不均一性に起因するパフォーマンス上の課題に対処する。
既存のCFLアプローチは、クラスタ内の知識共有を厳密に制限し、クラスタ内のトレーニングとグローバル知識の統合を欠いている。
これらの課題に対処するための効率的なCFLフレームワークであるLCFedを提案する。
論文 参考訳(メタデータ) (2025-01-03T14:59:48Z) - SimO Loss: Anchor-Free Contrastive Loss for Fine-Grained Supervised Contrastive Learning [0.0]
提案した類似性-直交性(SimO)損失を利用したアンカーフリーコントラスト学習(L)手法を提案する。
提案手法は,2つの主目的を同時に最適化するセミメトリック判別損失関数を最小化する。
埋め込み空間におけるSimO損失の影響を可視化する。
論文 参考訳(メタデータ) (2024-10-07T17:41:10Z) - Deep Clustering Using the Soft Silhouette Score: Towards Compact and
Well-Separated Clusters [0.0]
我々はシルエット係数の確率的定式化であるソフトシルエットを提案する。
本稿では,ソフトシルエット目的関数の最適化に適した,オートエンコーダに基づくディープラーニングアーキテクチャを提案する。
提案したディープクラスタリング手法は、様々なベンチマークデータセット上でよく研究されたディープクラスタリング手法と比較された。
論文 参考訳(メタデータ) (2024-02-01T14:02:06Z) - Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。
当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
論文 参考訳(メタデータ) (2024-01-10T04:55:24Z) - Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。
伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。
アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
論文 参考訳(メタデータ) (2023-01-26T18:58:07Z) - Deep Negative Correlation Classification [82.45045814842595]
既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。
深部負相関分類(DNCC)を提案する。
DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
論文 参考訳(メタデータ) (2022-12-14T07:35:20Z) - Overlapping oriented imbalanced ensemble learning method based on
projective clustering and stagewise hybrid sampling [22.32930261633615]
本稿では、二重クラスタリングとステージワイドハイブリッドサンプリング(DCSHS)に基づくアンサンブル学習アルゴリズムを提案する。
我々のアルゴリズムの大きな利点は、重なり合う多数サンプルのソフトな除去を実現するためにCSの交叉性を利用することができることである。
論文 参考訳(メタデータ) (2022-11-30T01:49:06Z) - Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。
SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文 参考訳(メタデータ) (2021-12-12T06:11:16Z) - Cluster Analysis with Deep Embeddings and Contrastive Learning [0.0]
本研究は,深層埋め込みから画像クラスタリングを行うための新しいフレームワークを提案する。
提案手法では,クラスタセンターの表現をエンドツーエンドで学習し,予測する。
我々のフレームワークは広く受け入れられているクラスタリング手法と同等に動作し、CIFAR-10データセット上で最先端のコントラスト学習手法より優れています。
論文 参考訳(メタデータ) (2021-09-26T22:18:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。