論文の概要: SimO Loss: Anchor-Free Contrastive Loss for Fine-Grained Supervised Contrastive Learning

• arxiv url: http://arxiv.org/abs/2410.05233v1
• Date: Mon, 7 Oct 2024 17:41:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 20:07:08.323658
• Title: SimO Loss: Anchor-Free Contrastive Loss for Fine-Grained Supervised Contrastive Learning
• Title（参考訳）: SimO Loss: 微粒な教師付きコントラスト学習のためのアンカーフリーコントラスト損失
• Authors: Taha Bouhsine, Imad El Aaroussi, Atik Faysal, Wang Huaxia,
• Abstract要約: 提案した類似性-直交性(SimO)損失を利用したアンカーフリーコントラスト学習(L)手法を提案する。 提案手法は,2つの主目的を同時に最適化するセミメトリック判別損失関数を最小化する。 埋め込み空間におけるSimO損失の影響を可視化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a novel anchor-free contrastive learning (AFCL) method leveraging our proposed Similarity-Orthogonality (SimO) loss. Our approach minimizes a semi-metric discriminative loss function that simultaneously optimizes two key objectives: reducing the distance and orthogonality between embeddings of similar inputs while maximizing these metrics for dissimilar inputs, facilitating more fine-grained contrastive learning. The AFCL method, powered by SimO loss, creates a fiber bundle topological structure in the embedding space, forming class-specific, internally cohesive yet orthogonal neighborhoods. We validate the efficacy of our method on the CIFAR-10 dataset, providing visualizations that demonstrate the impact of SimO loss on the embedding space. Our results illustrate the formation of distinct, orthogonal class neighborhoods, showcasing the method's ability to create well-structured embeddings that balance class separation with intra-class variability. This work opens new avenues for understanding and leveraging the geometric properties of learned representations in various machine learning tasks.
• Abstract（参考訳）: 提案した類似性-直交性(SimO)損失を利用した新しいアンカーフリーコントラスト学習(AFCL)手法を提案する。 提案手法は, 類似入力の埋め込み間距離と直交度を最大化し, 異なる入力に対してこれらの指標を最大化し, よりきめ細かなコントラスト学習を容易にする, 2つの主要な目的を同時に最適化する半計量識別的損失関数を最小化する。 シモ損失を動力とするAFCL法は、埋め込み空間に繊維束位相構造を生成し、クラス固有で内部結合性のある直交近傍を形成する。 提案手法の有効性をCIFAR-10データセットで検証し,SimO損失が埋め込み空間に与える影響を可視化した。 本研究は,クラス分離とクラス内変動性とのバランスを保ちながら,クラス分割を適切に構成した埋め込みを創出する手法の能力を示すものである。 この研究は、様々な機械学習タスクにおいて学習された表現の幾何学的性質を理解し、活用するための新しい道を開く。

関連論文リスト

• SinSim: Sinkhorn-Regularized SimCLR [0.0]
  自己教師型学習はラベル付きデータの必要性を排除して表現学習に革命をもたらした。 我々はSimCLRの新たな拡張であるSinSimを提案し、Sinkhorn正則化を最適輸送理論から統合して表現構造を強化する。 さまざまなデータセットに対する実証的な評価は、SinSimがSimCLRより優れており、VICRegやBarlow Twinsといった著名な自己管理手法と競合する性能を発揮することを示している。
  論文  参考訳（メタデータ） (2025-02-13T19:49:25Z)
• Anti-Collapse Loss for Deep Metric Learning Based on Coding Rate Metric [99.19559537966538]
  DMLは、分類、クラスタリング、検索といった下流タスクのための識別可能な高次元埋め込み空間を学習することを目的としている。 埋め込み空間の構造を維持し,特徴の崩壊を避けるために,反崩壊損失と呼ばれる新しい損失関数を提案する。 ベンチマークデータセットの総合実験により,提案手法が既存の最先端手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-03T13:44:20Z)
• Large Margin Discriminative Loss for Classification [3.3975558777609915]
  本稿では,Deep Learning の文脈において,大きなマージンを持つ新たな識別的損失関数を提案する。 この損失は、クラス内のコンパクト性とクラス間の分離性によって表現されるニューラルネットワークの識別力を高める。 トレーニングにおける安定性と一貫性を同時に享受する部分運動量更新という戦略を設計する。
  論文  参考訳（メタデータ） (2024-05-28T18:10:45Z)
• Bayesian Learning-driven Prototypical Contrastive Loss for Class-Incremental Learning [42.14439854721613]
  本稿では,クラス増分学習シナリオに特化して,ベイズ学習駆動型コントラスト損失(BLCL)を持つプロトタイプネットワークを提案する。 提案手法は,ベイズ学習手法を用いて,クロスエントロピーとコントラスト損失関数のバランスを動的に適用する。
  論文  参考訳（メタデータ） (2024-05-17T19:49:02Z)
• Preventing Collapse in Contrastive Learning with Orthonormal Prototypes (CLOP) [0.0]
  CLOPは、クラス埋め込み間の線形部分空間の形成を促進することにより、神経崩壊を防止するために設計された、新しい半教師付き損失関数である。 CLOPは性能を向上し,学習速度やバッチサイズにまたがる安定性が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-27T15:48:16Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
  本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。 畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。 この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
  論文  参考訳（メタデータ） (2021-08-03T19:24:25Z)
• Unsupervised Domain Adaptation in Semantic Segmentation via Orthogonal and Clustered Embeddings [25.137859989323537]
  本稿では,機能クラスタリング手法に基づく効果的なUnsupervised Domain Adaptation(UDA)戦略を提案する。 識別的クラスタリング性能を高めるために,2つの新しい学習目標を導入する。
  論文  参考訳（メタデータ） (2020-11-25T10:06:22Z)
• Towards Certified Robustness of Distance Metric Learning [53.96113074344632]
  我々は,距離学習アルゴリズムの一般化とロバスト性を改善するために,入力空間に逆のマージンを付与することを提唱する。 アルゴリズム的ロバスト性の理論手法を用いることにより,拡張マージンは一般化能力に有益であることを示す。
  論文  参考訳（メタデータ） (2020-06-10T16:51:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。