論文の概要: Learning the Relation between Similarity Loss and Clustering Loss in Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2301.03041v2
• Date: Mon, 5 Jun 2023 11:58:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 03:37:31.591703
• Title: Learning the Relation between Similarity Loss and Clustering Loss in Self-Supervised Learning
• Title（参考訳）: 自己指導型学習における類似損失とクラスタリング損失の関係の学習
• Authors: Jidong Ge, Yuxiang Liu, Jie Gui, Lanting Fang, Ming Lin, James Tin-Yau Kwok, LiGuo Huang, Bin Luo
• Abstract要約: 自己教師付き学習は、ネットワークが大量のデータから識別的特徴を学習することを可能にする。 類似度損失と特徴レベルのクロスエントロピー損失の関係を解析する。 これらの2つの損失の適切な組み合わせが、最先端の結果が得られることを示すための理論的分析と実験を提供する。
• 参考スコア（独自算出の注目度）: 27.91000553525992
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning enables networks to learn discriminative features from massive data itself. Most state-of-the-art methods maximize the similarity between two augmentations of one image based on contrastive learning. By utilizing the consistency of two augmentations, the burden of manual annotations can be freed. Contrastive learning exploits instance-level information to learn robust features. However, the learned information is probably confined to different views of the same instance. In this paper, we attempt to leverage the similarity between two distinct images to boost representation in self-supervised learning. In contrast to instance-level information, the similarity between two distinct images may provide more useful information. Besides, we analyze the relation between similarity loss and feature-level cross-entropy loss. These two losses are essential for most deep learning methods. However, the relation between these two losses is not clear. Similarity loss helps obtain instance-level representation, while feature-level cross-entropy loss helps mine the similarity between two distinct images. We provide theoretical analyses and experiments to show that a suitable combination of these two losses can get state-of-the-art results. Code is available at https://github.com/guijiejie/ICCL.
• Abstract（参考訳）: 自己教師付き学習は、ネットワークが大量のデータから識別的特徴を学習することを可能にする。 ほとんどの最先端手法は、コントラスト学習に基づく1つの画像の2つの増補間の類似性を最大化する。 2つの追加の一貫性を利用することで、手動アノテーションの負担を解放することができる。 対照的な学習は、インスタンスレベルの情報を利用して堅牢な特徴を学習する。 しかし、学習した情報はおそらく同じインスタンスの異なるビューに限られている。 本稿では,2つの異なる画像間の類似性を活用し,自己教師付き学習における表現の促進を図る。 インスタンスレベルの情報とは対照的に、2つの異なる画像間の類似性はより有用な情報を提供する。 さらに,類似度損失と特徴量クロスエントロピー損失の関係を分析する。 この2つの損失は、ほとんどのディープラーニング手法に不可欠です。 しかし、この2つの損失の関係は明らかではない。 類似度損失はインスタンスレベルの表現を得るのに役立ち、特徴レベルのクロスエントロピー損失は2つの異なる画像間の類似性を調べるのに役立ちます。 これら2つの損失の適切な組み合わせが最先端の結果を得ることができることを示すために、理論的解析と実験を提供する。 コードはhttps://github.com/guijiejie/ICCLで入手できる。

関連論文リスト

• LeOCLR: Leveraging Original Images for Contrastive Learning of Visual Representations [4.680881326162484]
  本稿では,新しいインスタンス識別手法と適応型損失関数を用いた表現学習における意味的特徴の解消を目的としたフレームワークであるLeOCLRを紹介する。 我々のアプローチは、ベースラインモデルと比較して、異なるデータセット間の表現学習を一貫して改善します。
  論文  参考訳（メタデータ） (2024-03-11T15:33:32Z)
• Do Different Deep Metric Learning Losses Lead to Similar Learned Features? [4.043200001974071]
  最近の研究では、14の事前学習モデルを比較し、すべてのモデルが同様に機能するにもかかわらず、異なる損失関数がモデルに異なる特徴を学習させることができることを発見した。 また,本分析の結果から,一見無関係な性質が埋没に重大な影響を及ぼす可能性が示唆された。
  論文  参考訳（メタデータ） (2022-05-05T15:07:19Z)
• Attributable Visual Similarity Learning [90.69718495533144]
  本稿では、画像間のより正確で説明可能な類似度測定のための帰属的視覚類似度学習(AVSL)フレームワークを提案する。 人間の意味的類似性認知に動機づけられた2つの画像とグラフとの類似性を表現するために,一般化された類似性学習パラダイムを提案する。 CUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、既存の深い類似性学習方法よりも大幅に改善されたことを示している。
  論文  参考訳（メタデータ） (2022-03-28T17:35:31Z)
• Dissecting the impact of different loss functions with gradient surgery [7.001832294837659]
  ペアワイズ・ロス(英: Pair-wise Los)とは、損失関数を最適化することで意味的な埋め込みを学習するメトリクス学習のアプローチである。 ここでは、これらの損失関数の勾配を、アンカー正対とアンカー負対の相対的特徴位置の押し方に関連する成分に分解する。
  論文  参考訳（メタデータ） (2022-01-27T03:55:48Z)
• Contrastive Feature Loss for Image Prediction [55.373404869092866]
  教師付き画像合成モデルのトレーニングでは、批評家は2つの画像を比較する必要がある。 本稿では,2つの画像間の類似度を測定するための情報理論に基づくアプローチを提案する。 この定式化により,L1損失の代替として,出力画像の知覚的リアリズムが向上することを示す。
  論文  参考訳（メタデータ） (2021-11-12T20:39:52Z)
• Intriguing Properties of Contrastive Losses [12.953112189125411]
  コントラスト学習の3つの興味深い特性について検討する。 複数のオブジェクトが存在する画像に対して、インスタンスベースのコントラスト学習がうまく学習できるかどうかを検討する。 対照的な学習では、学習しやすい共有機能のいくつかは、競合する機能の集合の学習を抑え、さらに完全に阻止することができる。
  論文  参考訳（メタデータ） (2020-11-05T13:19:48Z)
• Few-shot Visual Reasoning with Meta-analogical Contrastive Learning [141.2562447971]
  本稿では,類似推論に頼って,数ショット(または低ショット)の視覚推論問題を解くことを提案する。 両領域の要素間の構造的関係を抽出し、類似学習と可能な限り類似するように強制する。 RAVENデータセット上での本手法の有効性を検証し, トレーニングデータが少ない場合, 最先端の手法より優れることを示す。
  論文  参考訳（メタデータ） (2020-07-23T14:00:34Z)
• Unsupervised Landmark Learning from Unpaired Data [117.81440795184587]
  教師なしランドマーク学習の最近の試みは、外観は似ているがポーズでは異なる合成画像対を活用する。 本稿では,2回スワッピング・リコンストラクション・ストラテジーを適用して最終監視を行うクロスイメージ・サイクル整合性フレームワークを提案する。 提案するフレームワークは,強いベースラインを大きなマージンで上回ることを示す。
  論文  参考訳（メタデータ） (2020-06-29T13:57:20Z)
• Pairwise Supervision Can Provably Elicit a Decision Boundary [84.58020117487898]
  類似性学習は、パターンのペア間の関係を予測することによって有用な表現を引き出す問題である。 類似性学習は、決定境界を直接引き出すことによって二項分類を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-06-11T05:35:16Z)
• Learning to Compare Relation: Semantic Alignment for Few-Shot Learning [48.463122399494175]
  本稿では,コンテンツアライメントに頑健な関係を比較するための新しいセマンティックアライメントモデルを提案する。 数ショットの学習データセットについて広範な実験を行う。
  論文  参考訳（メタデータ） (2020-02-29T08:37:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。