論文の概要: How does Contrastive Learning Organize Images?

• arxiv url: http://arxiv.org/abs/2305.10229v2
• Date: Fri, 17 Nov 2023 19:34:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 05:13:35.016121
• Title: How does Contrastive Learning Organize Images?
• Title（参考訳）: コントラスト学習はどのようにイメージを整理するか?
• Authors: Yunzhe Zhang, Yao Lu, Qi Xuan
• Abstract要約: コントラスト学習(Contrastive Learning)は、同じ入力の増大と異なる入力の相違の表現において類似性を強調している。 近年の研究はこの直接的な関係に挑戦し、帰納的バイアスの重要な役割を浮き彫りにしている。 この差を捉えるために、RLD(Relative Local Density)メトリクスを導入します。
• 参考スコア（独自算出の注目度）: 8.077578967149561
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive learning, a dominant self-supervised technique, emphasizes similarity in representations between augmentations of the same input and dissimilarity for different ones. Although low contrastive loss often correlates with high classification accuracy, recent studies challenge this direct relationship, spotlighting the crucial role of inductive biases. We delve into these biases from a clustering viewpoint, noting that contrastive learning creates locally dense clusters, contrasting the globally dense clusters from supervised learning. To capture this discrepancy, we introduce the "RLD (Relative Local Density)" metric. While this cluster property can hinder linear classification accuracy, leveraging a Graph Convolutional Network (GCN) based classifier mitigates this, boosting accuracy and reducing parameter requirements. The code is available \href{https://github.com/xsgxlz/How-does-Contrastive-Learning-Organize-Images/tree/main}{here}.
• Abstract（参考訳）: 支配的な自己教師技術であるコントラスト学習は、同一入力の強化と異なる入力に対する相似性の表現における相似性を強調している。 低コントラスト損失はしばしば高い分類精度と相関するが、近年の研究はこの直接的な関係に挑戦し、帰納バイアスの重要な役割を浮き彫りにしている。 対照的な学習は局所的に密集したクラスタを形成し、教師付き学習からグローバルに密集したクラスタとは対照的である。 この相違を捉えるために,RLD(Relative Local Density)メトリックを導入する。 このクラスタ特性は線形分類の精度を妨げる可能性があるが、グラフ畳み込みネットワーク(GCN)ベースの分類器がこれを緩和し、精度を高め、パラメータ要求を減らす。 コードは \href{https://github.com/xsgxlz/How-does-Contrastive-Learning-Organize-Images/tree/main}{here} で入手できる。

関連論文リスト

• Towards Multi-view Graph Anomaly Detection with Similarity-Guided Contrastive Clustering [35.1801853090859]
  グラフ上の異常検出は多くの実世界のアプリケーションにおいて重要な役割を果たす。 類似性誘導型コントラスト損失により正規化されたオートエンコーダベースのクラスタリングフレームワークを提案し,異常ノードを検出する。
  論文  参考訳（メタデータ） (2024-09-15T15:41:59Z)
• Deep Contrastive Graph Learning with Clustering-Oriented Guidance [61.103996105756394]
  グラフ畳み込みネットワーク(GCN)は、グラフベースのクラスタリングを改善する上で大きな可能性を秘めている。 モデルはGCNを適用するために初期グラフを事前に推定する。 一般的なデータクラスタリングには,Deep Contrastive Graph Learning (DCGL)モデルが提案されている。
  論文  参考訳（メタデータ） (2024-02-25T07:03:37Z)
• Improving Deep Representation Learning via Auxiliary Learnable Target Coding [69.79343510578877]
  本稿では,深層表現学習の補助的正規化として,新たな学習対象符号化を提案する。 具体的には、より差別的な表現を促進するために、マージンベースの三重項損失と、提案した目標符号上の相関整合損失を設計する。
  論文  参考訳（メタデータ） (2023-05-30T01:38:54Z)
• Convolutional Fine-Grained Classification with Self-Supervised Target Relation Regularization [34.8793946023412]
  本稿では,動的ターゲット関係グラフ(DTRG)を新たに導入する。 クラスレベルの特徴中心のオンライン計算は、表現空間におけるカテゴリ間距離を生成するように設計されている。 提案したターゲットグラフは,表現学習におけるデータの分散性と不均衡を緩和する。
  論文  参考訳（メタデータ） (2022-08-03T11:51:53Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• Contrastive Learning based Hybrid Networks for Long-Tailed Image Classification [31.647639786095993]
  画像表現の教師付きコントラスト損失と、分類器を学習するためのクロスエントロピー損失からなる新しいハイブリッドネットワーク構造を提案する。 3つの長尾分類データセットに関する実験は、長尾分類における比較学習に基づくハイブリッドネットワークの提案の利点を示している。
  論文  参考訳（メタデータ） (2021-03-26T05:22:36Z)
• Class-incremental Learning with Rectified Feature-Graph Preservation [24.098892115785066]
  本論文の中心的なテーマは,逐次的な段階を経る新しいクラスを学習することである。 旧知識保存のための重み付きユークリッド正規化を提案する。 新しいクラスを効果的に学習するために、クラス分離を増やすためにバイナリクロスエントロピーでどのように機能するかを示す。
  論文  参考訳（メタデータ） (2020-12-15T07:26:04Z)
• Unsupervised Feature Learning by Cross-Level Instance-Group Discrimination [68.83098015578874]
  我々は、インスタンスグループ化ではなく、クロスレベルな識別によって、インスタンス間の類似性を対照的な学習に統合する。 CLDは、教師なし学習を、自然データや現実世界のアプリケーションに効果的に近づける。 セルフスーパービジョン、セミスーパービジョン、トランスファーラーニングベンチマークに関する新たな最先端技術は、報告されたすべてのパフォーマンスでMoCo v2とSimCLRを上回っている。
  論文  参考訳（メタデータ） (2020-08-09T21:13:13Z)
• Learning and Exploiting Interclass Visual Correlations for Medical Image Classification [30.88175218665726]
  本稿では、クラス相関学習ネットワーク(CCL-Net)を提案し、与えられたトレーニングデータからクラス間の視覚的相関を学習する。 ネットワークが望ましい相関関係を直接学習させる代わりに,クラス固有の埋め込みの距離メートル法学習を通じて暗黙的に学習することを提案する。 相関関係の幾何学的説明に基づく直感的損失は、クラス間の相関関係の学習を促進するために設計されている。
  論文  参考訳（メタデータ） (2020-07-13T13:31:38Z)
• Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
  本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。 埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。 複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
  論文  参考訳（メタデータ） (2020-03-09T13:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。