Fugu-MT 論文翻訳(概要): Exploring Inductive Biases in Contrastive Learning: A Clustering Perspective

論文の概要: Exploring Inductive Biases in Contrastive Learning: A Clustering Perspective

arxiv url: http://arxiv.org/abs/2305.10229v1
Date: Wed, 17 May 2023 14:10:54 GMT
ステータス: 処理完了
システム内更新日: 2023-05-18 15:40:15.791708
Title: Exploring Inductive Biases in Contrastive Learning: A Clustering Perspective
Title（参考訳）: コントラスト学習における帰納的バイアスの探索:クラスタリングの視点から
Authors: Yunzhe Zhang, Yao Lu, Lei Xu, Kunlin Yang, Hui Tang, Shuyuan Ye, Qi Xuan
Abstract要約: クラスタ内の局所密度を測定するための新しい計量RLD(Relative Local Density)を導入する。比較学習は,大域密度を伴わない局所密度クラスタを生成する一方で,教師付き学習は局所密度と大域密度の両方のクラスタを生成する。
参考スコア（独自算出の注目度）: 10.538001617172165
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper investigates the differences in data organization between contrastive and supervised learning methods, focusing on the concept of locally dense clusters. We introduce a novel metric, Relative Local Density (RLD), to quantitatively measure local density within clusters. Visual examples are provided to highlight the distinctions between locally dense clusters and globally dense ones. By comparing the clusters formed by contrastive and supervised learning, we reveal that contrastive learning generates locally dense clusters without global density, while supervised learning creates clusters with both local and global density. We further explore the use of a Graph Convolutional Network (GCN) classifier as an alternative to linear classifiers for handling locally dense clusters. Finally, we utilize t-SNE visualizations to substantiate the differences between the features generated by contrastive and supervised learning methods. We conclude by proposing future research directions, including the development of efficient classifiers tailored to contrastive learning and the creation of innovative augmentation algorithms.
Abstract（参考訳）: 本稿では, 局所的な密集クラスタの概念に着目し, コントラスト学習法と教師あり学習法の違いについて検討する。クラスタ内の局所密度を定量的に測定する新しい計量RLD(Relative Local Density)を導入する。視覚的な例は、局所的な密集クラスタとグローバルな密集クラスタの区別を強調するために提供される。コントラスト学習と教師付き学習を比較した結果,コントラスト学習は局所的に高密度なクラスタを生成できるが,教師付き学習は局所密度と大域密度の両方のクラスタを生成できることがわかった。さらに,グラフ畳み込みネットワーク(GCN)分類器を,局所的に密集クラスタを扱うための線形分類器の代替として利用する方法について検討する。最後に,t-sne可視化を用いて,比較学習法と教師付き学習法の違いを明らかにする。最後に,コントラスト学習に適した効率的な分類器の開発や,革新的な拡張アルゴリズムの開発など,今後の研究の方向性を提案する。

関連論文リスト

Towards Multi-view Graph Anomaly Detection with Similarity-Guided Contrastive Clustering [35.1801853090859]
グラフ上の異常検出は多くの実世界のアプリケーションにおいて重要な役割を果たす。類似性誘導型コントラスト損失により正規化されたオートエンコーダベースのクラスタリングフレームワークを提案し,異常ノードを検出する。
論文参考訳（メタデータ） (2024-09-15T15:41:59Z)
Deep Contrastive Graph Learning with Clustering-Oriented Guidance [61.103996105756394]
グラフ畳み込みネットワーク(GCN)は、グラフベースのクラスタリングを改善する上で大きな可能性を秘めている。モデルはGCNを適用するために初期グラフを事前に推定する。一般的なデータクラスタリングには,Deep Contrastive Graph Learning (DCGL)モデルが提案されている。
論文参考訳（メタデータ） (2024-02-25T07:03:37Z)
Improving Deep Representation Learning via Auxiliary Learnable Target Coding [69.79343510578877]
本稿では,深層表現学習の補助的正規化として,新たな学習対象符号化を提案する。具体的には、より差別的な表現を促進するために、マージンベースの三重項損失と、提案した目標符号上の相関整合損失を設計する。
論文参考訳（メタデータ） (2023-05-30T01:38:54Z)
Convolutional Fine-Grained Classification with Self-Supervised Target Relation Regularization [34.8793946023412]
本稿では,動的ターゲット関係グラフ(DTRG)を新たに導入する。クラスレベルの特徴中心のオンライン計算は、表現空間におけるカテゴリ間距離を生成するように設計されている。提案したターゲットグラフは,表現学習におけるデータの分散性と不均衡を緩和する。
論文参考訳（メタデータ） (2022-08-03T11:51:53Z)
Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
コントラスト学習の下流性能に関する新たな保証を提案する。我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
論文参考訳（メタデータ） (2022-03-25T05:36:26Z)
Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
論文参考訳（メタデータ） (2021-10-22T01:55:01Z)
Contrastive Learning based Hybrid Networks for Long-Tailed Image Classification [31.647639786095993]
画像表現の教師付きコントラスト損失と、分類器を学習するためのクロスエントロピー損失からなる新しいハイブリッドネットワーク構造を提案する。 3つの長尾分類データセットに関する実験は、長尾分類における比較学習に基づくハイブリッドネットワークの提案の利点を示している。
論文参考訳（メタデータ） (2021-03-26T05:22:36Z)
Class-incremental Learning with Rectified Feature-Graph Preservation [24.098892115785066]
本論文の中心的なテーマは,逐次的な段階を経る新しいクラスを学習することである。旧知識保存のための重み付きユークリッド正規化を提案する。新しいクラスを効果的に学習するために、クラス分離を増やすためにバイナリクロスエントロピーでどのように機能するかを示す。
論文参考訳（メタデータ） (2020-12-15T07:26:04Z)
Unsupervised Feature Learning by Cross-Level Instance-Group Discrimination [68.83098015578874]
我々は、インスタンスグループ化ではなく、クロスレベルな識別によって、インスタンス間の類似性を対照的な学習に統合する。 CLDは、教師なし学習を、自然データや現実世界のアプリケーションに効果的に近づける。セルフスーパービジョン、セミスーパービジョン、トランスファーラーニングベンチマークに関する新たな最先端技術は、報告されたすべてのパフォーマンスでMoCo v2とSimCLRを上回っている。
論文参考訳（メタデータ） (2020-08-09T21:13:13Z)
Learning and Exploiting Interclass Visual Correlations for Medical Image Classification [30.88175218665726]
本稿では、クラス相関学習ネットワーク(CCL-Net)を提案し、与えられたトレーニングデータからクラス間の視覚的相関を学習する。ネットワークが望ましい相関関係を直接学習させる代わりに,クラス固有の埋め込みの距離メートル法学習を通じて暗黙的に学習することを提案する。相関関係の幾何学的説明に基づく直感的損失は、クラス間の相関関係の学習を促進するために設計されている。
論文参考訳（メタデータ） (2020-07-13T13:31:38Z)
Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
論文参考訳（メタデータ） (2020-03-09T13:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。