論文の概要: An Empirical Study on Disentanglement of Negative-free Contrastive Learning

• arxiv url: http://arxiv.org/abs/2206.04756v1
• Date: Thu, 9 Jun 2022 20:25:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-13 15:39:49.362509
• Title: An Empirical Study on Disentanglement of Negative-free Contrastive Learning
• Title（参考訳）: 負のフリーコントラスト学習の絡み合いに関する実証的研究
• Authors: Jinkun Cao, Ruiqian Nai, Qing Yang, Jialei Huang, Yang Gao
• Abstract要約: 我々は、このジャンルの自己監督的手法の非絡み合い特性を研究するために、異なる非負のコントラスト学習手法を採っている。 本稿では,表現とデータ要素間の相互情報に基づく新しい絡み合い尺度を提案する。 本研究は,提案手法が表現の相反する部分集合を学習できることを示唆する。
• 参考スコア（独自算出の注目度）: 9.52192693120765
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Negative-free contrastive learning has attracted a lot of attention with simplicity and impressive performance for large-scale pretraining. But its disentanglement property remains unexplored. In this paper, we take different negative-free contrastive learning methods to study the disentanglement property of this genre of self-supervised methods empirically. We find the existing disentanglement metrics fail to make meaningful measurements for the high-dimensional representation model so we propose a new disentanglement metric based on Mutual Information between representation and data factors. With the proposed metric, we benchmark the disentanglement property of negative-free contrastive learning for the first time, on both popular synthetic datasets and a real-world dataset CelebA. Our study shows that the investigated methods can learn a well-disentangled subset of representation. We extend the study of the disentangled representation learning to high-dimensional representation space and negative-free contrastive learning for the first time. The implementation of the proposed metric is available at \url{https://github.com/noahcao/disentanglement_lib_med}.
• Abstract（参考訳）: ネガティブフリーなコントラスト学習は、大規模事前学習のための単純さと印象的なパフォーマンスで多くの注目を集めている。 しかし、その絡み合う性質は未解明のままである。 本稿では,このジャンルの自己監督手法の絡み合い特性を実証的に研究するために,異なるネガティブなコントラスト学習手法を提案する。 既存の異方性メトリクスは高次元表現モデルにおいて有意義な測定を行えず,表現とデータ因子の相互情報に基づく新しい異方性メトリクスを提案する。 提案手法を用いて,一般的な合成データセットと実世界のデータセットCelebAを用いて,負のフリーコントラスト学習の非絡合性を初めて評価した。 本研究は,提案手法が表現の相反する部分集合を学習できることを示す。 本研究では, 対角表現学習の研究を, 初めて高次元表現空間と非負のコントラスト学習に拡張する。 提案されているメトリックの実装は \url{https://github.com/noahcao/disentanglement_lib_med} で利用可能である。

関連論文リスト

• An Attention-based Framework for Fair Contrastive Learning [2.1605931466490795]
  そこで本稿では,バイアスを考慮したインタラクションをモデル化するための注意機構を用いた,公正なコントラスト学習のための新しい手法を提案する。 我々の注意機構は、モデルに相反するバイアスを発生させるサンプルを避け、意味論的に意味のある表現を学習するのに役立つバイアスを誘発するサンプルに焦点をあてる。
  論文  参考訳（メタデータ） (2024-11-22T07:11:35Z)
• Understanding Collapse in Non-Contrastive Learning [122.2499276246997]
  モデルがデータセットサイズに対して小さすぎる場合,SimSiam表現が部分次元崩壊することを示す。 本稿では,この崩壊の度合いを計測し,微調整やラベルを使わずに下流のタスク性能を予測できる指標を提案する。
  論文  参考訳（メタデータ） (2022-09-29T17:59:55Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)
• Unsupervised Embedding Learning from Uncertainty Momentum Modeling [37.674449317054716]
  本研究では,与えられた未ラベル学習サンプルの不確かさを明示的にモデル化し,探索する新しい手法を提案する。 このような不確実性モデリングのモーメントを学習に利用し、アウトレーヤに取り組むのに役立ちます。
  論文  参考訳（メタデータ） (2021-07-19T14:06:19Z)
• Investigating the Role of Negatives in Contrastive Representation Learning [59.30700308648194]
  ノイズコントラスト学習は教師なし表現学習の一般的な手法である。 我々は、これらのパラメータの1つの役割の曖昧さ、すなわち負の例の数に焦点をあてる。 結果が我々の理論と広く一致しているのに対して、我々の視覚実験はより悪質であり、性能は時々負の数に敏感である。
  論文  参考訳（メタデータ） (2021-06-18T06:44:16Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• A Sober Look at the Unsupervised Learning of Disentangled Representations and their Evaluation [63.042651834453544]
  モデルとデータの両方に帰納的バイアスを伴わずに,非教師なしの非教師付き表現学習は不可能であることを示す。 異なる手法は、対応する損失によって「強化」された特性を効果的に強制するが、よく見分けられたモデルは監督なしでは特定できないように見える。 以上の結果から,遠絡学習における今後の研究は,帰納的バイアスと(単純に)監督の役割を明確化すべきであることが示唆された。
  論文  参考訳（メタデータ） (2020-10-27T10:17:15Z)
• Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
  本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。 提案手法は, 十分次元還元法の非パラメトリック一般化である。 推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
  論文  参考訳（メタデータ） (2020-06-10T14:47:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。