論文の概要: Triplet is All You Need with Random Mappings for Unsupervised Visual Representation Learning

• arxiv url: http://arxiv.org/abs/2107.10419v1
• Date: Thu, 22 Jul 2021 02:06:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-23 12:54:11.687332
• Title: Triplet is All You Need with Random Mappings for Unsupervised Visual Representation Learning
• Title（参考訳）: tripletは、教師なしのビジュアル表現学習のためのランダムマッピング
• Authors: Wenbin Li, Xuesong Yang, Meihao Kong, Lei Wang, Jing Huo, Yang Gao and Jiebo Luo
• Abstract要約: 対照的な自己教師付き学習(SSL)は、教師なし視覚表現学習において大きな成功を収めた。 この論文では、負対は依然として必要であるが、一つは十分である、すなわち三重項である。 サンプルをランダムに他の空間にマッピングすることで、シンプルなプラグインRandOm MApping(ROMA)戦略を提案する。
• 参考スコア（独自算出の注目度）: 74.64956497438472
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive self-supervised learning (SSL) has achieved great success in unsupervised visual representation learning by maximizing the similarity between two augmented views of the same image (positive pairs) and simultaneously contrasting other different images (negative pairs). However, this type of methods, such as SimCLR and MoCo, relies heavily on a large number of negative pairs and thus requires either large batches or memory banks. In contrast, some recent non-contrastive SSL methods, such as BYOL and SimSiam, attempt to discard negative pairs by introducing asymmetry and show remarkable performance. Unfortunately, to avoid collapsed solutions caused by not using negative pairs, these methods require sophisticated asymmetry designs. In this paper, we argue that negative pairs are still necessary but one is sufficient, i.e., triplet is all you need. A simple triplet-based loss can achieve surprisingly good performance without requiring large batches or asymmetry. Moreover, we observe that unsupervised visual representation learning can gain significantly from randomness. Based on this observation, we propose a simple plug-in RandOm MApping (ROMA) strategy by randomly mapping samples into other spaces and enforcing these randomly projected samples to satisfy the same correlation requirement. The proposed ROMA strategy not only achieves the state-of-the-art performance in conjunction with the triplet-based loss, but also can further effectively boost other SSL methods.
• Abstract（参考訳）: コントラスト型自己教師学習(SSL)は、同じ画像の2つの拡張ビュー(正ペア)の類似性を最大化し、他の異なる画像(負ペア)を同時に比較することにより、教師なしの視覚表現学習において大きな成功を収めた。 しかし、SimCLRやMoCoのようなこの種の手法は、多くの負のペアに大きく依存しているため、大きなバッチかメモリバンクを必要とする。 対照的に、BYOLやSimSiamのような最近の非競合的なSSLメソッドでは、非対称性を導入して負のペアを破棄し、顕著な性能を示す。 残念ながら、負のペアを使わずに崩壊した解を避けるために、これらの方法は洗練された非対称性設計を必要とする。 この論文では、負対は依然として必要であるが、一つは十分である、すなわち三重項が全てである。 単純な三重項に基づく損失は、大きなバッチや非対称性を必要とせずに驚くほど優れた性能を達成することができる。 さらに,教師なし視覚表現学習がランダム性から著しく向上することが観察された。 そこで本研究では,サンプルを他の空間にランダムにマッピングし,これらのランダムに投影したサンプルを同じ相関条件を満たすためのシンプルなプラグインRandOm MApping(ROMA)戦略を提案する。 提案したROMA戦略は、三重項に基づく損失とともに最先端のパフォーマンスを達成するだけでなく、他のSSLメソッドをさらに効果的に強化することができる。

関連論文リスト

• Decoupled Contrastive Multi-View Clustering with High-Order Random Walks [25.03805821839733]
  高次ランダムウォークを用いた非結合型コントラスト多視点クラスタリング(DIVIDE)と呼ばれる新しいロバストな手法を提案する。 簡単に言うと、DIVIDEはランダムウォークを利用して、局所的な方法でではなく、グローバルにデータペアを段階的に識別する。 DIVIDEは、近隣の陰性および近隣の陽性を識別できる。
  論文  参考訳（メタデータ） (2023-08-22T03:45:13Z)
• Self-Supervised Monocular Depth Estimation: Solving the Edge-Fattening Problem [39.82550656611876]
  計量学習に人気があるトリプルト損失は多くのコンピュータビジョンタスクで大きな成功を収めた。 MDEにおける生三重項損失の2つの欠点を示し、問題駆動型再設計を実証する。
  論文  参考訳（メタデータ） (2022-10-02T03:08:59Z)
• Non-contrastive representation learning for intervals from well logs [58.70164460091879]
  石油・ガス産業における表現学習問題は、ログデータに基づく表現を一定間隔で提供するモデルを構築することを目的としている。 可能なアプローチの1つは、自己教師付き学習(SSL)である。 私たちは、よくログするデータのための非コントラストSSLを最初に導入しました。
  論文  参考訳（メタデータ） (2022-09-28T13:27:10Z)
• Modality-Aware Triplet Hard Mining for Zero-shot Sketch-Based Image Retrieval [51.42470171051007]
  本稿では,ZES-SBIR(Zero-Shot Sketch-Based Image Retrieval)問題に,クロスモダリティメトリック学習の観点から取り組む。 DMLにおける2つの基本的な学習手法、例えば分類訓練とペアトレーニングを組み合わせることで、ZS-SBIRの強力なベースラインを構築した。 モータリティ・アウェア・トリプルト・ハード・マイニング(MATHM)は3種類のペア・ラーニングによってベースラインを向上することを示す。
  論文  参考訳（メタデータ） (2021-12-15T08:36:44Z)
• LoOp: Looking for Optimal Hard Negative Embeddings for Deep Metric Learning [17.571160136568455]
  埋め込み空間における最適強陰性(LoOp)を求める新しい手法を提案する。 マイニング法とは違って, 最適硬質負を計算するために, 組込みの組込み間の空間全体を考慮した。
  論文  参考訳（メタデータ） (2021-08-20T19:21:33Z)
• Semi-Supervised Metric Learning: A Deep Resurrection [22.918651280720855]
  Semi-Supervised DML (SSDML) はいくつかのラベル付き例と豊富なラベルなし例を使ってメトリクスを学習しようとする。 例のペア間の親和性が最初に伝播するグラフベースのアプローチを提案する。 メトリクスパラメータには、より優れたパフォーマンスをもたらすため、メトリクスの制約を課します。
  論文  参考訳（メタデータ） (2021-05-10T12:28:45Z)
• Rethinking Deep Contrastive Learning with Embedding Memory [58.66613563148031]
  ペアワイズ損失関数は広く研究され、dml(deep metric learning)のパフォーマンスを継続的に改善することが示されている。 本稿では,様々な対損失関数の重み付け戦略を体系的に研究する新しい手法を提案し,組重み付けを埋め込みメモリで再考する。
  論文  参考訳（メタデータ） (2021-03-25T17:39:34Z)
• Contrastive Learning with Hard Negative Samples [80.12117639845678]
  我々は, 厳密な陰性サンプルを選択するために, 教師なしサンプリング手法を新たに開発する。 このサンプリングの制限ケースは、各クラスをしっかりとクラスタ化し、可能な限り異なるクラスを遠くにプッシュする表現をもたらす。 提案手法は、複数のモードをまたいだダウンストリーム性能を改善し、実装するコード行数が少なく、計算オーバーヘッドを伴わない。
  論文  参考訳（メタデータ） (2020-10-09T14:18:53Z)
• Whitening for Self-Supervised Representation Learning [129.57407186848917]
  本稿では,潜在空間の特徴の白化に基づく自己教師付き表現学習(SSL)のための新しい損失関数を提案する。 我々の解は非対称なネットワークを必要とせず、概念的には単純である。
  論文  参考訳（メタデータ） (2020-07-13T12:33:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。