論文の概要: Trip-ROMA: Self-Supervised Learning with Triplets and Random Mappings

• arxiv url: http://arxiv.org/abs/2107.10419v3
• Date: Thu, 24 Aug 2023 03:09:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-25 19:09:33.080305
• Title: Trip-ROMA: Self-Supervised Learning with Triplets and Random Mappings
• Title（参考訳）: Trip-ROMA: トリプレットとランダムマッピングによる自己監督型学習
• Authors: Wenbin Li, Xuesong Yang, Meihao Kong, Lei Wang, Jing Huo, Yang Gao and Jiebo Luo
• Abstract要約: 単純なトリプルトに基づく損失は、大きなバッチや非対称性設計を必要とせずに驚くほど優れた性能が得られることを示す。 小型データシステムにおける過度に適合する問題を緩和するため,簡単なRandOm MApping(ROMA)戦略を提案する。
• 参考スコア（独自算出の注目度）: 59.32440962369532
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive self-supervised learning (SSL) methods, such as MoCo and SimCLR, have achieved great success in unsupervised visual representation learning. They rely on a large number of negative pairs and thus require either large memory banks or large batches. Some recent non-contrastive SSL methods, such as BYOL and SimSiam, attempt to discard negative pairs and have also shown remarkable performance. To avoid collapsed solutions caused by not using negative pairs, these methods require non-trivial asymmetry designs. However, in small data regimes, we can not obtain a sufficient number of negative pairs or effectively avoid the over-fitting problem when negatives are not used at all. To address this situation, we argue that negative pairs are still important but one is generally sufficient for each positive pair. We show that a simple Triplet-based loss (Trip) can achieve surprisingly good performance without requiring large batches or asymmetry designs. Moreover, to alleviate the over-fitting problem in small data regimes and further enhance the effect of Trip, we propose a simple plug-and-play RandOm MApping (ROMA) strategy by randomly mapping samples into other spaces and requiring these randomly projected samples to satisfy the same relationship indicated by the triplets. Integrating the triplet-based loss with random mapping, we obtain the proposed method Trip-ROMA. Extensive experiments, including unsupervised representation learning and unsupervised few-shot learning, have been conducted on ImageNet-1K and seven small datasets. They successfully demonstrate the effectiveness of Trip-ROMA and consistently show that ROMA can further effectively boost other SSL methods. Code is available at https://github.com/WenbinLee/Trip-ROMA.
• Abstract（参考訳）: 対照的な自己教師あり学習(ssl)メソッド、例えばmocoやsimclrは教師なし視覚表現学習で大きな成功を収めている。 それらは多数の負のペアに依存しており、大きなメモリバンクまたは大きなバッチを必要とする。 BYOLやSimSiamのような最近の非競合的なSSLメソッドは、負のペアを捨てようと試みており、性能も顕著である。 負のペアを使わずに崩壊した解を避けるために、これらの方法は非自明な非対称性設計を必要とする。 しかし、小さなデータレジームでは、十分な数の負のペアを得ることができないし、負のペアが全く使われていない場合の過剰フィッティング問題も効果的に回避できない。 この状況に対処するために、負の対は依然として重要であるが、概して各正の対に対して十分であると主張する。 単純なトリプレットベース損失(trip)は,大規模なバッチや非対称性設計を必要とせずに,驚くほど優れた性能を達成できることを示す。 さらに,小さなデータレジームにおける過剰フィッティング問題を緩和し,トリップの効果をさらに高めるために,サンプルを他の空間にランダムにマッピングし,これらランダムに投影されたサンプルに三重項で示されるのと同じ関係を満足させる単純なプラグ・アンド・プレイランダムマッピング(roma)戦略を提案する。 三重項に基づく損失をランダムマッピングと統合し,提案手法であるTrip-ROMAを提案する。 ImageNet-1Kと7つの小さなデータセットで、教師なし表現学習や教師なし数ショット学習を含む大規模な実験が行われた。 彼らはTrip-ROMAの有効性を実証し、ROMAが他のSSLメソッドをさらに効果的に強化できることを一貫して示している。 コードはhttps://github.com/WenbinLee/Trip-ROMA.comで入手できる。

関連論文リスト

• Decoupled Contrastive Multi-View Clustering with High-Order Random Walks [25.03805821839733]
  高次ランダムウォークを用いた非結合型コントラスト多視点クラスタリング(DIVIDE)と呼ばれる新しいロバストな手法を提案する。 簡単に言うと、DIVIDEはランダムウォークを利用して、局所的な方法でではなく、グローバルにデータペアを段階的に識別する。 DIVIDEは、近隣の陰性および近隣の陽性を識別できる。
  論文  参考訳（メタデータ） (2023-08-22T03:45:13Z)
• Self-Supervised Monocular Depth Estimation: Solving the Edge-Fattening Problem [39.82550656611876]
  計量学習に人気があるトリプルト損失は多くのコンピュータビジョンタスクで大きな成功を収めた。 MDEにおける生三重項損失の2つの欠点を示し、問題駆動型再設計を実証する。
  論文  参考訳（メタデータ） (2022-10-02T03:08:59Z)
• Non-contrastive representation learning for intervals from well logs [58.70164460091879]
  石油・ガス産業における表現学習問題は、ログデータに基づく表現を一定間隔で提供するモデルを構築することを目的としている。 可能なアプローチの1つは、自己教師付き学習(SSL)である。 私たちは、よくログするデータのための非コントラストSSLを最初に導入しました。
  論文  参考訳（メタデータ） (2022-09-28T13:27:10Z)
• Modality-Aware Triplet Hard Mining for Zero-shot Sketch-Based Image Retrieval [51.42470171051007]
  本稿では,ZES-SBIR(Zero-Shot Sketch-Based Image Retrieval)問題に,クロスモダリティメトリック学習の観点から取り組む。 DMLにおける2つの基本的な学習手法、例えば分類訓練とペアトレーニングを組み合わせることで、ZS-SBIRの強力なベースラインを構築した。 モータリティ・アウェア・トリプルト・ハード・マイニング(MATHM)は3種類のペア・ラーニングによってベースラインを向上することを示す。
  論文  参考訳（メタデータ） (2021-12-15T08:36:44Z)
• LoOp: Looking for Optimal Hard Negative Embeddings for Deep Metric Learning [17.571160136568455]
  埋め込み空間における最適強陰性(LoOp)を求める新しい手法を提案する。 マイニング法とは違って, 最適硬質負を計算するために, 組込みの組込み間の空間全体を考慮した。
  論文  参考訳（メタデータ） (2021-08-20T19:21:33Z)
• Semi-Supervised Metric Learning: A Deep Resurrection [22.918651280720855]
  Semi-Supervised DML (SSDML) はいくつかのラベル付き例と豊富なラベルなし例を使ってメトリクスを学習しようとする。 例のペア間の親和性が最初に伝播するグラフベースのアプローチを提案する。 メトリクスパラメータには、より優れたパフォーマンスをもたらすため、メトリクスの制約を課します。
  論文  参考訳（メタデータ） (2021-05-10T12:28:45Z)
• Rethinking Deep Contrastive Learning with Embedding Memory [58.66613563148031]
  ペアワイズ損失関数は広く研究され、dml(deep metric learning)のパフォーマンスを継続的に改善することが示されている。 本稿では,様々な対損失関数の重み付け戦略を体系的に研究する新しい手法を提案し,組重み付けを埋め込みメモリで再考する。
  論文  参考訳（メタデータ） (2021-03-25T17:39:34Z)
• Contrastive Learning with Hard Negative Samples [80.12117639845678]
  我々は, 厳密な陰性サンプルを選択するために, 教師なしサンプリング手法を新たに開発する。 このサンプリングの制限ケースは、各クラスをしっかりとクラスタ化し、可能な限り異なるクラスを遠くにプッシュする表現をもたらす。 提案手法は、複数のモードをまたいだダウンストリーム性能を改善し、実装するコード行数が少なく、計算オーバーヘッドを伴わない。
  論文  参考訳（メタデータ） (2020-10-09T14:18:53Z)
• Whitening for Self-Supervised Representation Learning [129.57407186848917]
  本稿では,潜在空間の特徴の白化に基づく自己教師付き表現学習(SSL)のための新しい損失関数を提案する。 我々の解は非対称なネットワークを必要とせず、概念的には単純である。
  論文  参考訳（メタデータ） (2020-07-13T12:33:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。