論文の概要: InsCLR: Improving Instance Retrieval with Self-Supervision

• arxiv url: http://arxiv.org/abs/2112.01390v1
• Date: Thu, 2 Dec 2021 16:21:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-03 17:05:28.986090
• Title: InsCLR: Improving Instance Retrieval with Self-Supervision
• Title（参考訳）: insclr: 自己スーパービジョンによるインスタンス検索の改善
• Authors: Zelu Deng, Yujie Zhong, Sheng Guo, Weilin Huang
• Abstract要約: 最近開発されたSimCLRやMoCoのような自己教師付き(SSL)学習手法を用いた微調整では,インスタンス検索の性能が向上しないことがわかった。 この問題を克服するために,テキストインスタンスレベルのコントラストに基づいたSSLメソッドであるInsCLRを提案する。 InsCLRは、インスタンス検索における最先端のSSLメソッドと同じような、あるいはそれ以上のパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 30.36455490844235
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work aims at improving instance retrieval with self-supervision. We find that fine-tuning using the recently developed self-supervised (SSL) learning methods, such as SimCLR and MoCo, fails to improve the performance of instance retrieval. In this work, we identify that the learnt representations for instance retrieval should be invariant to large variations in viewpoint and background etc., whereas self-augmented positives applied by the current SSL methods can not provide strong enough signals for learning robust instance-level representations. To overcome this problem, we propose InsCLR, a new SSL method that builds on the \textit{instance-level} contrast, to learn the intra-class invariance by dynamically mining meaningful pseudo positive samples from both mini-batches and a memory bank during training. Extensive experiments demonstrate that InsCLR achieves similar or even better performance than the state-of-the-art SSL methods on instance retrieval. Code is available at https://github.com/zeludeng/insclr.
• Abstract（参考訳）: 本研究の目的は,自己スーパービジョンによるインスタンス検索を改善することである。 最近開発されたSimCLRやMoCoのような自己教師付き(SSL)学習手法を用いた微調整では,インスタンス検索の性能が向上しないことがわかった。 本研究では,既存のSSL法で適用されている自己拡張正の手法は,強靭なインスタンスレベルの表現を学習するのに十分な信号を提供しられないのに対して,学習したインスタンス検索の表現は視点や背景などにおいて大きなバリエーションに不変であることを示す。 この問題を解決するために、トレーニング中にミニバッチとメモリバンクの両方から有意義な擬陽性サンプルを動的にマイニングすることでクラス内の不変性を学習するために、textit{instance-level}コントラストに基づく新しいSSLメソッドであるInsCLRを提案する。 大規模な実験では、InsCLRは、インスタンス検索における最先端のSSLメソッドと同じような、あるいはそれ以上のパフォーマンスを実現している。 コードはhttps://github.com/zeludeng/insclrで入手できる。

関連論文リスト

• BECLR: Batch Enhanced Contrastive Few-Shot Learning [1.450405446885067]
  教師なしの少数ショット学習は、トレーニング時にアノテーションへの依存を捨てることで、このギャップを埋めようとしている。 本稿では,高度に分離可能な潜在表現空間を促進するために,新しい動的クラスタ mEmory (DyCE) モジュールを提案する。 そして、数ショットの推論段階でサンプルバイアスの問題に取り組みます。
  論文  参考訳（メタデータ） (2024-02-04T10:52:43Z)
• Semantic Positive Pairs for Enhancing Visual Representation Learning of Instance Discrimination methods [4.680881326162484]
  インスタンス識別に基づく自己教師付き学習アルゴリズム(SSL)は有望な結果を示している。 類似したセマンティックコンテンツを用いてそれらの画像を識別し、肯定的な例として扱うアプローチを提案する。 我々は、ImageNet、STL-10、CIFAR-10の3つのベンチマークデータセットで、異なるインスタンス識別SSLアプローチで実験を行った。
  論文  参考訳（メタデータ） (2023-06-28T11:47:08Z)
• Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
  本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。 提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
  論文  参考訳（メタデータ） (2023-05-09T11:00:02Z)
• Improving Self-Supervised Learning by Characterizing Idealized Representations [155.1457170539049]
  与えられたデータ拡張に不変なタスクに対して必要かつ十分な条件を証明します。 対照的に、我々のフレームワークは、従来の手法に対して単純だが重要な改善を規定している。 非コントラスト学習では、私たちのフレームワークを使って、シンプルで斬新な目的を導き出します。
  論文  参考訳（メタデータ） (2022-09-13T18:01:03Z)
• On Higher Adversarial Susceptibility of Contrastive Self-Supervised Learning [104.00264962878956]
  コントラスト型自己教師学習(CSL)は,画像と映像の分類において,教師あり学習のパフォーマンスに適合するか上回っている。 2つの学習パラダイムによって誘導される表現の性質が似ているかどうかは、いまだに不明である。 我々は,CSL表現空間における単位超球面上のデータ表現の均一分布を,この現象の鍵となる要因として同定する。 CSLトレーニングでモデルロバスト性を改善するのにシンプルだが有効である戦略を考案する。
  論文  参考訳（メタデータ） (2022-07-22T03:49:50Z)
• Improving Self-supervised Learning with Hardness-aware Dynamic Curriculum Learning: An Application to Digital Pathology [2.2742357407157847]
  自己教師付き学習(SSL)は、最近、多くの画像解析タスクに有用な汎用的な視覚表現を学習する大きな可能性を示している。 既存のSSLメソッドは、ラベル付きトレーニングインスタンスの数が少ない場合や、転送ドメイン間のドメインシフトが重要である場合、ダウンストリームタスクに一般化できない。 本稿では,カリキュラム学習のレンズを用いて,自己指導型事前学習表現の改善を試みる。
  論文  参考訳（メタデータ） (2021-08-16T15:44:48Z)
• ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
  自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。 本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。 提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-07-20T06:53:07Z)
• On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
  最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。 これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
  論文  参考訳（メタデータ） (2021-01-18T10:12:31Z)
• Contrastive Learning with Adversarial Examples [79.39156814887133]
  コントラスト学習(Contrastive Learning, CL)は、視覚表現の自己教師型学習(SSL)において一般的な手法である。 本稿では,コンストラクティブ・ラーニングのための新しい逆例群を紹介し,これらの例を用いてCLAEと表記されるSSLの新しい逆トレーニングアルゴリズムを定義する。
  論文  参考訳（メタデータ） (2020-10-22T20:45:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。