論文の概要: Beyond Instance Discrimination: Relation-aware Contrastive Self-supervised Learning

• arxiv url: http://arxiv.org/abs/2211.01796v1
• Date: Wed, 2 Nov 2022 03:25:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-04 13:37:27.289677
• Title: Beyond Instance Discrimination: Relation-aware Contrastive Self-supervised Learning
• Title（参考訳）: インスタンス識別を超えて: コントラストを意識した自己教師付き学習
• Authors: Yifei Zhang, Chang Liu, Yu Zhou, Weiping Wang, Qixiang Ye, Xiangyang Ji
• Abstract要約: 本稿では,関係認識型コントラスト型自己教師型学習(ReCo)をインスタンス関係に統合するために提案する。 当社のReCoは、常に顕著なパフォーマンス改善を実現しています。
• 参考スコア（独自算出の注目度）: 75.46664770669949
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive self-supervised learning (CSL) based on instance discrimination typically attracts positive samples while repelling negatives to learn representations with pre-defined binary self-supervision. However, vanilla CSL is inadequate in modeling sophisticated instance relations, limiting the learned model to retain fine semantic structure. On the one hand, samples with the same semantic category are inevitably pushed away as negatives. On the other hand, differences among samples cannot be captured. In this paper, we present relation-aware contrastive self-supervised learning (ReCo) to integrate instance relations, i.e., global distribution relation and local interpolation relation, into the CSL framework in a plug-and-play fashion. Specifically, we align similarity distributions calculated between the positive anchor views and the negatives at the global level to exploit diverse similarity relations among instances. Local-level interpolation consistency between the pixel space and the feature space is applied to quantitatively model the feature differences of samples with distinct apparent similarities. Through explicitly instance relation modeling, our ReCo avoids irrationally pushing away semantically identical samples and carves a well-structured feature space. Extensive experiments conducted on commonly used benchmarks justify that our ReCo consistently gains remarkable performance improvements.
• Abstract（参考訳）: インスタンス識別に基づくコントラスト型自己教師学習(CSL)は、通常、正のサンプルを惹きつける一方で、事前に定義されたバイナリな自己監督で表現を学習する。 しかし、バニラCSLは洗練されたインスタンス関係のモデリングに不適であり、学習したモデルがセマンティック構造を微妙に保持することを制限する。 一方、同じ意味カテゴリーのサンプルは必然的に負として押し落とされる。 一方,試料間の差異は捕捉できない。 本稿では,reco(relation-aware contrastive self-supervised learning)を用いて,相互関係,すなわちグローバル分布関係と局所補間関係を,プラグ・アンド・プレイ方式でcslフレームワークに統合する。 具体的には,グローバルレベルでの正のアンカービューと負の類似度分布を一致させて,インスタンス間の多様な類似度関係を利用する。 ピクセル空間と特徴空間の間の局所レベルの補間一貫性を適用し、異なる類似性を持つサンプルの特徴差を定量的にモデル化する。 明示的なインスタンス関係モデリングを通じて、ReCoは意味論的に同一のサンプルを不合理にプッシュすることを避け、よく構造化された特徴空間を彫る。 一般的なベンチマークで行った広範囲な実験は、recoが一貫して著しいパフォーマンス改善をもたらすことを正当化します。

関連論文リスト

• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Cluster-aware Contrastive Learning for Unsupervised Out-of-distribution Detection [0.0]
  教師なしアウト・オブ・ディストリビューション(OOD)検出は、ラベル情報なしでトレーニングデータの分布外に落下するサンプルを分離することを目的としている。 本稿では,インスタンスレベルの情報と意味レベルの情報の両方を考慮した,教師なしOOD検出のためのクラスタ対応コントラスト学習(CCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-06T07:21:03Z)
• Extending Momentum Contrast with Cross Similarity Consistency Regularization [5.085461418671174]
  モーメントエンコーダユニットの遺産に基づく自己教師型表現学習手法であるExtended Momentum ContrastをMoCoファミリー構成で提案する。 交差一貫性規則の下では、任意の一対のイメージ(正あるいは負)に関連付けられた意味表現は、それらの相似性を維持するべきであると論じる。 我々は、標準のImagenet-1K線形ヘッド分類ベンチマークで競合性能を報告した。
  論文  参考訳（メタデータ） (2022-06-07T20:06:56Z)
• Similarity Contrastive Estimation for Self-Supervised Soft Contrastive Learning [0.41998444721319206]
  優れたデータ表現は、インスタンス間の関係、つまり意味的類似性を含んでいる、と我々は主張する。 類似性コントラスト推定(SCE)と呼ばれるインスタンス間の意味的類似性を用いたコントラスト学習の新しい定式化を提案する。 我々の訓練対象はソフトコントラスト学習と見なすことができる。
  論文  参考訳（メタデータ） (2021-11-29T15:19:15Z)
• Instance Similarity Learning for Unsupervised Feature Representation [83.31011038813459]
  教師なし特徴表現のための例類似性学習(ISL)手法を提案する。 我々はGAN(Generative Adversarial Networks)を用いて、基礎となる特徴多様体をマイニングする。 画像分類実験は, 最先端手法と比較して, 提案手法の優位性を示した。
  論文  参考訳（メタデータ） (2021-08-05T16:42:06Z)
• ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
  自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。 本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。 提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-07-20T06:53:07Z)
• Exploring Instance Relations for Unsupervised Feature Embedding [12.882929865091423]
  本稿では、インスタンス間マルチビュー関係と非監視機能埋め込みのインスタンス間関係について検討する。 提案手法はEIRと呼ばれ、単純なyet効果を持ち、既存のビュー不変のコントラストベースの手法に簡単に挿入できる。
  論文  参考訳（メタデータ） (2021-05-07T15:47:53Z)
• Unsupervised Feature Learning by Cross-Level Instance-Group Discrimination [68.83098015578874]
  我々は、インスタンスグループ化ではなく、クロスレベルな識別によって、インスタンス間の類似性を対照的な学習に統合する。 CLDは、教師なし学習を、自然データや現実世界のアプリケーションに効果的に近づける。 セルフスーパービジョン、セミスーパービジョン、トランスファーラーニングベンチマークに関する新たな最先端技術は、報告されたすべてのパフォーマンスでMoCo v2とSimCLRを上回っている。
  論文  参考訳（メタデータ） (2020-08-09T21:13:13Z)
• Learning from Aggregate Observations [82.44304647051243]
  本研究では,一組のインスタンスに監視信号が与えられる集合観察から学習する問題について検討する。 本稿では,多種多様な集合観測に適合する一般的な確率的枠組みを提案する。 単純な極大解は様々な微分可能なモデルに適用できる。
  論文  参考訳（メタデータ） (2020-04-14T06:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。