論文の概要: Mutual Contrastive Learning for Visual Representation Learning

• arxiv url: http://arxiv.org/abs/2104.12565v1
• Date: Mon, 26 Apr 2021 13:32:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-27 14:33:34.261163
• Title: Mutual Contrastive Learning for Visual Representation Learning
• Title（参考訳）: 視覚表現学習のための相互コントラスト学習
• Authors: Chuanguang Yang, Zhulin An, Linhang Cai, Yongjun Xu
• Abstract要約: 本稿では,汎用視覚表現学習のための相互コントラスト学習(mcl)と呼ばれる協調学習手法を提案する。 mclの利点により、各モデルは他のモデルからさらに対照的な知識を学べ、より有意義な特徴表現に繋がる。 教師付きおよび自己教師付き画像分類、転送学習および少数ショット学習の実験結果は、mclが一貫したパフォーマンス向上をもたらすことを示している。
• 参考スコア（独自算出の注目度）: 1.9355744690301404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a collaborative learning method called Mutual Contrastive Learning (MCL) for general visual representation learning. The core idea of MCL is to perform mutual interaction and transfer of contrastive distributions among a cohort of models. Benefiting from MCL, each model can learn extra contrastive knowledge from others, leading to more meaningful feature representations for visual recognition tasks. We emphasize that MCL is conceptually simple yet empirically powerful. It is a generic framework that can be applied to both supervised and self-supervised representation learning. Experimental results on supervised and self-supervised image classification, transfer learning and few-shot learning show that MCL can lead to consistent performance gains, demonstrating that MCL can guide the network to generate better feature representations.
• Abstract（参考訳）: 本稿では,汎用視覚表現学習のための相互コントラスト学習(mcl)と呼ばれる協調学習手法を提案する。 MCLの中核となる考え方は、モデルのコホート間の相互相互作用と対照的分布の移動である。 MCLから恩恵を受けるため、各モデルは他者からさらにコントラスト的な知識を学ぶことができ、視覚認識タスクにおいてより有意義な特徴表現をもたらす。 MCLは概念的にはシンプルですが、経験的に強力です。 教師付き表現学習と自己教師付き表現学習の両方に適用可能な汎用フレームワークである。 教師付きおよび自己教師型画像分類,転送学習,少数ショット学習による実験結果から,MCLが一貫した性能向上につながることが確認された。

関連論文リスト

• X-Former: Unifying Contrastive and Reconstruction Learning for MLLMs [49.30255148577368]
  X-FormerはCLとMIMの相補的な強度を利用するために設計された軽量トランスフォーマーモジュールである。 X-Formerは、2つの凍結した視覚エンコーダから視覚言語表現学習とマルチモーダル・マルチモーダル生成学習をブートストラップする。 さらに、凍結したLLMから視覚から言語への生成学習をブートストラップし、X-Formerの視覚的特徴をLLMで解釈できるようにする。
  論文  参考訳（メタデータ） (2024-07-18T18:39:54Z)
• Harmony: A Joint Self-Supervised and Weakly-Supervised Framework for Learning General Purpose Visual Representations [6.990891188823598]
  本稿では,視覚的特徴を学習するために,視覚言語学習と識別的・生成的自己スーパービジョンを組み合わせたフレームワークであるHarmonyを紹介する。 当社のフレームワークは, ネガティブな例に頼らず, 1対1の対応問題に対処することで, ウェブスクラッドデータに特化して動作するように設計されている。
  論文  参考訳（メタデータ） (2024-05-23T07:18:08Z)
• A Probabilistic Model behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 識別性SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示す。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs [50.77984109941538]
  近年のマルチモーダル LLM の視覚能力は, いまだに系統的な欠点を呈している。 CLIP-blind pairs'(CLIP-blind pairs)を識別する。 様々なCLIPに基づく視覚・言語モデルの評価を行い、CLIPモデルに挑戦する視覚パターンとマルチモーダルLLMの問題との間に顕著な相関関係を見出した。
  論文  参考訳（メタデータ） (2024-01-11T18:58:36Z)
• Understanding Transferable Representation Learning and Zero-shot Transfer in CLIP [84.90129481336659]
  CLIPの基盤となるトランスファーブル表現学習について検討し、異なるモダリティの特徴の整合性を実証する。 そこで本研究では,ベンチマークデータセット上でのCLIPや他の最先端手法よりも優れた性能を実現するCLIP型アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-02T06:41:30Z)
• Semantically Consistent Multi-view Representation Learning [11.145085584637744]
  SCMRL(Semantically Consistent Multi-view Representation Learning)を提案する。 SCMRLは、基礎となる多視点セマンティックコンセンサス情報を抽出し、その情報を利用して、統合された特徴表現学習を導く。 いくつかの最先端のアルゴリズムと比較して、広範な実験はその優位性を示している。
  論文  参考訳（メタデータ） (2023-03-08T04:27:46Z)
• Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
  非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。 我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
  論文  参考訳（メタデータ） (2022-10-17T17:57:46Z)
• Online Knowledge Distillation via Mutual Contrastive Learning for Visual Recognition [27.326420185846327]
  オンライン知識蒸留(KD)のための相互コントラスト学習(MCL)フレームワークを提案する。 我々のMCLは、クロスネットワーク埋め込み情報を集約し、2つのネットワーク間の相互情報に対する低境界を最大化することができる。 画像分類と視覚認識タスクへの変換学習の実験は、階層的MCLが一貫した性能向上につながることを示す。
  論文  参考訳（メタデータ） (2022-07-23T13:39:01Z)
• Representation Learning via Consistent Assignment of Views to Clusters [0.7614628596146599]
  Consistent Assignment for Representation Learning (CARL)は、視覚表現を学習するための教師なし学習手法である。 CARLはクラスタリングの観点から対照的な学習を眺めることで、一般的なプロトタイプの集合を学習することで教師なし表現を学習する。 深層クラスタリングによるコントラスト学習に関する現代の研究とは異なり、CARLはオンライン方式で一般的なプロトタイプのセットを学ぶことを提案する。
  論文  参考訳（メタデータ） (2021-12-31T12:59:23Z)
• 3D Human Action Representation Learning via Cross-View Consistency Pursuit [52.19199260960558]
  教師なし3次元骨格に基づく行動表現(CrosSCLR)のためのクロスビューコントラスト学習フレームワークを提案する。 CrosSCLRは、シングルビューのコントラスト学習(SkeletonCLR)とクロスビューの一貫した知識マイニング(CVC-KM)モジュールの両方で構成されています。
  論文  参考訳（メタデータ） (2021-04-29T16:29:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。