論文の概要: Few-Shot Classification with Contrastive Learning

• arxiv url: http://arxiv.org/abs/2209.08224v1
• Date: Sat, 17 Sep 2022 02:39:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 17:52:49.369508
• Title: Few-Shot Classification with Contrastive Learning
• Title（参考訳）: コントラスト学習によるマイトショット分類
• Authors: Zhanyuan Yang, Jinghua Wang, Yingying Zhu
• Abstract要約: 両段階に比較学習をシームレスに統合する,新しいコントラスト学習ベースのフレームワークを提案する。 メタトレーニングの段階において,同エピソードの2つの異なる視点から最寄りのセントロイド分類を行うための,クロスビュー・エピソード・トレーニング機構を提案する。 これらの2つの戦略は、ビュー間のバイアスを克服し、表現の転送可能性を促進するようモデルに強制する。
• 参考スコア（独自算出の注目度）: 10.236150550121163
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A two-stage training paradigm consisting of sequential pre-training and meta-training stages has been widely used in current few-shot learning (FSL) research. Many of these methods use self-supervised learning and contrastive learning to achieve new state-of-the-art results. However, the potential of contrastive learning in both stages of FSL training paradigm is still not fully exploited. In this paper, we propose a novel contrastive learning-based framework that seamlessly integrates contrastive learning into both stages to improve the performance of few-shot classification. In the pre-training stage, we propose a self-supervised contrastive loss in the forms of feature vector vs. feature map and feature map vs. feature map, which uses global and local information to learn good initial representations. In the meta-training stage, we propose a cross-view episodic training mechanism to perform the nearest centroid classification on two different views of the same episode and adopt a distance-scaled contrastive loss based on them. These two strategies force the model to overcome the bias between views and promote the transferability of representations. Extensive experiments on three benchmark datasets demonstrate that our method achieves competitive results.
• Abstract（参考訳）: 逐次事前トレーニングとメタトレーニングの2段階のトレーニングパラダイムは、現在のマイノリティ・ショット・ラーニング(fsl)研究で広く使われている。 これらの手法の多くは、新しい最先端の成果を達成するために、自己教師付き学習とコントラスト学習を用いる。 しかし、FSLトレーニングパラダイムの両段階におけるコントラスト学習の可能性はまだ十分に活用されていない。 本稿では,コントラスト学習を両段階にシームレスに統合し,一括分類の性能を向上する,新しいコントラスト学習ベースのフレームワークを提案する。 事前学習の段階では,特徴ベクトル対特徴マップと特徴マップ対特徴マップの形式での自己教師付きコントラストロスを提案し,グローバルおよびローカル情報を用いて優れた初期表現を学習する。 メタトレーニング段階では,同一エピソードの2つの異なる視点で最寄りのセントロイド分類を行い,それらに基づいて距離スケールのコントラスト損失を採用するクロスビュー・エピソディック・トレーニング機構を提案する。 これら2つの戦略は、ビュー間のバイアスを克服し、表現の転送可能性を促進する。 3つのベンチマークデータセットの大規模な実験により,本手法が競合する結果が得られることが示された。

関連論文リスト

• Bayesian Learning-driven Prototypical Contrastive Loss for Class-Incremental Learning [42.14439854721613]
  本稿では,クラス増分学習シナリオに特化して,ベイズ学習駆動型コントラスト損失(BLCL)を持つプロトタイプネットワークを提案する。 提案手法は,ベイズ学習手法を用いて,クロスエントロピーとコントラスト損失関数のバランスを動的に適用する。
  論文  参考訳（メタデータ） (2024-05-17T19:49:02Z)
• Towards Seamless Adaptation of Pre-trained Models for Visual Place Recognition [72.35438297011176]
  視覚的位置認識のための事前学習モデル(VPR)のシームレスな適応を実現する新しい手法を提案する。 具体的には、地域を識別するための有意義なランドマークに焦点を当てたグローバルな特徴とローカルな特徴の両方を得るために、ハイブリッド適応法を設計する。 実験結果から,本手法はトレーニングデータやトレーニング時間が少なく,最先端の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-02-22T12:55:01Z)
• BECLR: Batch Enhanced Contrastive Few-Shot Learning [1.450405446885067]
  教師なしの少数ショット学習は、トレーニング時にアノテーションへの依存を捨てることで、このギャップを埋めようとしている。 本稿では,高度に分離可能な潜在表現空間を促進するために,新しい動的クラスタ mEmory (DyCE) モジュールを提案する。 そして、数ショットの推論段階でサンプルバイアスの問題に取り組みます。
  論文  参考訳（メタデータ） (2024-02-04T10:52:43Z)
• Scaling Multimodal Pre-Training via Cross-Modality Gradient Harmonization [68.49738668084693]
  自己教師付き事前学習は、最近、大規模マルチモーダルデータで成功している。 クロスモダリティアライメント(CMA)は、弱くノイズの多い監視である。 CMAは、モダリティ間の衝突や偏見を引き起こす可能性がある。
  論文  参考訳（メタデータ） (2022-11-03T18:12:32Z)
• DUET: Cross-modal Semantic Grounding for Contrastive Zero-shot Learning [37.48292304239107]
  本稿では, DUET という変換器を用いたエンドツーエンドZSL手法を提案する。 画像からセマンティック属性を分離するモデルの能力を調べるために,モーダルなセマンティックグラウンドネットワークを開発した。 DUETは、しばしば最先端のパフォーマンスを達成することができ、そのコンポーネントは有効であり、予測は解釈可能である。
  論文  参考訳（メタデータ） (2022-07-04T11:12:12Z)
• Mimicking the Oracle: An Initial Phase Decorrelation Approach for Class Incremental Learning [141.35105358670316]
  本研究では,Na"訓練初期相モデルとオラクルモデルとの相違について検討する。 より均一に散らばるように,各クラスの表現を効果的に正規化するクラスワイド・デコレーション(CwD)を提案する。 私たちのCwDは実装が簡単で、既存のメソッドに簡単にプラグインできます。
  論文  参考訳（メタデータ） (2021-12-09T07:20:32Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• Partner-Assisted Learning for Few-Shot Image Classification [54.66864961784989]
  人間の視覚能力を模倣し、徹底的な人間のアノテーションを必要とせずに効果的なモデルを学ぶために、わずかなショットラーニングが研究されている。 本稿では,新しいクラスのプロトタイプをラベル付きサンプルから推定できるように,要素表現を得るためのトレーニング戦略の設計に焦点をあてる。 本稿では,まずパートナーエンコーダのペアワイド類似性をモデル化し,ソフトアンカーとして機能する特徴を抽出し,その出力をソフトアンカーと整列させ,分類性能を最大化しようとする2段階トレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T22:46:19Z)
• Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
  2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。 まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。 第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2021-01-20T11:48:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。