論文の概要: Rethinking the Sample Relations for Few-Shot Classification
- arxiv url: http://arxiv.org/abs/2501.13418v1
- Date: Thu, 23 Jan 2025 06:45:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-24 15:59:16.541282
- Title: Rethinking the Sample Relations for Few-Shot Classification
- Title（参考訳）: ファウショット分類におけるサンプル関係の再考
- Authors: Guowei Yin, Sheng Huang, Luwen Huangfu, Yi Zhang, Xiaohong Zhang,
- Abstract要約: MGRCL(Multi-Grained Relation Contrastive Learning)は、プレトレーニング済みの機能学習モデルである。
MGRCLはサンプル関係を3つのタイプに分類する: 同一試料の異なる変換の下でのサンプル内関係、同種試料のクラス内関係、不均一試料のクラス間関係。
- 参考スコア（独自算出の注目度）: 10.98165110941327
- License:
- Abstract: Feature quality is paramount for classification performance, particularly in few-shot scenarios. Contrastive learning, a widely adopted technique for enhancing feature quality, leverages sample relations to extract intrinsic features that capture semantic information and has achieved remarkable success in Few-Shot Learning (FSL). Nevertheless, current few-shot contrastive learning approaches often overlook the semantic similarity discrepancies at different granularities when employing the same modeling approach for different sample relations, which limits the potential of few-shot contrastive learning. In this paper, we introduce a straightforward yet effective contrastive learning approach, Multi-Grained Relation Contrastive Learning (MGRCL), as a pre-training feature learning model to boost few-shot learning by meticulously modeling sample relations at different granularities. MGRCL categorizes sample relations into three types: intra-sample relation of the same sample under different transformations, intra-class relation of homogenous samples, and inter-class relation of inhomogeneous samples. In MGRCL, we design Transformation Consistency Learning (TCL) to ensure the rigorous semantic consistency of a sample under different transformations by aligning predictions of input pairs. Furthermore, to preserve discriminative information, we employ Class Contrastive Learning (CCL) to ensure that a sample is always closer to its homogenous samples than its inhomogeneous ones, as homogenous samples share similar semantic content while inhomogeneous samples have different semantic content. Our method is assessed across four popular FSL benchmarks, showing that such a simple pre-training feature learning method surpasses a majority of leading FSL methods. Moreover, our method can be incorporated into other FSL methods as the pre-trained model and help them obtain significant performance gains.
- Abstract（参考訳）: 特徴品質は、特に数ショットのシナリオにおいて、分類性能において最重要である。
コントラスト学習(Contrastive Learning)は、特徴品質を高めるための広く採用されている手法であり、サンプル関係を利用して意味情報をキャプチャする固有の特徴を抽出し、Few-Shot Learning(FSL)において顕著な成功を収めた。
それにもかかわらず、現在の少数の対照的な学習アプローチは、異なるサンプル関係に対して同じモデリングアプローチを採用する際に、異なる粒度の意味的類似性の違いをしばしば見落としており、これは少数の対照的な学習の可能性を制限するものである。
本稿では,異なる粒度のサンプル関係を巧みにモデル化し,少数ショット学習を促進するための,直接的かつ効果的な比較学習手法であるMGRCL(Multi-Grained Relation Contrastive Learning)を導入する。
MGRCLはサンプル関係を3つのタイプに分類する: 同一試料の異なる変換の下でのサンプル内関係、同種試料のクラス内関係、不均一試料のクラス間関係。
MGRCLでは、入力ペアの予測を整列させることにより、異なる変換の下でサンプルの厳密なセマンティック一貫性を確保するために、変換一貫性学習(TCL)を設計する。
さらに, 識別情報を保存するため, 非均一なサンプルが類似のセマンティックな内容を共有する一方で, 不均一なサンプルが異なるセマンティックな内容を持つのに対して, サンプルが同種でないサンプルよりも常に同種に近いことを保証するために, CCL (Class Contrastive Learning) を用いる。
提案手法は4つのFSLベンチマークで評価され,このような単純な事前学習機能学習法が主要なFSL手法の大部分を超越していることが示されている。
さらに,本手法は事前学習モデルとして他のFSL手法に組み込むことができ,性能向上に役立てることができる。
関連論文リスト
- Contrastive Learning with Synthetic Positives [11.932323457691945]
近隣住民との対比学習は、最も効率的な自己教師付き学習(SSL)技術の1つであることが証明されている。
本稿では,NCLP(Contrastive Learning with Synthetic Positives)という新しいアプローチを提案する。
NCLPは、無条件拡散モデルによって生成された合成画像を利用して、モデルが多様な正から学ぶのに役立つ追加の正として利用する。
論文 参考訳（メタデータ） (2024-08-30T01:47:43Z) - CKD: Contrastive Knowledge Distillation from A Sample-wise Perspective [48.99488315273868]
本研究では,試料内およびサンプル間制約によるサンプルワイドアライメント問題として定式化できる,対照的な知識蒸留手法を提案する。
本手法は, 数値を考慮し, 同一試料中のロジット差を最小化する。
CIFAR-100, ImageNet-1K, MS COCOの3つのデータセットについて総合的な実験を行った。
論文 参考訳（メタデータ） (2024-04-22T11:52:40Z) - Self-Evolution Learning for Mixup: Enhance Data Augmentation on Few-Shot
Text Classification Tasks [75.42002070547267]
テキスト分類におけるデータ拡張のための自己進化学習(SE)に基づくミックスアップ手法を提案する。
モデル出力と原サンプルの1つのホットラベルを線形に補間して,新しい軟質なラベル混在を生成する,新しいインスタンス固有ラベル平滑化手法を提案する。
論文 参考訳（メタデータ） (2023-05-22T23:43:23Z) - Beyond Instance Discrimination: Relation-aware Contrastive
Self-supervised Learning [75.46664770669949]
本稿では,関係認識型コントラスト型自己教師型学習(ReCo)をインスタンス関係に統合するために提案する。
当社のReCoは、常に顕著なパフォーマンス改善を実現しています。
論文 参考訳（メタデータ） (2022-11-02T03:25:28Z) - Contrastive Principal Component Learning: Modeling Similarity by
Augmentation Overlap [50.48888534815361]
コントラシブ・プリンシパル・コンポーネント・ラーニング(CPCL)手法を提案する。
CPCLにより、学習された低次元埋め込みは、標本間の増大分布の類似性を理論的に保存する。
論文 参考訳（メタデータ） (2022-06-01T13:03:58Z) - Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。
提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。
実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
論文 参考訳（メタデータ） (2022-03-16T16:14:19Z) - ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。
本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。
提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
論文 参考訳（メタデータ） (2021-07-20T06:53:07Z) - Exploring Complementary Strengths of Invariant and Equivariant
Representations for Few-Shot Learning [96.75889543560497]
多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。
少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。
幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
論文 参考訳（メタデータ） (2021-03-01T21:14:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。