論文の概要: BECLR: Batch Enhanced Contrastive Few-Shot Learning

• arxiv url: http://arxiv.org/abs/2402.02444v1
• Date: Sun, 4 Feb 2024 10:52:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 19:36:27.638251
• Title: BECLR: Batch Enhanced Contrastive Few-Shot Learning
• Title（参考訳）: BECLR: コントラストの少ない学習のバッチ化
• Authors: Stylianos Poulakakis-Daktylidis and Hadi Jamali-Rad
• Abstract要約: 教師なしの少数ショット学習は、トレーニング時にアノテーションへの依存を捨てることで、このギャップを埋めようとしている。 本稿では,高度に分離可能な潜在表現空間を促進するために,新しい動的クラスタ mEmory (DyCE) モジュールを提案する。 そして、数ショットの推論段階でサンプルバイアスの問題に取り組みます。
• 参考スコア（独自算出の注目度）: 1.450405446885067
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning quickly from very few labeled samples is a fundamental attribute that separates machines and humans in the era of deep representation learning. Unsupervised few-shot learning (U-FSL) aspires to bridge this gap by discarding the reliance on annotations at training time. Intrigued by the success of contrastive learning approaches in the realm of U-FSL, we structurally approach their shortcomings in both pretraining and downstream inference stages. We propose a novel Dynamic Clustered mEmory (DyCE) module to promote a highly separable latent representation space for enhancing positive sampling at the pretraining phase and infusing implicit class-level insights into unsupervised contrastive learning. We then tackle the, somehow overlooked yet critical, issue of sample bias at the few-shot inference stage. We propose an iterative Optimal Transport-based distribution Alignment (OpTA) strategy and demonstrate that it efficiently addresses the problem, especially in low-shot scenarios where FSL approaches suffer the most from sample bias. We later on discuss that DyCE and OpTA are two intertwined pieces of a novel end-to-end approach (we coin as BECLR), constructively magnifying each other's impact. We then present a suite of extensive quantitative and qualitative experimentation to corroborate that BECLR sets a new state-of-the-art across ALL existing U-FSL benchmarks (to the best of our knowledge), and significantly outperforms the best of the current baselines (codebase available at: https://github.com/stypoumic/BECLR).
• Abstract（参考訳）: 非常に少ないラベル付きサンプルから素早く学習することは、深層表現学習の時代に機械と人間を分離する基本的な属性である。 Unsupervised few-shot Learning (U-FSL) は、トレーニング時にアノテーションへの依存を捨てることで、このギャップを埋めようとしている。 U-FSLの領域における対照的な学習手法の成功により、我々は事前学習と下流推論の段階において、それらの欠点に構造的にアプローチする。 本稿では,事前学習段階における正のサンプリングと教師なしコントラスト学習への暗黙のクラスレベルの洞察の活用のために,高度に分離可能な潜在表現空間を促進する新しい動的クラスタメモリ(dyce)モジュールを提案する。 そして、数発の推論段階におけるサンプルバイアスの問題に、何か見過ごされながら批判的な問題に取り組もう。 本稿では,FSLアプローチがサンプルバイアスに最も悩まされるローショットシナリオにおいて,OpTA(Optimal Transport-based Distribution Alignment)戦略を反復的に提案し,この問題に効果的に対処できることを実証する。 後に、dyce と opta は、新しいエンドツーエンドアプローチ(beclr という造語)の2つの相互に絡み合っており、相互の影響を構成的に拡大していると論じた。 次に、BECLRが既存のすべてのU-FSLベンチマークにまたがる新しい最先端のステート・オブ・ザ・アートを(私たちの知る限りでは)設定し、現在のベースライン(コードベース:https://github.com/stypoumic/BECLR.com/stypoumic/BECLR.comで利用可能なコードベース)の最高のパフォーマンスを著しく上回ります。

関連論文リスト

• CLOSER: Towards Better Representation Learning for Few-Shot Class-Incremental Learning [52.63674911541416]
  FSCIL(Few-shot class-incremental Learning)は、過剰適合や忘れなど、いくつかの課題に直面している。 FSCILの独特な課題に取り組むため、ベースクラスでの表現学習に重点を置いている。 より制限された機能空間内で機能の拡散を確保することで、学習された表現が、伝達可能性と識別可能性のバランスを良くすることが可能になることが分かりました。
  論文  参考訳（メタデータ） (2024-10-08T02:23:16Z)
• ItTakesTwo: Leveraging Peer Representations for Semi-supervised LiDAR Semantic Segmentation [24.743048965822297]
  本稿では,ItTakesTwo (IT2) と呼ばれる半教師付きLiDARセマンティックセマンティックセマンティクスフレームワークを提案する。 IT2は、ピアLiDAR表現からの一貫性のある予測を保証するために設計されており、一貫性学習における摂動効率を改善する。 その結果,本手法は従来のSOTA法よりも顕著に改善されていることがわかった。
  論文  参考訳（メタデータ） (2024-07-09T18:26:53Z)
• FUSSL: Fuzzy Uncertain Self Supervised Learning [8.31483061185317]
  自己教師付き学習(SSL)は、アノテーションを使わずにラベルなしデータのパワーを活用するための、非常に成功した技術になっています。 本稿では,単一スーパーバイザ信号の使用によるSSLの基本的限界を初めて認識する。 SSLベースラインに対して,堅牢で汎用的な階層型学習/学習プロトコルを提案する。
  論文  参考訳（メタデータ） (2022-10-28T01:06:10Z)
• Self-Attention Message Passing for Contrastive Few-Shot Learning [2.1485350418225244]
  教師なしの少ショット学習は、機械と人間のギャップを埋めることである。 本稿では,U-FSL事前学習のための自己注意型メッセージパスコントラスト学習手法(SAMP-CLR)を提案する。 また,OpT-Tune をベースとした最適トランスポート(OT)に基づく微調整戦略を提案し,タスク認識を新しいエンドツーエンドの非教師なし小ショット分類フレームワーク (SAMPTransfer) に効率的に誘導する。
  論文  参考訳（メタデータ） (2022-10-12T15:57:44Z)
• Few-Shot Classification with Contrastive Learning [10.236150550121163]
  両段階に比較学習をシームレスに統合する,新しいコントラスト学習ベースのフレームワークを提案する。 メタトレーニングの段階において,同エピソードの2つの異なる視点から最寄りのセントロイド分類を行うための,クロスビュー・エピソード・トレーニング機構を提案する。 これらの2つの戦略は、ビュー間のバイアスを克服し、表現の転送可能性を促進するようモデルに強制する。
  論文  参考訳（メタデータ） (2022-09-17T02:39:09Z)
• Decoupled Adversarial Contrastive Learning for Self-supervised Adversarial Robustness [69.39073806630583]
  頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。 Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-22T06:30:44Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for Open-Set Semi-Supervised Learning [101.28281124670647]
  オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。 我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。 我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
  論文  参考訳（メタデータ） (2021-08-12T09:14:44Z)
• Contrastive Prototype Learning with Augmented Embeddings for Few-Shot Learning [58.2091760793799]
  拡張埋め込み(CPLAE)モデルを用いた新しいコントラスト型プロトタイプ学習を提案する。 クラスプロトタイプをアンカーとして、CPLは、同じクラスのクエリサンプルを、異なるクラスのサンプルを、さらに遠くに引き出すことを目的としている。 いくつかのベンチマークによる大規模な実験により,提案したCPLAEが新たな最先端を実現することが示された。
  論文  参考訳（メタデータ） (2021-01-23T13:22:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。