論文の概要: Self-Attention Message Passing for Contrastive Few-Shot Learning
- arxiv url: http://arxiv.org/abs/2210.06339v1
- Date: Wed, 12 Oct 2022 15:57:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 15:06:51.142841
- Title: Self-Attention Message Passing for Contrastive Few-Shot Learning
- Title（参考訳）: コントラスト学習のための自己注意メッセージパッシング
- Authors: Ojas Kishorkumar Shirekar, Anuj Singh, Hadi Jamali-Rad
- Abstract要約: 教師なしの少ショット学習は、機械と人間のギャップを埋めることである。
本稿では,U-FSL事前学習のための自己注意型メッセージパスコントラスト学習手法(SAMP-CLR)を提案する。
また,OpT-Tune をベースとした最適トランスポート(OT)に基づく微調整戦略を提案し,タスク認識を新しいエンドツーエンドの非教師なし小ショット分類フレームワーク (SAMPTransfer) に効率的に誘導する。
- 参考スコア（独自算出の注目度）: 2.1485350418225244
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Humans have a unique ability to learn new representations from just a handful
of examples with little to no supervision. Deep learning models, however,
require an abundance of data and supervision to perform at a satisfactory
level. Unsupervised few-shot learning (U-FSL) is the pursuit of bridging this
gap between machines and humans. Inspired by the capacity of graph neural
networks (GNNs) in discovering complex inter-sample relationships, we propose a
novel self-attention based message passing contrastive learning approach
(coined as SAMP-CLR) for U-FSL pre-training. We also propose an optimal
transport (OT) based fine-tuning strategy (we call OpT-Tune) to efficiently
induce task awareness into our novel end-to-end unsupervised few-shot
classification framework (SAMPTransfer). Our extensive experimental results
corroborate the efficacy of SAMPTransfer in a variety of downstream few-shot
classification scenarios, setting a new state-of-the-art for U-FSL on both
miniImagenet and tieredImagenet benchmarks, offering up to 7%+ and 5%+
improvements, respectively. Our further investigations also confirm that
SAMPTransfer remains on-par with some supervised baselines on miniImagenet and
outperforms all existing U-FSL baselines in a challenging cross-domain
scenario. Our code can be found in our GitHub repository at
https://github.com/ojss/SAMPTransfer/.
- Abstract（参考訳）: 人間は、わずかな例から新しい表現をほとんど監督せずに学習するユニークな能力を持っている。
しかし、ディープラーニングモデルは、十分なレベルで実行するために大量のデータと監督を必要とする。
unsupervised few-shot learning (u-fsl)は、機械と人間の間のギャップを埋めることを目的としている。
複雑なサンプル間関係の発見におけるグラフニューラルネットワーク(GNN)の能力に着想を得て,U-FSL事前学習のための新しい自己認識型メッセージパスコントラスト学習手法(SAMP-CLR)を提案する。
また,OpT-Tune をベースとした最適トランスポート(OT)に基づく微調整戦略を提案し,タスク認識を新しいエンドツーエンドの非教師なし小ショット分類フレームワーク (SAMPTransfer) に効率的に誘導する。
実験の結果,SAMPTransferの様々なダウンストリーム数ショット分類シナリオにおける有効性が相関し, miniImagenet と tieredImagenet のベンチマークで U-FSL の新たな最先端性を設定し,それぞれ7%以上と5%以上の改善を実現した。
さらなる調査では、SAMPTransferは miniImagenet の教師付きベースラインと同等であり、挑戦的なクロスドメインシナリオにおいて既存の U-FSL ベースラインを上回ります。
私たちのコードはGitHubリポジトリのhttps://github.com/ojss/SAMPTransfer/にある。
関連論文リスト
- Intra-task Mutual Attention based Vision Transformer for Few-Shot Learning [12.5354658533836]
人間は、ほんのわずかの例に晒された後に、新しい、目に見えない画像を正確に分類する能力を持っている。
人工ニューラルネットワークモデルでは、限られたサンプルを持つ2つのイメージを区別する最も関連性の高い特徴を決定することが課題である。
本稿では,サポートとクエリサンプルをパッチに分割するタスク内相互注意手法を提案する。
論文 参考訳（メタデータ） (2024-05-06T02:02:57Z) - BECLR: Batch Enhanced Contrastive Few-Shot Learning [1.450405446885067]
教師なしの少数ショット学習は、トレーニング時にアノテーションへの依存を捨てることで、このギャップを埋めようとしている。
本稿では,高度に分離可能な潜在表現空間を促進するために,新しい動的クラスタ mEmory (DyCE) モジュールを提案する。
そして、数ショットの推論段階でサンプルバイアスの問題に取り組みます。
論文 参考訳（メタデータ） (2024-02-04T10:52:43Z) - MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。
所望のプロパティを統一する単段および単段のMOCAを提案する。
我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
論文 参考訳（メタデータ） (2023-07-18T15:46:20Z) - Siamese Prototypical Contrastive Learning [24.794022951873156]
コントラスト型自己教師学習(Contrastive Self-supervised Learning, CSL)は、大規模データから意味のある視覚的表現を教師なしアプローチで学習する実践的ソリューションである。
本稿では,単純かつ効果的なコントラスト学習フレームワークを導入することで,この問題に対処する。
重要な洞察は、シアメスタイルのメートル法損失を用いて、原型間特徴間の距離を増大させながら、原型内特徴と一致させることである。
論文 参考訳（メタデータ） (2022-08-18T13:25:30Z) - Learning to Win Lottery Tickets in BERT Transfer via Task-agnostic Mask
Training [55.43088293183165]
近年の研究では、BERTのような事前学習言語モデル(PLM)には、元のPLMと同じような変換学習性能を持つマッチングワークが含まれていることが示されている。
本稿では, BERTworksがこれらの研究で示された以上の可能性を秘めていることを示す。
我々は、サブネットワークの普遍的な転送可能性を維持することを目的として、事前学習タスクのモデル重みよりも二項マスクを訓練する。
論文 参考訳（メタデータ） (2022-04-24T08:42:47Z) - Pushing the Limits of Simple Pipelines for Few-Shot Learning: External
Data and Fine-Tuning Make a Difference [74.80730361332711]
コンピュータビジョンにおいて、ほとんどショット学習は重要かつトピック的な問題である。
単純なトランスフォーマーベースのパイプラインは、標準ベンチマークで驚くほど優れたパフォーマンスが得られることを示す。
論文 参考訳（メタデータ） (2022-04-15T02:55:58Z) - Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for
Open-Set Semi-Supervised Learning [101.28281124670647]
オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。
我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。
我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
論文 参考訳（メタデータ） (2021-08-12T09:14:44Z) - Learning Invariant Representations across Domains and Tasks [81.30046935430791]
本稿では,この教師なしタスク転送問題を解決するための新しいタスク適応ネットワーク(tan)を提案する。
ドメイン・アドバーサル・トレーニングによる伝達可能な機能を学習することに加えて、学習から学習への戦略を用いてタスクの意味を適応させる新しいタスク・セマンティクス・アダプタを提案する。
TANは最近の強いベースラインに比べてリコールとF1スコアを5.0%と7.8%大きく向上させた。
論文 参考訳（メタデータ） (2021-03-03T11:18:43Z) - PTN: A Poisson Transfer Network for Semi-supervised Few-shot Learning [21.170726615606185]
半教師付き小ショット学習のためのラベルのない情報をマイニングするためのPoisson Transfer Network (PTN)を提案する。
提案手法は,少数のラベル付きデータに対する過剰フィッティング問題を軽減するために,新規クラスの埋め込みを暗黙的に学習する。
論文 参考訳（メタデータ） (2020-12-20T04:44:37Z) - TAFSSL: Task-Adaptive Feature Sub-Space Learning for few-shot
classification [50.358839666165764]
本稿では,タスク適応機能サブスペース学習(TAFSSL)により,Few-Shot Learningシナリオの性能を大幅に向上させることができることを示す。
具体的には、挑戦的な miniImageNet と tieredImageNet ベンチマークにおいて、TAFSSL はトランスダクティブおよび半教師付き FSL 設定の両方で現在の状態を改善することができることを示しています。
論文 参考訳（メタデータ） (2020-03-14T16:59:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。