論文の概要: Pushing the Limits of Simple Pipelines for Few-Shot Learning: External Data and Fine-Tuning Make a Difference

• arxiv url: http://arxiv.org/abs/2204.07305v1
• Date: Fri, 15 Apr 2022 02:55:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-18 22:27:03.065486
• Title: Pushing the Limits of Simple Pipelines for Few-Shot Learning: External Data and Fine-Tuning Make a Difference
• Title（参考訳）: Few-Shot Learningのための単純なパイプラインの限界を押し上げる:外部データと微調整の違い
• Authors: Shell Xu Hu and Da Li and Jan St\"uhmer and Minyoung Kim and Timothy M. Hospedales
• Abstract要約: コンピュータビジョンにおいて、ほとんどショット学習は重要かつトピック的な問題である。 単純なトランスフォーマーベースのパイプラインは、標準ベンチマークで驚くほど優れたパフォーマンスが得られることを示す。
• 参考スコア（独自算出の注目度）: 74.80730361332711
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Few-shot learning (FSL) is an important and topical problem in computer vision that has motivated extensive research into numerous methods spanning from sophisticated meta-learning methods to simple transfer learning baselines. We seek to push the limits of a simple-but-effective pipeline for more realistic and practical settings of few-shot image classification. To this end, we explore few-shot learning from the perspective of neural network architecture, as well as a three stage pipeline of network updates under different data supplies, where unsupervised external data is considered for pre-training, base categories are used to simulate few-shot tasks for meta-training, and the scarcely labelled data of an novel task is taken for fine-tuning. We investigate questions such as: (1) How pre-training on external data benefits FSL? (2) How state-of-the-art transformer architectures can be exploited? and (3) How fine-tuning mitigates domain shift? Ultimately, we show that a simple transformer-based pipeline yields surprisingly good performance on standard benchmarks such as Mini-ImageNet, CIFAR-FS, CDFSL and Meta-Dataset. Our code and demo are available at https://hushell.github.io/pmf.
• Abstract（参考訳）: FSL(Few-shot Learning)はコンピュータビジョンにおける重要かつ話題的な問題であり、高度なメタラーニング手法から単純なトランスファーラーニングベースラインまで幅広い手法の研究を動機付けてきた。 我々は、より現実的で実用的な数ショット画像分類のために、単純だが効果的なパイプラインの限界を推し進めようとしている。 そこで本研究では,ニューラルネットワークアーキテクチャの観点から,非教師なしの外部データを事前トレーニングに利用し,ベースカテゴリを用いてメタトレーニングのための少数ショットタスクをシミュレートし,新しいタスクの少ないラベル付きデータを微調整する,ネットワーク更新の3段階パイプラインについて検討する。 1)外部データによる事前学習はFSLにどのような効果があるのか? (2)最先端のトランスフォーマーアーキテクチャをどのように活用できるか? 3) 微調整がドメインシフトをいかに緩和するか? 最終的に、単純なトランスフォーマーベースのパイプラインは、Mini-ImageNet、CIFAR-FS、CDFSL、Meta-Datasetといった標準ベンチマークで驚くほど優れたパフォーマンスが得られることを示す。 私たちのコードとデモはhttps://hushell.github.io/pmfで利用可能です。

関連論文リスト

• Many or Few Samples? Comparing Transfer, Contrastive and Meta-Learning in Encrypted Traffic Classification [68.19713459228369]
  我々は、トランスファーラーニング、メタラーニング、コントラストラーニングを、参照機械学習(ML)ツリーベースおよびモノリシックDLモデルと比較する。 i) 大規模なデータセットを用いて,より一般的な表現を得られること,(ii) コントラスト学習が最良の手法であることを示している。 MLツリーベースでは大きなタスクは処理できないが、学習した表現を再利用することで、小さなタスクにも適合するが、DLメソッドはツリーベースモデルのパフォーマンスにも到達している。
  論文  参考訳（メタデータ） (2023-05-21T11:20:49Z)
• Strong Baselines for Parameter Efficient Few-Shot Fine-tuning [50.83426196335385]
  FSC (Few-shot Classification) は、事前訓練(メタトレーニング)フェーズの後にクラス毎にいくつかの例を与えられた新しいクラスを学習する。 近年の研究では、新しいテストクラスで事前訓練された視覚変換器(ViT)を微調整することが、FSCにとって強力なアプローチであることが示されている。 しかし、微調整のViTは、時間、計算、ストレージに費用がかかる。 これにより、Transformerのパラメータのごく一部だけを微調整するPEFT法が考案された。
  論文  参考訳（メタデータ） (2023-04-04T16:14:39Z)
• FiT: Parameter Efficient Few-shot Transfer Learning for Personalized and Federated Image Classification [47.24770508263431]
  画像分類における要件を満たすFiLM Transfer (FiT) を開発した。 FiTは、大規模な画像データセットで事前トレーニングされた固定バックボーンの上に、自動的に設定されたNaive Bayes分類器を使用する。 本研究では, 最先端のBig Transfer (BiT) アルゴリズムよりも, ローショット, 挑戦的なVTAB-1kベンチマークにおいて, 高い分類精度が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-17T10:17:20Z)
• Task-Customized Self-Supervised Pre-training with Scalable Dynamic Routing [76.78772372631623]
  セルフ教師付き事前トレーニングの一般的な実践は、できるだけ多くのデータを使用することである。 しかし、特定のダウンストリームタスクでは、事前トレーニングで無関係なデータを含むと、ダウンストリームのパフォーマンスが低下する可能性がある。 異なるタスクのための事前トレーニングで、異なるダウンストリームタスクにカスタマイズされたデータセットを使用することは、重荷であり、実現不可能である。
  論文  参考訳（メタデータ） (2022-05-26T10:49:43Z)
• Towards Efficient and Data Agnostic Image Classification Training Pipeline for Embedded Systems [0.0]
  本研究は,画像分類における最新の拡張および正規化手法の見直しに重点を置いている。 各タスクにパラメータを手動で調整することなく、様々なダウンストリーム画像分類タスクにおいて合理的なパフォーマンスを実現することができる。 結果モデルは計算効率が良く、OpenVINOツールキットを使ってCPUにデプロイできる。
  論文  参考訳（メタデータ） (2021-08-16T12:38:05Z)
• Few-shot learning via tensor hallucination [17.381648488344222]
  限定されたラベルデータのみを与えられた例を分類するという課題に対処する。 単純な損失関数を使うことは、少数ショット設定でフィーチャージェネレータをトレーニングするのに十分であることを示す。 提案手法は,より洗練されたデータ拡張手法を上回って,新たな技術状態を設定する。
  論文  参考訳（メタデータ） (2021-04-19T17:30:33Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• RS-MetaNet: Deep meta metric learning for few-shot remote sensing scene classification [9.386331325959766]
  本研究では,実世界のリモートセンシングシーンの分類に関する問題を解決するため,RS-MetaNetを提案する。 一方、RS-MetaNetは、メタ方法でトレーニングを組織することで、サンプルからタスクへの学習レベルを高め、一連のタスクからリモートセンシングシーンを適切に分類できるメトリクス空間を学習する。 また,各カテゴリ間の距離を最大化することにより,モデルから新しいサンプルへの一般化能力を最大化する「バランスロス」という新たな損失関数を提案する。
  論文  参考訳（メタデータ） (2020-09-28T14:34:15Z)
• TAFSSL: Task-Adaptive Feature Sub-Space Learning for few-shot classification [50.358839666165764]
  本稿では,タスク適応機能サブスペース学習(TAFSSL)により,Few-Shot Learningシナリオの性能を大幅に向上させることができることを示す。 具体的には、挑戦的な miniImageNet と tieredImageNet ベンチマークにおいて、TAFSSL はトランスダクティブおよび半教師付き FSL 設定の両方で現在の状態を改善することができることを示しています。
  論文  参考訳（メタデータ） (2020-03-14T16:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。