論文の概要: Partial Is Better Than All: Revisiting Fine-tuning Strategy for Few-shot Learning

• arxiv url: http://arxiv.org/abs/2102.03983v1
• Date: Mon, 8 Feb 2021 03:27:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-09 16:10:54.884400
• Title: Partial Is Better Than All: Revisiting Fine-tuning Strategy for Few-shot Learning
• Title（参考訳）: 一部がすべてよりも優れている:フェーショット学習のための微調整戦略を再検討する
• Authors: Zhiqiang Shen and Zechun Liu and Jie Qin and Marios Savvides and Kwang-Ting Cheng
• Abstract要約: 一般的なプラクティスは、まずベースセット上でモデルをトレーニングし、その後、微調整によって新しいクラスに移行することである。 本稿では,基本モデル内の特定の層を凍結あるいは微調整することにより,部分的知識の伝達を提案する。 提案手法の有効性を実証するために, CUB と mini-ImageNet の広範な実験を行った。
• 参考スコア（独自算出の注目度）: 76.98364915566292
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The goal of few-shot learning is to learn a classifier that can recognize unseen classes from limited support data with labels. A common practice for this task is to train a model on the base set first and then transfer to novel classes through fine-tuning (Here fine-tuning procedure is defined as transferring knowledge from base to novel data, i.e. learning to transfer in few-shot scenario.) or meta-learning. However, as the base classes have no overlap to the novel set, simply transferring whole knowledge from base data is not an optimal solution since some knowledge in the base model may be biased or even harmful to the novel class. In this paper, we propose to transfer partial knowledge by freezing or fine-tuning particular layer(s) in the base model. Specifically, layers will be imposed different learning rates if they are chosen to be fine-tuned, to control the extent of preserved transferability. To determine which layers to be recast and what values of learning rates for them, we introduce an evolutionary search based method that is efficient to simultaneously locate the target layers and determine their individual learning rates. We conduct extensive experiments on CUB and mini-ImageNet to demonstrate the effectiveness of our proposed method. It achieves the state-of-the-art performance on both meta-learning and non-meta based frameworks. Furthermore, we extend our method to the conventional pre-training + fine-tuning paradigm and obtain consistent improvement.
• Abstract（参考訳）: 少数ショット学習の目的は、ラベルによる限られたサポートデータから見えないクラスを認識できる分類器を学ぶことです。 このタスクの一般的なプラクティスは、まずベースセットでモデルをトレーニングし、次に微調整(ここでの微調整手順は、ベースから新しいデータへの知識の転送として定義されます。 数ショットシナリオで転送することを学ぶ。 あるいはメタラーニング。 しかしながら、ベースクラスは、新しいセットと重複しないため、ベースモデルにおける知識の一部が、新しいクラスに偏っているか、有害である可能性があるため、ベースデータから知識全体を転送するだけでは最適ではない。 本稿では,基本モデル内の特定の層を凍結あるいは微調整することにより,部分的知識の伝達を提案する。 具体的には、保存された転送可能性の程度を制御するために微調整が選択された場合、レイヤーは異なる学習率が課されます。 再キャストするレイヤーと学習率の値を決定するために、ターゲット層を同時に特定し、個々の学習率を決定するのに効率的である進化的検索ベースの方法を紹介します。 CUBとmini-ImageNetの広範な実験を行い,提案手法の有効性を実証した。 メタラーニングと非メタベースのフレームワークで最先端のパフォーマンスを実現する。 さらに,本手法を従来の事前学習+微調整パラダイムに拡張し,一貫した改善を得る。

関連論文リスト

• Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
  継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。 ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。 具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
  論文  参考訳（メタデータ） (2024-03-24T12:41:58Z)
• Adaptive Distribution Calibration for Few-Shot Learning with Hierarchical Optimal Transport [78.9167477093745]
  本稿では,新しいサンプルとベースクラス間の適応重み行列を学習し,新しい分布校正法を提案する。 標準ベンチマーク実験の結果,提案したプラグ・アンド・プレイモデルの方が競合する手法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-10-09T02:32:57Z)
• Class-Incremental Learning with Strong Pre-trained Models [97.84755144148535]
  CIL(Class-incremental Learning)は、少数のクラス(ベースクラス)から始まる設定で広く研究されている。 我々は、多数のベースクラスで事前訓練された強力なモデルから始まるCILの実証済み実世界の設定について検討する。 提案手法は、解析されたCIL設定すべてに頑健で一般化されている。
  論文  参考訳（メタデータ） (2022-04-07T17:58:07Z)
• Bridging Non Co-occurrence with Unlabeled In-the-wild Data for Incremental Object Detection [56.22467011292147]
  物体検出における破滅的忘れを緩和するために,いくつかの漸進的学習法が提案されている。 有効性にもかかわらず、これらの手法は新規クラスのトレーニングデータにラベルのないベースクラスの共起を必要とする。 そこで本研究では,新たな授業の訓練において,欠落した基本クラスが原因で生じる非発生を補うために,未ラベルのインザ・ザ・ワイルドデータを使用することを提案する。
  論文  参考訳（メタデータ） (2021-10-28T10:57:25Z)
• Class-incremental Learning with Rectified Feature-Graph Preservation [24.098892115785066]
  本論文の中心的なテーマは,逐次的な段階を経る新しいクラスを学習することである。 旧知識保存のための重み付きユークリッド正規化を提案する。 新しいクラスを効果的に学習するために、クラス分離を増やすためにバイナリクロスエントロピーでどのように機能するかを示す。
  論文  参考訳（メタデータ） (2020-12-15T07:26:04Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• A Primal-Dual Subgradient Approachfor Fair Meta Learning [23.65344558042896]
  ショットのメタ学習は、その高速適応能力と、未知のタスクへの精度の一般化で有名である。 そこで本研究では,ごく少数の例を用いて,公正な機械学習モデルのトレーニングを学習するPrimal-Dual Meta-learningフレームワーク,すなわちPDFMを提案する。
  論文  参考訳（メタデータ） (2020-09-26T19:47:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。