論文の概要: Fine-tuning or top-tuning? Transfer learning with pretrained features and fast kernel methods

• arxiv url: http://arxiv.org/abs/2209.07932v1
• Date: Fri, 16 Sep 2022 13:46:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-19 13:08:52.492744
• Title: Fine-tuning or top-tuning? Transfer learning with pretrained features and fast kernel methods
• Title（参考訳）: ファインチューニングかトップチューニングか? 事前学習機能と高速カーネル法を用いた転送学習
• Authors: Paolo Didier Alfano, Vito Paolo Pastore, Lorenzo Rosasco, Francesca Odone
• Abstract要約: 本稿では,事前学習した畳み込み特徴を高速カーネル手法の入力として活用する簡単な伝達学習手法を提案する。 このアプローチは1桁から2桁のトレーニング時間で、W.r.t.ファインチューニングに匹敵する精度を提供する。
• 参考スコア（独自算出の注目度）: 15.45783225341009
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The impressive performances of deep learning architectures is associated to massive increase of models complexity. Millions of parameters need be tuned, with training and inference time scaling accordingly. But is massive fine-tuning necessary? In this paper, focusing on image classification, we consider a simple transfer learning approach exploiting pretrained convolutional features as input for a fast kernel method. We refer to this approach as top-tuning, since only the kernel classifier is trained. By performing more than 2500 training processes we show that this top-tuning approach provides comparable accuracy w.r.t. fine-tuning, with a training time that is between one and two orders of magnitude smaller. These results suggest that top-tuning provides a useful alternative to fine-tuning in small/medium datasets, especially when training efficiency is crucial.
• Abstract（参考訳）: ディープラーニングアーキテクチャの印象的なパフォーマンスは、モデル複雑性の大幅な増加に関連しています。 数百万のパラメータをチューニングし、トレーニングと推論時間のスケーリングを行う必要がある。 しかし、大規模な微調整は必要か? 本稿では,画像分類に着目し,事前学習された畳み込み特徴を高速カーネル手法の入力として利用する,簡単な転送学習手法を提案する。 我々は、カーネル分類器のみを訓練するため、このアプローチをトップチューニングと呼ぶ。 2500以上のトレーニングプロセスを実行することで、このトップチューニングアプローチが1～2桁のトレーニング時間で、同等の精度の微調整を提供することを示す。 これらの結果は、トップチューニングは、特にトレーニング効率が重要である場合に、中小規模データセットの微調整に有用な代替手段であることを示唆している。

関連論文リスト

• Center-Sensitive Kernel Optimization for Efficient On-Device Incremental Learning [88.78080749909665]
  現在のオンデバイストレーニング手法は、破滅的な忘れを考慮せずに、効率的なトレーニングにのみ焦点をあてている。 本稿では,単純だが効果的なエッジフレンドリーなインクリメンタル学習フレームワークを提案する。 本手法は,メモリの削減と近似計算により,平均精度38.08%の高速化を実現する。
  論文  参考訳（メタデータ） (2024-06-13T05:49:29Z)
• Time-, Memory- and Parameter-Efficient Visual Adaptation [75.28557015773217]
  バックボーンを介して勾配をバックプロパゲートしない適応法を提案する。 凍結した、事前訓練されたバックボーンの機能を利用する軽量ネットワークを並列に設計することで、これを実現する。
  論文  参考訳（メタデータ） (2024-02-05T10:55:47Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
  メトリクス学習はコンピュータビジョンの基本的な問題である。 蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。 特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
  論文  参考訳（メタデータ） (2023-03-30T03:22:52Z)
• Less is More: Selective Layer Finetuning with SubTuning [26.43027780266698]
  事前訓練されたモデルを微調整することは、ニューラルネットワークを新しいタスクで訓練するための標準的なアプローチとなり、高速な収束と性能の向上をもたらす。 本研究では、ネットワークのすべての重みを微調整する代わりに、慎重に選択された層のサブセットのみを訓練し、残りの重みを初期(事前の)値で凍結する、代替的な微調整法について検討する。 実験結果から,emphsubsetファインタニング(あるいはSubTuning)がモデルの完全ファインタニングに匹敵する精度を達成し,トレーニングデータが少ない場合のフルファインタニングの性能を超越することを示した。
  論文  参考訳（メタデータ） (2023-02-13T13:38:46Z)
• APE: Aligning Pretrained Encoders to Quickly Learn Aligned Multimodal Representations [21.651198216809608]
  我々は、既存のユニモーダルエンコーダと、下流の関心事に関連するアライメントデータの慎重なキュレーションを活用している。 我々は, 既存のエンコーダを小さな補助関数で整列させる自然な手法について検討し, この手法は, 多くの設定において, 美術品の状態と競合する(あるいは優れる)ことを見出した。
  論文  参考訳（メタデータ） (2022-10-08T05:38:46Z)
• Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
  同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。 共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。 さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
  論文  参考訳（メタデータ） (2022-07-08T10:25:47Z)
• FiT: Parameter Efficient Few-shot Transfer Learning for Personalized and Federated Image Classification [47.24770508263431]
  画像分類における要件を満たすFiLM Transfer (FiT) を開発した。 FiTは、大規模な画像データセットで事前トレーニングされた固定バックボーンの上に、自動的に設定されたNaive Bayes分類器を使用する。 本研究では, 最先端のBig Transfer (BiT) アルゴリズムよりも, ローショット, 挑戦的なVTAB-1kベンチマークにおいて, 高い分類精度が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-17T10:17:20Z)
• Adaptive Fine-Tuning of Transformer-Based Language Models for Named Entity Recognition [0.0]
  微調整言語モデルに対する現在の標準的なアプローチは、一定数の訓練エポックと線形学習率スケジュールを含む。 本稿では,早期停止と独自の学習率スケジュールを用いた適応微調整手法を提案する。
  論文  参考訳（メタデータ） (2022-02-05T19:20:03Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。