論文の概要: Top-Tuning: a study on transfer learning for an efficient alternative to
fine tuning for image classification with fast kernel methods
- arxiv url: http://arxiv.org/abs/2209.07932v3
- Date: Thu, 9 Nov 2023 10:48:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-10 19:15:31.547760
- Title: Top-Tuning: a study on transfer learning for an efficient alternative to
fine tuning for image classification with fast kernel methods
- Title（参考訳）: Top-Tuning:高速カーネル法による画像分類のための微細チューニングの効率的な代替のための転写学習に関する研究
- Authors: Paolo Didier Alfano, Vito Paolo Pastore, Lorenzo Rosasco, Francesca
Odone
- Abstract要約: 本稿では,事前学習した畳み込み特徴を高速なカーネル手法の入力として活用する,簡単なトランスファー学習手法を提案する。
トップチューニングアプローチは,1～2桁のトレーニング時間を桁違いに小さくすることで,微調整に対して同等の精度を提供することを示す。
- 参考スコア（独自算出の注目度）: 12.325059377851485
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The impressive performance of deep learning architectures is associated with
a massive increase in model complexity. Millions of parameters need to be
tuned, with training and inference time scaling accordingly, together with
energy consumption. But is massive fine-tuning always necessary? In this paper,
focusing on image classification, we consider a simple transfer learning
approach exploiting pre-trained convolutional features as input for a
fast-to-train kernel method. We refer to this approach as \textit{top-tuning}
since only the kernel classifier is trained on the target dataset. In our
study, we perform more than 3000 training processes focusing on 32 small to
medium-sized target datasets, a typical situation where transfer learning is
necessary. We show that the top-tuning approach provides comparable accuracy
with respect to fine-tuning, with a training time between one and two orders of
magnitude smaller. These results suggest that top-tuning is an effective
alternative to fine-tuning in small/medium datasets, being especially useful
when training time efficiency and computational resources saving are crucial.
- Abstract（参考訳）: ディープラーニングアーキテクチャの印象的なパフォーマンスは、モデル複雑性の大幅な増加に関連しています。
数百万のパラメータをチューニングし、トレーニングと推論時間のスケーリングとエネルギー消費を調整する必要があります。
しかし、大規模な微調整は必要か?
本稿では,画像の分類に焦点をあて,事前学習された畳み込み特徴を素早いカーネル手法の入力として利用する,簡単な転送学習手法を提案する。
カーネル分類器のみをターゲットデータセットでトレーニングするため、このアプローチを \textit{top-tuning} と呼ぶ。
本研究では,小中規模の32のターゲットデータセットに着目し,3000以上のトレーニングプロセスを実施し,転送学習が必要な典型的状況について述べる。
トップチューニングアプローチは,1～2桁のトレーニング時間を桁違いに小さくすることで,微調整に対して同等の精度を提供することを示す。
これらの結果から,トップチューニングは小/中規模データセットの微調整に有効な代替手段であり,特にトレーニング時間効率と計算資源の節約が重要であることが示唆された。
関連論文リスト
- Center-Sensitive Kernel Optimization for Efficient On-Device Incremental Learning [88.78080749909665]
現在のオンデバイストレーニング手法は、破滅的な忘れを考慮せずに、効率的なトレーニングにのみ焦点をあてている。
本稿では,単純だが効果的なエッジフレンドリーなインクリメンタル学習フレームワークを提案する。
本手法は,メモリの削減と近似計算により,平均精度38.08%の高速化を実現する。
論文 参考訳（メタデータ） (2024-06-13T05:49:29Z) - Time-, Memory- and Parameter-Efficient Visual Adaptation [75.28557015773217]
バックボーンを介して勾配をバックプロパゲートしない適応法を提案する。
凍結した、事前訓練されたバックボーンの機能を利用する軽量ネットワークを並列に設計することで、これを実現する。
論文 参考訳（メタデータ） (2024-02-05T10:55:47Z) - Improved Distribution Matching for Dataset Condensation [91.55972945798531]
本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。
提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
論文 参考訳（メタデータ） (2023-07-19T04:07:33Z) - Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
メトリクス学習はコンピュータビジョンの基本的な問題である。
蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。
特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
論文 参考訳（メタデータ） (2023-03-30T03:22:52Z) - Less is More: Selective Layer Finetuning with SubTuning [26.43027780266698]
事前訓練されたモデルを微調整することは、ニューラルネットワークを新しいタスクで訓練するための標準的なアプローチとなり、高速な収束と性能の向上をもたらす。
本研究では、ネットワークのすべての重みを微調整する代わりに、慎重に選択された層のサブセットのみを訓練し、残りの重みを初期(事前の)値で凍結する、代替的な微調整法について検討する。
実験結果から,emphsubsetファインタニング(あるいはSubTuning)がモデルの完全ファインタニングに匹敵する精度を達成し,トレーニングデータが少ない場合のフルファインタニングの性能を超越することを示した。
論文 参考訳（メタデータ） (2023-02-13T13:38:46Z) - APE: Aligning Pretrained Encoders to Quickly Learn Aligned Multimodal
Representations [21.651198216809608]
我々は、既存のユニモーダルエンコーダと、下流の関心事に関連するアライメントデータの慎重なキュレーションを活用している。
我々は, 既存のエンコーダを小さな補助関数で整列させる自然な手法について検討し, この手法は, 多くの設定において, 美術品の状態と競合する(あるいは優れる)ことを見出した。
論文 参考訳（メタデータ） (2022-10-08T05:38:46Z) - Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。
共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。
さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
論文 参考訳（メタデータ） (2022-07-08T10:25:47Z) - FiT: Parameter Efficient Few-shot Transfer Learning for Personalized and
Federated Image Classification [47.24770508263431]
画像分類における要件を満たすFiLM Transfer (FiT) を開発した。
FiTは、大規模な画像データセットで事前トレーニングされた固定バックボーンの上に、自動的に設定されたNaive Bayes分類器を使用する。
本研究では, 最先端のBig Transfer (BiT) アルゴリズムよりも, ローショット, 挑戦的なVTAB-1kベンチマークにおいて, 高い分類精度が得られることを示す。
論文 参考訳（メタデータ） (2022-06-17T10:17:20Z) - Adaptive Fine-Tuning of Transformer-Based Language Models for Named
Entity Recognition [0.0]
微調整言語モデルに対する現在の標準的なアプローチは、一定数の訓練エポックと線形学習率スケジュールを含む。
本稿では,早期停止と独自の学習率スケジュールを用いた適応微調整手法を提案する。
論文 参考訳（メタデータ） (2022-02-05T19:20:03Z) - Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。
我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。
我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
論文 参考訳（メタデータ） (2020-10-01T15:59:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。