論文の概要: Active Finetuning: Exploiting Annotation Budget in the
Pretraining-Finetuning Paradigm
- arxiv url: http://arxiv.org/abs/2303.14382v1
- Date: Sat, 25 Mar 2023 07:17:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-28 19:59:47.110571
- Title: Active Finetuning: Exploiting Annotation Budget in the
Pretraining-Finetuning Paradigm
- Title(参考訳): アクティブファインタニング:事前学習パラダイムにおける注記予算の発行
- Authors: Yichen Xie, Han Lu, Junchi Yan, Xiaokang Yang, Masayoshi Tomizuka, Wei
Zhan
- Abstract要約: 本稿では,事前学習ファインタニングパラダイムにおけるアノテーションのためのサンプルの選択に焦点を当てる。
本研究では,アクティブな微調整タスクのためのActiveFTと呼ばれる新しい手法を提案する。
画像分類とセマンティックセグメンテーションの両方に基づくベースラインよりも優れたActiveFTの先行性能と高効率性を示す。
- 参考スコア(独自算出の注目度): 132.9949120482274
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Given the large-scale data and the high annotation cost,
pretraining-finetuning becomes a popular paradigm in multiple computer vision
tasks. Previous research has covered both the unsupervised pretraining and
supervised finetuning in this paradigm, while little attention is paid to
exploiting the annotation budget for finetuning. To fill in this gap, we
formally define this new active finetuning task focusing on the selection of
samples for annotation in the pretraining-finetuning paradigm. We propose a
novel method called ActiveFT for active finetuning task to select a subset of
data distributing similarly with the entire unlabeled pool and maintaining
enough diversity by optimizing a parametric model in the continuous space. We
prove that the Earth Mover's distance between the distributions of the selected
subset and the entire data pool is also reduced in this process. Extensive
experiments show the leading performance and high efficiency of ActiveFT
superior to baselines on both image classification and semantic segmentation.
Our code is released at https://github.com/yichen928/ActiveFT.
- Abstract(参考訳): 大規模なデータと高いアノテーションコストを考えると、事前学習は複数のコンピュータビジョンタスクで一般的なパラダイムとなる。
これまでの研究では、このパラダイムにおける教師なしの事前訓練と教師なしの微調整の両方をカバーしており、微調整のためのアノテーション予算の活用にはほとんど注意が払われていない。
このギャップを埋めるために、我々は、事前学習ファインタニングパラダイムにおけるアノテーションのためのサンプルの選択に焦点を当てた、この新しいアクティブファインタニングタスクを正式に定義する。
非ラベルプール全体と同様に分散するデータのサブセットを選択でき、連続空間におけるパラメトリックモデルを最適化することで十分な多様性を維持できる、アクティブ微調整タスクのためのactiveftと呼ばれる新しい手法を提案する。
この過程では、選択されたサブセットとデータプール全体の分布との間の地球移動者の距離も減少することが証明される。
画像分類とセマンティックセグメンテーションの両方に基づくベースラインよりも優れたActiveFTの先行性能と高効率性を示す。
私たちのコードはhttps://github.com/yichen928/activeftでリリースしています。
関連論文リスト
- VeCAF: VLM-empowered Collaborative Active Finetuning with Training
Objective Awareness [58.40419742596087]
PVM(Pretrained Vision Model)は、下流の視覚タスクを学習するための一般的なテクニックである。
VLMを用いた協調型アクティブファインタニング(VeCAF)を提案する。
VeCAFは、調整中のモデルのトレーニング目標を組み込むことで、パラメトリックデータ選択モデルを最適化する。
論文 参考訳(メタデータ) (2024-01-15T17:28:37Z) - ActiveDC: Distribution Calibration for Active Finetuning [36.64444238742072]
本研究では,アクティブ微調整タスクのためのActiveDCと呼ばれる新しい手法を提案する。
我々は,無ラベルプールにおける暗黙のカテゴリ情報を利用して,選択したサンプルの分布を校正する。
その結果,ActiveDCは画像分類タスクのベースライン性能を一貫して上回ることがわかった。
論文 参考訳(メタデータ) (2023-11-13T14:35:18Z) - Optimization-Free Test-Time Adaptation for Cross-Person Activity
Recognition [30.350005654271868]
Test-Time Adaptationは、テストストリームを使用して、リアルタイムの推論で予測を調整することを目的としている。
計算コストが高いため、リソース制約のあるエッジデバイス上での動作が困難になる。
センサベースHARのための最適化自由テスト時間適応フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-28T02:20:33Z) - DR-Tune: Improving Fine-tuning of Pretrained Visual Models by
Distribution Regularization with Semantic Calibration [38.4461170690033]
セマンティックキャリブレーションを用いた分布正規化(DR-Tune)という,新しい微調整フレームワークを提案する。
DR-Tuneは、下流タスクヘッドを強制して、事前訓練された特徴分布の分類誤差を低減することで、分散正則化を採用する。
セマンティックドリフトによる干渉を軽減するため,セマンティックキャリブレーション(SC)モジュールを開発した。
論文 参考訳(メタデータ) (2023-08-23T10:59:20Z) - Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。
本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
論文 参考訳(メタデータ) (2023-06-27T05:43:47Z) - Less is More: Selective Layer Finetuning with SubTuning [26.43027780266698]
事前訓練されたモデルを微調整することは、ニューラルネットワークを新しいタスクで訓練するための標準的なアプローチとなり、高速な収束と性能の向上をもたらす。
本研究では、ネットワークのすべての重みを微調整する代わりに、慎重に選択された層のサブセットのみを訓練し、残りの重みを初期(事前の)値で凍結する、代替的な微調整法について検討する。
実験結果から,emphsubsetファインタニング(あるいはSubTuning)がモデルの完全ファインタニングに匹敵する精度を達成し,トレーニングデータが少ない場合のフルファインタニングの性能を超越することを示した。
論文 参考訳(メタデータ) (2023-02-13T13:38:46Z) - Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。
我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。
得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
論文 参考訳(メタデータ) (2022-11-16T21:55:05Z) - Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。
共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。
さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
論文 参考訳(メタデータ) (2022-07-08T10:25:47Z) - Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than
In-Context Learning [81.3514358542452]
ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。
パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。
本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
論文 参考訳(メタデータ) (2022-05-11T17:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。