論文の概要: Active Finetuning: Exploiting Annotation Budget in the Pretraining-Finetuning Paradigm

• arxiv url: http://arxiv.org/abs/2303.14382v1
• Date: Sat, 25 Mar 2023 07:17:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 19:59:47.110571
• Title: Active Finetuning: Exploiting Annotation Budget in the Pretraining-Finetuning Paradigm
• Title（参考訳）: アクティブファインタニング:事前学習パラダイムにおける注記予算の発行
• Authors: Yichen Xie, Han Lu, Junchi Yan, Xiaokang Yang, Masayoshi Tomizuka, Wei Zhan
• Abstract要約: 本稿では,事前学習ファインタニングパラダイムにおけるアノテーションのためのサンプルの選択に焦点を当てる。 本研究では,アクティブな微調整タスクのためのActiveFTと呼ばれる新しい手法を提案する。 画像分類とセマンティックセグメンテーションの両方に基づくベースラインよりも優れたActiveFTの先行性能と高効率性を示す。
• 参考スコア（独自算出の注目度）: 132.9949120482274
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given the large-scale data and the high annotation cost, pretraining-finetuning becomes a popular paradigm in multiple computer vision tasks. Previous research has covered both the unsupervised pretraining and supervised finetuning in this paradigm, while little attention is paid to exploiting the annotation budget for finetuning. To fill in this gap, we formally define this new active finetuning task focusing on the selection of samples for annotation in the pretraining-finetuning paradigm. We propose a novel method called ActiveFT for active finetuning task to select a subset of data distributing similarly with the entire unlabeled pool and maintaining enough diversity by optimizing a parametric model in the continuous space. We prove that the Earth Mover's distance between the distributions of the selected subset and the entire data pool is also reduced in this process. Extensive experiments show the leading performance and high efficiency of ActiveFT superior to baselines on both image classification and semantic segmentation. Our code is released at https://github.com/yichen928/ActiveFT.
• Abstract（参考訳）: 大規模なデータと高いアノテーションコストを考えると、事前学習は複数のコンピュータビジョンタスクで一般的なパラダイムとなる。 これまでの研究では、このパラダイムにおける教師なしの事前訓練と教師なしの微調整の両方をカバーしており、微調整のためのアノテーション予算の活用にはほとんど注意が払われていない。 このギャップを埋めるために、我々は、事前学習ファインタニングパラダイムにおけるアノテーションのためのサンプルの選択に焦点を当てた、この新しいアクティブファインタニングタスクを正式に定義する。 非ラベルプール全体と同様に分散するデータのサブセットを選択でき、連続空間におけるパラメトリックモデルを最適化することで十分な多様性を維持できる、アクティブ微調整タスクのためのactiveftと呼ばれる新しい手法を提案する。 この過程では、選択されたサブセットとデータプール全体の分布との間の地球移動者の距離も減少することが証明される。 画像分類とセマンティックセグメンテーションの両方に基づくベースラインよりも優れたActiveFTの先行性能と高効率性を示す。 私たちのコードはhttps://github.com/yichen928/activeftでリリースしています。

関連論文リスト

• Scalable Fine-tuning from Multiple Data Sources: A First-Order Approximation Approach [17.79010397902909]
  目的タスクに対する言語モデル(LM)の微調整の問題について,$n$補助タスクの情報を用いて最適に検討する。 この問題には、NLPにおけるターゲット命令チューニングや、チェーン・オブ・ファインタニングにおけるデータ選択など、幅広い応用がある。 繰り返し学習せずにモデル微調整性能を推定する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-28T21:26:50Z)
• Training-Free Unsupervised Prompt for Vision-Language Models [27.13778811871694]
  本研究では,表現能力の保持と類似性に基づく予測確率の残差による強化を図るために,TFUP(Training-Free Unsupervised Prompts)を提案する。 TFUPは、複数の分類データセットのトレーニングベースメソッドを超え、驚くべきパフォーマンスを達成する。 TFUP-Tは,複数のベンチマークにおける教師なしおよび少数ショット適応手法と比較して,最先端の分類性能が向上する。
  論文  参考訳（メタデータ） (2024-04-25T05:07:50Z)
• Boundary Matters: A Bi-Level Active Finetuning Framework [100.45000039215495]
  アクティブファインタニングの概念は、限られた予算内でモデルファインタニングに最も適したサンプルを選択することを目的としている。 従来のアクティブな学習手法は、バッチ選択に固有のバイアスがあるため、この設定で苦労することが多い。 そこで本研究では,アノテーションのサンプルを1ショットで選択するバイレベルアクティブファインタニングフレームワークを提案し,その2段階として,多様性のためのコアサンプル選択と不確実性のための境界サンプル選択を提案する。
  論文  参考訳（メタデータ） (2024-03-15T07:19:15Z)
• VeCAF: Vision-language Collaborative Active Finetuning with Training Objective Awareness [56.87603097348203]
  VeCAFはラベルと自然言語アノテーションを使用して、PVMの微調整のためのパラメトリックデータ選択を行う。 VeCAFは微調整の目的を取り入れて重要なデータポイントを選択し、PVMをより高速な収束に向けて効果的に導く。 ImageNetでは、VeCAFは最大3.3倍のトレーニングバッチを使用して、完全な微調整に比べて目標のパフォーマンスに到達する。
  論文  参考訳（メタデータ） (2024-01-15T17:28:37Z)
• ActiveDC: Distribution Calibration for Active Finetuning [36.64444238742072]
  本研究では,アクティブ微調整タスクのためのActiveDCと呼ばれる新しい手法を提案する。 我々は,無ラベルプールにおける暗黙のカテゴリ情報を利用して,選択したサンプルの分布を校正する。 その結果,ActiveDCは画像分類タスクのベースライン性能を一貫して上回ることがわかった。
  論文  参考訳（メタデータ） (2023-11-13T14:35:18Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
  2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。 我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。 得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
  論文  参考訳（メタデータ） (2022-11-16T21:55:05Z)
• Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
  同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。 共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。 さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
  論文  参考訳（メタデータ） (2022-07-08T10:25:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。