論文の概要: Efficient Transferability Assessment for Selection of Pre-trained Detectors

• arxiv url: http://arxiv.org/abs/2403.09432v1
• Date: Thu, 14 Mar 2024 14:23:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-15 20:17:36.875782
• Title: Efficient Transferability Assessment for Selection of Pre-trained Detectors
• Title（参考訳）: 事前学習型検出器の選択のための効率的な伝達性評価
• Authors: Zhao Wang, Aoxue Li, Zhenguo Li, Qi Dou,
• Abstract要約: 本稿では,事前学習対象検出器の効率的な伝達性評価について検討する。 我々は、事前訓練された検出器の大規模で多様な動物園を含む検出器転送性ベンチマークを構築した。 実験により,本手法は伝達性の評価において,他の最先端手法よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 63.21514888618542
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large-scale pre-training followed by downstream fine-tuning is an effective solution for transferring deep-learning-based models. Since finetuning all possible pre-trained models is computational costly, we aim to predict the transferability performance of these pre-trained models in a computational efficient manner. Different from previous work that seek out suitable models for downstream classification and segmentation tasks, this paper studies the efficient transferability assessment of pre-trained object detectors. To this end, we build up a detector transferability benchmark which contains a large and diverse zoo of pre-trained detectors with various architectures, source datasets and training schemes. Given this zoo, we adopt 7 target datasets from 5 diverse domains as the downstream target tasks for evaluation. Further, we propose to assess classification and regression sub-tasks simultaneously in a unified framework. Additionally, we design a complementary metric for evaluating tasks with varying objects. Experimental results demonstrate that our method outperforms other state-of-the-art approaches in assessing transferability under different target domains while efficiently reducing wall-clock time 32$\times$ and requires a mere 5.2\% memory footprint compared to brute-force fine-tuning of all pre-trained detectors.
• Abstract（参考訳）: 大規模事前学習と下流の微調整は、ディープラーニングベースのモデルを転送するための効果的なソリューションである。 事前学習可能なモデルの微調整は計算コストがかかるため、これらの事前学習されたモデルの転送性性能を計算効率よく予測することを目指している。 下流の分類やセグメンテーション作業に適したモデルを求める従来の研究とは違って,本研究では,事前学習対象検出器の効率的な伝達性評価について検討する。 この目的のために,さまざまなアーキテクチャ,ソースデータセット,トレーニングスキームを備えた,多種多様な事前学習型検出器の動物園を含む検出器転送性ベンチマークを構築した。 この動物園を前提として、評価のための下流ターゲットタスクとして、5つの異なるドメインから7つのターゲットデータセットを採用する。 さらに、統一されたフレームワークにおいて、分類と回帰のサブタスクを同時に評価することを提案する。 さらに,タスクを様々なオブジェクトで評価するための補完的指標を設計する。 実験により, 本手法は, 異なる対象領域下での移動性評価において, ウォールクロック時間32$\times$を効率よく削減し, 記憶フットプリントがわずか5.2\%であるのに対して, 全ての事前学習検出器のブルートフォース微調整よりも優れていることを示した。

関連論文リスト

• KITE: A Kernel-based Improved Transferability Estimation Method [7.859384515308456]
  我々はKiteをカーネルベースで改良された転送可能性推定法として紹介する。 キートは、事前訓練された特徴の分離性と、事前訓練された特徴とランダムな特徴との類似性が、伝達可能性を評価するための2つの重要な要因である、というキーオブザーバーに基づいている。 我々は,最近導入された大規模モデル選択ベンチマークを用いて,Kiteの性能を評価する。
  論文  参考訳（メタデータ） (2024-05-01T21:58:04Z)
• ETran: Energy-Based Transferability Estimation [8.15331116331861]
  我々は,対象のデータセットが分布内(IND)か,事前学習されたモデルに対する分布外(OOD)かを定量化することが,伝達可能性推定の重要な要素であると主張する。 我々は、エネルギーベースモデルを用いて、目標データセットが事前訓練されたモデルに対してOODかINDかを決定する。 これは、オブジェクト検出タスクの転送可能性推定を提案する最初の作業である。
  論文  参考訳（メタデータ） (2023-08-03T20:41:08Z)
• On the Trade-off of Intra-/Inter-class Diversity for Supervised Pre-training [72.8087629914444]
  教師付き事前学習データセットのクラス内多様性(クラス毎のサンプル数)とクラス間多様性(クラス数)とのトレードオフの影響について検討した。 トレーニング前のデータセットのサイズが固定された場合、最高のダウンストリームのパフォーマンスは、クラス内/クラス間の多様性のバランスがとれる。
  論文  参考訳（メタデータ） (2023-05-20T16:23:50Z)
• Label-Efficient Object Detection via Region Proposal Network Pre-Training [58.50615557874024]
  地域提案ネットワーク(RPN)に効果的な事前学習を提供するための簡単な事前学習タスクを提案する。 RPN事前学習のないマルチステージ検出器と比較して,本手法はダウンストリームタスク性能を継続的に改善することができる。
  論文  参考訳（メタデータ） (2022-11-16T16:28:18Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Few-Shot Adaptation of Pre-Trained Networks for Domain Shift [17.123505029637055]
  深層ネットワークは、ソース(トレーニング)データとターゲット(テスト)データの間にドメインシフトがある場合、パフォーマンスが低下する傾向がある。 最近のテスト時間適応手法では,新たなターゲット環境にデプロイされた事前訓練されたソースモデルのバッチ正規化レイヤをストリームデータで更新することで,パフォーマンス劣化を軽減している。 データ効率適応の実践的課題に対処するために,少数ショット領域適応のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-30T16:49:59Z)
• Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
  対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。 近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。 本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-24T06:18:32Z)
• Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
  我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。 プレトレーニング自体が多様性の優れた源であることが示される。 本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-14T07:59:00Z)
• Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation [111.44445634272235]
  本稿では,PeterRecと呼ばれるパラメータ効率のよい移動学習アーキテクチャを提案する。 PeterRecは、トレーニング済みのパラメータを、一連の再学習ニューラルネットワークを注入することで、微調整中に修正されないようにする。 我々は5つの下流タスクにおいて学習したユーザ表現の有効性を示すために、広範囲な実験的アブレーションを行う。
  論文  参考訳（メタデータ） (2020-01-13T14:09:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。