論文の概要: Fast and Accurate Transferability Measurement by Evaluating Intra-class Feature Variance

• arxiv url: http://arxiv.org/abs/2308.05986v1
• Date: Fri, 11 Aug 2023 07:50:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-14 14:43:40.808994
• Title: Fast and Accurate Transferability Measurement by Evaluating Intra-class Feature Variance
• Title（参考訳）: クラス内特徴量評価による高速かつ正確な伝達可能性の測定
• Authors: Huiwen Xu, U Kang
• Abstract要約: 転送可能性の測定は、ソースタスクからターゲットタスクに学習したトレーニング済みモデルがどのように転送可能かを定量化する。 本稿では,トランスファビリティを計測する高速かつ正確なアルゴリズムであるTMI(TRANSFERABILITY Measurement with Intra-CLASS FEATURE VARIANCE)を提案する。
• 参考スコア（独自算出の注目度）: 20.732095457775138
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Given a set of pre-trained models, how can we quickly and accurately find the most useful pre-trained model for a downstream task? Transferability measurement is to quantify how transferable is a pre-trained model learned on a source task to a target task. It is used for quickly ranking pre-trained models for a given task and thus becomes a crucial step for transfer learning. Existing methods measure transferability as the discrimination ability of a source model for a target data before transfer learning, which cannot accurately estimate the fine-tuning performance. Some of them restrict the application of transferability measurement in selecting the best supervised pre-trained models that have classifiers. It is important to have a general method for measuring transferability that can be applied in a variety of situations, such as selecting the best self-supervised pre-trained models that do not have classifiers, and selecting the best transferring layer for a target task. In this work, we propose TMI (TRANSFERABILITY MEASUREMENT WITH INTRA-CLASS FEATURE VARIANCE), a fast and accurate algorithm to measure transferability. We view transferability as the generalization of a pre-trained model on a target task by measuring intra-class feature variance. Intra-class variance evaluates the adaptability of the model to a new task, which measures how transferable the model is. Compared to previous studies that estimate how discriminative the models are, intra-class variance is more accurate than those as it does not require an optimal feature extractor and classifier. Extensive experiments on real-world datasets show that TMI outperforms competitors for selecting the top-5 best models, and exhibits consistently better correlation in 13 out of 17 cases.
• Abstract（参考訳）: 事前学習されたモデルのセットを考えると、下流タスクでもっとも有用な事前学習モデルの迅速かつ正確に見つけるには、どうすればよいのか? 転送可能性の測定は、ソースタスクからターゲットタスクに学習したトレーニング済みモデルがどのように転送可能かを定量化する。 与えられたタスクの事前学習されたモデルを素早くランク付けするために使用され、転校学習の重要なステップとなる。 既存の手法では、転送学習前の対象データのソースモデルの識別能力として転送可能性を測定するが、微調整性能を正確に推定することはできない。 それらのいくつかは、分類器を持つ最善の教師付き事前学習モデルの選択における転送可能性測定の適用を制限する。 分類器を持たない最善の自己教師付き事前学習モデルの選択や、対象タスクの最適転送層の選択など、さまざまな状況に適用可能な転送可能性を測定する一般的な方法を持つことが重要である。 本研究では,TMI(TRANSFERABILITY Measurement with INTRA-CLASS FEATURE VARIANCE)を提案する。 我々は,クラス内特徴分散を計測することにより,対象タスクにおける事前学習モデルの一般化としてトランスファー可能性を検討する。 クラス内分散は、モデルの新たなタスクへの適応性を評価し、モデルがどのように転送可能かを測定する。 モデルの識別性を評価する以前の研究と比較して、クラス内分散は最適な特徴抽出器や分類器を必要としないため、より正確である。 実世界のデータセットに関する大規模な実験によると、TMIはトップ5のベストモデルを選択することでライバルよりも優れており、17件中13件で一貫して相関性が向上している。

関連論文リスト

• Efficient Transferability Assessment for Selection of Pre-trained Detectors [63.21514888618542]
  本稿では,事前学習対象検出器の効率的な伝達性評価について検討する。 我々は、事前訓練された検出器の大規模で多様な動物園を含む検出器転送性ベンチマークを構築した。 実験により,本手法は伝達性の評価において,他の最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-14T14:23:23Z)
• Building a Winning Team: Selecting Source Model Ensembles using a Submodular Transferability Estimation Approach [20.86345962679122]
  公開されている事前訓練されたモデルの目標タスクへの転送可能性の推定は、伝達学習タスクにとって重要な場所となっている。 本稿では, モデルアンサンブルの下流タスクへの転送可能性を評価するために, 最適なtranSportベースのsuBmOdular tRaNsferability Metrics(OSBORN)を提案する。
  論文  参考訳（メタデータ） (2023-09-05T17:57:31Z)
• Towards Estimating Transferability using Hard Subsets [25.86053764521497]
  HASTEは、ターゲットデータのより厳しいサブセットのみを用いて、ソースモデルの特定のターゲットタスクへの転送可能性を推定する新しい戦略である。 HASTEは既存の転送可能性測定値と組み合わせて信頼性を向上させることができることを示す。 複数のソースモデルアーキテクチャ、ターゲットデータセット、トランスファー学習タスクにまたがる実験結果から、HASTEの修正されたメトリクスは、一貫して、あるいは、アートトランスファービリティーメトリクスの状態と同等であることが示された。
  論文  参考訳（メタデータ） (2023-01-17T14:50:18Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark for Semantic and Generative Capabilities [76.97949110580703]
  各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。 データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。 また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
  論文  参考訳（メタデータ） (2022-03-14T04:26:40Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• Transferability Estimation using Bhattacharyya Class Separability [37.52588126267552]
  トランスファーラーニング(Transfer Learning)は、コンピュータビジョンにおいて事前訓練されたモデルを活用する一般的な方法である。 特定の目標タスクに適した事前学習されたソースモデルを定量化することは困難である。 本稿では,ソースモデルとターゲットデータセット間の転送可能性の定量化手法を提案する。
  論文  参考訳（メタデータ） (2021-11-24T20:22:28Z)
• TransTailor: Pruning the Pre-trained Model for Improved Transfer Learning [5.9292619981667976]
  そこで本研究では,事前学習モデルの構築を目標としたtranstailorを提案する。 目標と認識する重みの重要度に応じて、事前訓練されたモデルのプーンと微調整を行う。 ファイナルパフォーマンスのために微調整時に適用可能な,より適切なサブ構造を転送する。
  論文  参考訳（メタデータ） (2021-03-02T07:58:35Z)
• LogME: Practical Assessment of Pre-trained Models for Transfer Learning [80.24059713295165]
  最大エビデンス対数(logme)は、転送学習のための事前学習されたモデルを評価するために用いられる。 ブルートフォースの微調整と比較して、LogMEはウォールクロックタイムで3000times$のスピードアップをもたらします。
  論文  参考訳（メタデータ） (2021-02-22T13:58:11Z)
• Do Adversarially Robust ImageNet Models Transfer Better? [102.09335596483695]
  逆向きに堅牢なモデルは、トランスファーラーニングに使用する場合、標準訓練されたモデルよりもよく機能する。 私たちの結果は、ロバストさが機能表現の改善につながるという最近の仮説と一致しています。
  論文  参考訳（メタデータ） (2020-07-16T17:42:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。