論文の概要: ETran: Energy-Based Transferability Estimation
- arxiv url: http://arxiv.org/abs/2308.02027v1
- Date: Thu, 3 Aug 2023 20:41:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-07 14:44:12.398213
- Title: ETran: Energy-Based Transferability Estimation
- Title（参考訳）: ETran:エネルギーベースの転送可能性の推定
- Authors: Mohsen Gholami, Mohammad Akbari, Xinglu Wang, Behnam Kamranian, Yong
Zhang
- Abstract要約: 我々は,対象のデータセットが分布内(IND)か,事前学習されたモデルに対する分布外(OOD)かを定量化することが,伝達可能性推定の重要な要素であると主張する。
我々は、エネルギーベースモデルを用いて、目標データセットが事前訓練されたモデルに対してOODかINDかを決定する。
これは、オブジェクト検出タスクの転送可能性推定を提案する最初の作業である。
- 参考スコア（独自算出の注目度）: 8.15331116331861
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper addresses the problem of ranking pre-trained models for object
detection and image classification. Selecting the best pre-trained model by
fine-tuning is an expensive and time-consuming task. Previous works have
proposed transferability estimation based on features extracted by the
pre-trained models. We argue that quantifying whether the target dataset is
in-distribution (IND) or out-of-distribution (OOD) for the pre-trained model is
an important factor in the transferability estimation. To this end, we propose
ETran, an energy-based transferability assessment metric, which includes three
scores: 1) energy score, 2) classification score, and 3) regression score. We
use energy-based models to determine whether the target dataset is OOD or IND
for the pre-trained model. In contrast to the prior works, ETran is applicable
to a wide range of tasks including classification, regression, and object
detection (classification+regression). This is the first work that proposes
transferability estimation for object detection task. Our extensive experiments
on four benchmarks and two tasks show that ETran outperforms previous works on
object detection and classification benchmarks by an average of 21% and 12%,
respectively, and achieves SOTA in transferability assessment.
- Abstract（参考訳）: 本稿では,物体検出と画像分類のための事前学習モデルランキングの問題に対処する。
微調整による最良の事前学習されたモデルの選択は、高価で時間がかかるタスクです。
事前学習したモデルから抽出した特徴に基づいて, 転送可能性の推定を提案した。
我々は,対象のデータセットが分布内(IND)か,事前学習されたモデルに対する分布外(OOD)かを定量化することが,伝達可能性推定の重要な要素であると主張する。
この目的のために,エネルギーベースの伝達可能性評価尺度であるETranを提案する。
1)エネルギースコア、
2)分類スコア、及び
3)回帰スコア。
我々はエネルギーモデルを用いて、目標データセットが事前訓練されたモデルに対してOODかINDかを決定する。
以前の研究とは対照的に、ETranは分類、回帰、オブジェクト検出(分類+回帰)を含む幅広いタスクに適用できる。
これは、オブジェクト検出タスクの転送可能性推定を提案する最初の作業である。
4つのベンチマークと2つのタスクに関する広範な実験により、ETranは、オブジェクト検出および分類ベンチマークに関する以前の研究を平均21%と12%で上回り、転送可能性評価においてSOTAを達成している。
関連論文リスト
- KITE: A Kernel-based Improved Transferability Estimation Method [7.859384515308456]
我々はKiteをカーネルベースで改良された転送可能性推定法として紹介する。
キートは、事前訓練された特徴の分離性と、事前訓練された特徴とランダムな特徴との類似性が、伝達可能性を評価するための2つの重要な要因である、というキーオブザーバーに基づいている。
我々は,最近導入された大規模モデル選択ベンチマークを用いて,Kiteの性能を評価する。
論文 参考訳（メタデータ） (2024-05-01T21:58:04Z) - Efficient Transferability Assessment for Selection of Pre-trained Detectors [63.21514888618542]
本稿では,事前学習対象検出器の効率的な伝達性評価について検討する。
我々は、事前訓練された検出器の大規模で多様な動物園を含む検出器転送性ベンチマークを構築した。
実験により,本手法は伝達性の評価において,他の最先端手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2024-03-14T14:23:23Z) - Building a Winning Team: Selecting Source Model Ensembles using a
Submodular Transferability Estimation Approach [20.86345962679122]
公開されている事前訓練されたモデルの目標タスクへの転送可能性の推定は、伝達学習タスクにとって重要な場所となっている。
本稿では, モデルアンサンブルの下流タスクへの転送可能性を評価するために, 最適なtranSportベースのsuBmOdular tRaNsferability Metrics(OSBORN)を提案する。
論文 参考訳（メタデータ） (2023-09-05T17:57:31Z) - Fast and Accurate Transferability Measurement by Evaluating Intra-class
Feature Variance [20.732095457775138]
転送可能性の測定は、ソースタスクからターゲットタスクに学習したトレーニング済みモデルがどのように転送可能かを定量化する。
本稿では,トランスファビリティを計測する高速かつ正確なアルゴリズムであるTMI(TRANSFERABILITY Measurement with Intra-CLASS FEATURE VARIANCE)を提案する。
論文 参考訳（メタデータ） (2023-08-11T07:50:40Z) - How to Estimate Model Transferability of Pre-Trained Speech Models? [84.11085139766108]
事前学習音声モデルの伝達可能性推定のためのスコアベースアセスメントフレームワーク
ベイズ確率推定と最適輸送という2つの表現理論を利用して、PSM候補のランクスコアを生成する。
本フレームワークは,候補モデルやレイヤを実際に微調整することなく,転送可能性スコアを効率的に計算する。
論文 参考訳（メタデータ） (2023-06-01T04:52:26Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - Transferability Estimation Based On Principal Gradient Expectation [68.97403769157117]
クロスタスク転送性は、自己整合性を維持しながら転送結果と互換性がある。
既存の転送可能性メトリクスは、ソースとターゲットタスクを会話することで、特定のモデルに基づいて推定される。
本稿では,タスク間の転送可能性を評価するための簡易かつ効果的な手法であるPGEを提案する。
論文 参考訳（メタデータ） (2022-11-29T15:33:02Z) - Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。
画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
論文 参考訳（メタデータ） (2022-09-30T02:25:12Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Estimating and Evaluating Regression Predictive Uncertainty in Deep
Object Detectors [9.273998041238224]
負の対数確率(nll)を持つトレーニング分散ネットワークは、高いエントロピー予測分布をもたらす可能性がある。
我々は,エネルギースコアを非局所的適切なスコアリングルールとして使用し,トレーニングに使用すると,エネルギースコアがより校正され,エントロピーの予測分布が低くなることを示す。
論文 参考訳（メタデータ） (2021-01-13T12:53:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。