論文の概要: Assessing Pre-trained Models for Transfer Learning through Distribution of Spectral Components

• arxiv url: http://arxiv.org/abs/2412.19085v1
• Date: Thu, 26 Dec 2024 06:54:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:25:31.360862
• Title: Assessing Pre-trained Models for Transfer Learning through Distribution of Spectral Components
• Title（参考訳）: スペクトル成分分布を用いた移動学習のための事前学習モデルの評価
• Authors: Tengxue Zhang, Yang Shu, Xinyang Chen, Yifei Long, Chenjuan Guo, Bin Yang,
• Abstract要約: 本稿では、スペクトル成分分布(DISCO)を用いた事前学習モデル評価のための新しい視点を提案する。 異なるスペクトル成分について検討し, 異なる透過性を有することを観察し, 微調整性能に多彩に寄与する。 提案手法は柔軟であり, 分類タスクと回帰タスクの両方に適用できる。
• 参考スコア（独自算出の注目度）: 15.652312826240058
• License:
• Abstract: Pre-trained model assessment for transfer learning aims to identify the optimal candidate for the downstream tasks from a model hub, without the need of time-consuming fine-tuning. Existing advanced works mainly focus on analyzing the intrinsic characteristics of the entire features extracted by each pre-trained model or how well such features fit the target labels. This paper proposes a novel perspective for pre-trained model assessment through the Distribution of Spectral Components (DISCO). Through singular value decomposition of features extracted from pre-trained models, we investigate different spectral components and observe that they possess distinct transferability, contributing diversely to the fine-tuning performance. Inspired by this, we propose an assessment method based on the distribution of spectral components which measures the proportions of their corresponding singular values. Pre-trained models with features concentrating on more transferable components are regarded as better choices for transfer learning. We further leverage the labels of downstream data to better estimate the transferability of each spectral component and derive the final assessment criterion. Our proposed method is flexible and can be applied to both classification and regression tasks. We conducted comprehensive experiments across three benchmarks and two tasks including image classification and object detection, demonstrating that our method achieves state-of-the-art performance in choosing proper pre-trained models from the model hub for transfer learning.
• Abstract（参考訳）: 伝達学習のための事前学習モデルアセスメントは、時間を要する微調整を必要とせず、モデルハブから下流タスクの最適候補を特定することを目的としている。 既存の先進的な研究は主に、事前訓練された各モデルによって抽出された全ての特徴の本質的な特徴や、その特徴がターゲットラベルにどの程度合うかを分析することに焦点を当てている。 本稿では、スペクトル成分分布(DISCO)を用いた事前学習モデル評価のための新しい視点を提案する。 事前学習したモデルから抽出した特徴の特異値分解を通じて、異なるスペクトル成分を解析し、異なる伝達性を有することを観察し、微調整性能に様々な貢献をする。 そこで本研究では,スペクトル成分の分布に基づく評価手法を提案し,対応する特異値の比例を測定した。 より伝達可能なコンポーネントに焦点を絞った特徴を持つ事前学習モデルは、伝達学習のより良い選択と見なされる。 さらに、下流データのラベルを利用して、各スペクトル成分の転送可能性をよりよく推定し、最終的な評価基準を導出する。 提案手法は柔軟であり, 分類タスクと回帰タスクの両方に適用できる。 我々は3つのベンチマークと画像分類とオブジェクト検出を含む2つのタスクの総合的な実験を行い、本手法がモデルハブから適切な事前学習モデルを選択する際に、最先端の性能を実現することを実証した。

関連論文リスト

• KITE: A Kernel-based Improved Transferability Estimation Method [7.859384515308456]
  我々はKiteをカーネルベースで改良された転送可能性推定法として紹介する。 キートは、事前訓練された特徴の分離性と、事前訓練された特徴とランダムな特徴との類似性が、伝達可能性を評価するための2つの重要な要因である、というキーオブザーバーに基づいている。 我々は,最近導入された大規模モデル選択ベンチマークを用いて,Kiteの性能を評価する。
  論文  参考訳（メタデータ） (2024-05-01T21:58:04Z)
• Selective Mixup Fine-Tuning for Optimizing Non-Decomposable Objectives [17.10165955576643]
  現在の最先端の実証技術は、実用的で非分解不能な性能目標に対して、準最適性能を提供する。 本稿では,SelMixを提案する。SelMixは,事前学習モデルに対して,選択型ミキサアップに基づく安価な微調整技術である。 提案したSelMixファインタニングにより,ベンチマーク間での様々な非分解性目標の性能が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-03-27T06:55:23Z)
• Efficient Transferability Assessment for Selection of Pre-trained Detectors [63.21514888618542]
  本稿では,事前学習対象検出器の効率的な伝達性評価について検討する。 我々は、事前訓練された検出器の大規模で多様な動物園を含む検出器転送性ベンチマークを構築した。 実験により,本手法は伝達性の評価において,他の最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-14T14:23:23Z)
• Building a Winning Team: Selecting Source Model Ensembles using a Submodular Transferability Estimation Approach [20.86345962679122]
  公開されている事前訓練されたモデルの目標タスクへの転送可能性の推定は、伝達学習タスクにとって重要な場所となっている。 本稿では, モデルアンサンブルの下流タスクへの転送可能性を評価するために, 最適なtranSportベースのsuBmOdular tRaNsferability Metrics(OSBORN)を提案する。
  論文  参考訳（メタデータ） (2023-09-05T17:57:31Z)
• On the Trade-off of Intra-/Inter-class Diversity for Supervised Pre-training [72.8087629914444]
  教師付き事前学習データセットのクラス内多様性(クラス毎のサンプル数)とクラス間多様性(クラス数)とのトレードオフの影響について検討した。 トレーニング前のデータセットのサイズが固定された場合、最高のダウンストリームのパフォーマンスは、クラス内/クラス間の多様性のバランスがとれる。
  論文  参考訳（メタデータ） (2023-05-20T16:23:50Z)
• SPEC: Summary Preference Decomposition for Low-Resource Abstractive Summarization [21.037841262371355]
  本稿では,ソースコーパスからターゲットコーパスへ数発の学習プロセスを転送するフレームワークを提案する。 提案手法は, ROUGE-1/2/Lを10例, 100例で平均改良した6種類のコーパスに対して, 30.11%/33.95%/27.51%, 26.74%/31.14%/24.48%の最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-03-24T14:07:03Z)
• Leveraging Angular Information Between Feature and Classifier for Long-tailed Learning: A Prediction Reformulation Approach [90.77858044524544]
  分類器の重みを再バランスすることなく、包含角度で認識確率を再構成する。 予測形式再構成の性能向上に着想を得て, この角度予測の異なる特性について検討する。 CIFAR10/100-LT と ImageNet-LT を事前学習することなく、ピアメソッド間で最高の性能を得ることができる。
  論文  参考訳（メタデータ） (2022-12-03T07:52:48Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Partner-Assisted Learning for Few-Shot Image Classification [54.66864961784989]
  人間の視覚能力を模倣し、徹底的な人間のアノテーションを必要とせずに効果的なモデルを学ぶために、わずかなショットラーニングが研究されている。 本稿では,新しいクラスのプロトタイプをラベル付きサンプルから推定できるように,要素表現を得るためのトレーニング戦略の設計に焦点をあてる。 本稿では,まずパートナーエンコーダのペアワイド類似性をモデル化し,ソフトアンカーとして機能する特徴を抽出し,その出力をソフトアンカーと整列させ,分類性能を最大化しようとする2段階トレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T22:46:19Z)
• How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating and Auditing Generative Models [95.8037674226622]
  ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。 当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
  論文  参考訳（メタデータ） (2021-02-17T18:25:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。