論文の概要: Occam's model: Selecting simpler representations for better transferability estimation

• arxiv url: http://arxiv.org/abs/2502.06925v1
• Date: Mon, 10 Feb 2025 18:23:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:09:25.002537
• Title: Occam's model: Selecting simpler representations for better transferability estimation
• Title（参考訳）: オッカムモデル:伝達可能性推定のためのより単純な表現の選択
• Authors: Prabhant Singh, Sibylle Hess, Joaquin Vanschoren,
• Abstract要約: 本稿では,事前学習したモデルの伝達可能性を評価するための2つの新しい指標を提案する。 さまざまな問題設定にまたがる最先端の代替手段に対して、提案した指標を厳格に評価する。 我々は、我々の測定値が最先端のベースラインと比較して、KendallのTauを最大32%増加させることを実験的に示した。
• 参考スコア（独自算出の注目度）: 5.329941688969535
• License:
• Abstract: Fine-tuning models that have been pre-trained on large datasets has become a cornerstone of modern machine learning workflows. With the widespread availability of online model repositories, such as Hugging Face, it is now easier than ever to fine-tune pre-trained models for specific tasks. This raises a critical question: which pre-trained model is most suitable for a given task? This problem is called transferability estimation. In this work, we introduce two novel and effective metrics for estimating the transferability of pre-trained models. Our approach is grounded in viewing transferability as a measure of how easily a pre-trained model's representations can be trained to separate target classes, providing a unique perspective on transferability estimation. We rigorously evaluate the proposed metrics against state-of-the-art alternatives across diverse problem settings, demonstrating their robustness and practical utility. Additionally, we present theoretical insights that explain our metrics' efficacy and adaptability to various scenarios. We experimentally show that our metrics increase Kendall's Tau by up to 32% compared to the state-of-the-art baselines.
• Abstract（参考訳）: 大規模なデータセットで事前トレーニングされたファインチューニングモデルは、現代の機械学習ワークフローの基盤となっている。 Hugging Faceのようなオンラインモデルリポジトリが広く利用できるようになったことで、特定のタスクのためにトレーニング済みモデルを微調整するのは、これまで以上に簡単になった。 これは、どの事前訓練されたモデルが与えられたタスクに最も適しているかという、重要な疑問を提起する。 この問題は転送可能性推定(Transferability Estimation)と呼ばれる。 本研究では,事前学習したモデルの伝達可能性を推定するための2つの新しい,効果的な指標を紹介する。 我々のアプローチは、事前訓練されたモデルの表現がターゲットクラスを分離するためにいかに容易に訓練できるかを示す尺度として、転送可能性の観察に基礎を置いており、転送可能性推定のユニークな視点を提供する。 我々は、さまざまな問題設定にまたがる最先端の代替手段に対して提案された指標を厳格に評価し、その堅牢性と実用性を実証する。 さらに、様々なシナリオに対するメトリクスの有効性と適応性を説明する理論的洞察を示す。 我々は、我々の測定値が最先端のベースラインと比較して、KendallのTauを最大32%増加させることを実験的に示した。

関連論文リスト

• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
  本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。 学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。 本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
  論文  参考訳（メタデータ） (2024-07-09T15:45:04Z)
• When is an Embedding Model More Promising than Another? [33.540506562970776]
  埋め込みは機械学習において中心的な役割を担い、あらゆるオブジェクトを数値表現に投影し、様々な下流タスクを実行するために利用することができる。 埋め込みモデルの評価は一般にドメイン固有の経験的アプローチに依存する。 本稿では, 組込み器の評価を統一的に行い, 充足性と情報性の概念を考察する。
  論文  参考訳（メタデータ） (2024-06-11T18:13:46Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Fast and Accurate Transferability Measurement by Evaluating Intra-class Feature Variance [20.732095457775138]
  転送可能性の測定は、ソースタスクからターゲットタスクに学習したトレーニング済みモデルがどのように転送可能かを定量化する。 本稿では,トランスファビリティを計測する高速かつ正確なアルゴリズムであるTMI(TRANSFERABILITY Measurement with Intra-CLASS FEATURE VARIANCE)を提案する。
  論文  参考訳（メタデータ） (2023-08-11T07:50:40Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• TransTailor: Pruning the Pre-trained Model for Improved Transfer Learning [5.9292619981667976]
  そこで本研究では,事前学習モデルの構築を目標としたtranstailorを提案する。 目標と認識する重みの重要度に応じて、事前訓練されたモデルのプーンと微調整を行う。 ファイナルパフォーマンスのために微調整時に適用可能な,より適切なサブ構造を転送する。
  論文  参考訳（メタデータ） (2021-03-02T07:58:35Z)
• LogME: Practical Assessment of Pre-trained Models for Transfer Learning [80.24059713295165]
  最大エビデンス対数(logme)は、転送学習のための事前学習されたモデルを評価するために用いられる。 ブルートフォースの微調整と比較して、LogMEはウォールクロックタイムで3000times$のスピードアップをもたらします。
  論文  参考訳（メタデータ） (2021-02-22T13:58:11Z)
• Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
  我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。 プレトレーニング自体が多様性の優れた源であることが示される。 本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-14T07:59:00Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。