論文の概要: MetaRank: Task-Aware Metric Selection for Model Transferability Estimation

• arxiv url: http://arxiv.org/abs/2511.21007v1
• Date: Wed, 26 Nov 2025 03:15:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-27 18:37:58.940589
• Title: MetaRank: Task-Aware Metric Selection for Model Transferability Estimation
• Title（参考訳）: MetaRank: モデル転送可能性推定のためのタスク対応メトリック選択
• Authors: Yuhang Liu, Wenjie Zhao, Yunhui Guo,
• Abstract要約: タスク対応のMTEメトリック選択のためのメタ学習フレームワークであるMetaRankを紹介する。 従来のメタ機能に頼るのではなく、MetaRankはデータセットとMTEメトリクスの両方のテキスト記述をエンコードする。 メタ予測器は、さまざまなメタタスク上でオフラインでトレーニングされ、データセットの特徴とメートル法メカニズムの間の複雑な関係を学習する。
• 参考スコア（独自算出の注目度）: 25.11923464702804
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Selecting an appropriate pre-trained source model is a critical, yet computationally expensive, task in transfer learning. Model Transferability Estimation (MTE) methods address this by providing efficient proxy metrics to rank models without full fine-tuning. In practice, the choice of which MTE metric to use is often ad hoc or guided simply by a metric's average historical performance. However, we observe that the effectiveness of MTE metrics is highly task-dependent and no single metric is universally optimal across all target datasets. To address this gap, we introduce MetaRank, a meta-learning framework for automatic, task-aware MTE metric selection. We formulate metric selection as a learning-to-rank problem. Rather than relying on conventional meta-features, MetaRank encodes textual descriptions of both datasets and MTE metrics using a pretrained language model, embedding them into a shared semantic space. A meta-predictor is then trained offline on diverse meta-tasks to learn the intricate relationship between dataset characteristics and metric mechanisms, optimized with a listwise objective that prioritizes correctly ranking the top-performing metrics. During the subsequent online phase, MetaRank efficiently ranks the candidate MTE metrics for a new, unseen target dataset based on its textual description, enabling practitioners to select the most appropriate metric a priori. Extensive experiments across 11 pretrained models and 11 target datasets demonstrate the strong effectiveness of our approach.
• Abstract（参考訳）: 適切なトレーニング済みのソースモデルを選択することは、トランスファーラーニングにおける重要なタスクであるが、計算上は高価である。 モデル転送可能性推定(MTE)メソッドは、完全な微調整をせずに、モデルのランク付けに効率的なプロキシメトリクスを提供することによって、この問題に対処する。 実際には、どのMTEメトリックを使用するかの選択は、単にメートル法の平均的な歴史的パフォーマンスによってアドホックまたはガイドされることが多い。 しかし、MTEメトリクスの有効性はタスク依存度が高く、全てのターゲットデータセットに対して単一のメトリックが普遍的に最適ではないことが観察された。 このギャップに対処するために,メタラーニングフレームワークであるMetaRankを紹介した。 距離選択を学習 to ランク問題として定式化する。 MetaRankは従来のメタ機能に頼るのではなく、事前訓練された言語モデルを使用してデータセットとMTEメトリクスのテキスト記述をエンコードし、それらを共有セマンティックスペースに埋め込む。 メタ予測器は、さまざまなメタタスク上でオフラインでトレーニングされ、データセットの特徴とメトリックメカニズムの複雑な関係を学ぶ。 その後のオンラインフェーズでは、MetaRankはテキスト記述に基づいて、新しい、目に見えないターゲットデータセットの候補MTEメトリクスを効率よくランク付けし、実践者が優先順位として最も適切なメトリックを選択することができる。 11の事前訓練されたモデルと11のターゲットデータセットにわたる大規模な実験は、我々のアプローチの強い効果を示している。

関連論文リスト

• Large Language Models are Demonstration Pre-Selectors for Themselves [57.101804269100185]
  大規模言語モデル(LLM)を備えたインコンテキスト学習(ICL)は、トレーニングデータ全体から数ショットのデモを選択することで、強力な数ショットのパフォーマンスを提供する。 FEw yet Essential Demonstration prE-selectoRは、デモの代表的なサブセットを特定する新しい事前選択フレームワークである。 FEwでもEssential Demonstration prE-selectoRは、パフォーマンスを維持しながら、トレーニングデータのサイズを20%以上削減できる。
  論文  参考訳（メタデータ） (2025-06-06T12:29:03Z)
• BeST -- A Novel Source Selection Metric for Transfer Learning [35.32994166809785]
  与えられたタスクに対して最も転送可能なソースを特定するための新しいタスク類似度指標(BeST)を開発する。 提案手法は,多数のソースモデルを選択することで,転送学習に多大な費用を費やすことができる。
  論文  参考訳（メタデータ） (2025-01-19T03:58:05Z)
• Statistical Uncertainty Quantification for Aggregate Performance Metrics in Machine Learning Benchmarks [0.0]
  複数のタスクにまたがって集約されたメトリクスの不確かさを定量化するために,統計的手法がいかに用いられるかを示す。 これらの技術は、全体的なパフォーマンスが劣っているにもかかわらず、特定のタスクに対する特定のモデルの優位性のような洞察を浮き彫りにする。
  論文  参考訳（メタデータ） (2025-01-08T02:17:34Z)
• DsDm: Model-Aware Dataset Selection with Datamodels [81.01744199870043]
  標準的なプラクティスは、データ品質という人間の考え方にマッチする例をフィルタリングすることです。 質の高い"データソースとの類似性に応じた選択は、ランダムに選択するデータに比べてパフォーマンスが向上しない(さらに傷つく)可能性がある。 我々のフレームワークは、データ品質に関する手作業による概念を回避し、学習プロセスがターゲットタスクの予測にデータポイントをトレーニングする方法を明確にモデル化する。
  論文  参考訳（メタデータ） (2024-01-23T17:22:00Z)
• Transferability Metrics for Object Detection [0.0]
  Transfer Learningは、既存のトレーニング済みモデルを最大限に活用して、限られたデータシナリオで新しいタスクのパフォーマンスを向上させることを目的としている。 我々は、ROI-Align と TLogME を用いて、転送可能性のメトリクスをオブジェクト検出に拡張する。 我々は,TLogMEが転送性能とロバストな相関を示し,局所的およびグローバルなレベルの特性で他の転送可能性指標より優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-27T08:49:31Z)
• Meta-Regularization by Enforcing Mutual-Exclusiveness [0.8057006406834467]
  本稿では,メタ学習時の情報フローをモデル設計者が制御できるように,メタ学習モデルの正規化手法を提案する。 提案した正規化関数は,Omniglotデータセット上で$sim$$36%の精度向上を示す。
  論文  参考訳（メタデータ） (2021-01-24T22:57:19Z)
• Meta-Generating Deep Attentive Metric for Few-shot Classification [53.07108067253006]
  本稿では,新しい数ショット学習タスクのための特定のメトリックを生成するための,新しい深度メタジェネレーション手法を提案する。 本研究では,各タスクの識別基準を生成するのに十分なフレキシブルな3層深い注意ネットワークを用いて,メトリクスを構造化する。 特に挑戦的なケースでは、最先端の競合他社よりも驚くほどパフォーマンスが向上しています。
  論文  参考訳（メタデータ） (2020-12-03T02:07:43Z)
• Improving Generalization in Meta-learning via Task Augmentation [69.83677015207527]
  本稿ではMetaMixとChannel Shuffleの2つのタスク拡張手法を提案する。 MetaMixとChannel Shuffleはどちらも、多くのデータセットにまたがる大きなマージンによって、最先端の結果を上回っている。
  論文  参考訳（メタデータ） (2020-07-26T01:50:42Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)
• Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
  メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。 我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
  論文  参考訳（メタデータ） (2020-02-11T01:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。