論文の概要: BeST -- A Novel Source Selection Metric for Transfer Learning

• arxiv url: http://arxiv.org/abs/2501.10933v1
• Date: Sun, 19 Jan 2025 03:58:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:25:28.076521
• Title: BeST -- A Novel Source Selection Metric for Transfer Learning
• Title（参考訳）: BeST -- トランスファーラーニングのための新しいソース選択基準
• Authors: Ashutosh Soni, Peizhong Ju, Atilla Eryilmaz, Ness B. Shroff,
• Abstract要約: 与えられたタスクに対して最も転送可能なソースを特定するための新しいタスク類似度指標(BeST)を開発する。 提案手法は,多数のソースモデルを選択することで,転送学習に多大な費用を費やすことができる。
• 参考スコア（独自算出の注目度）: 35.32994166809785
• License:
• Abstract: One of the most fundamental, and yet relatively less explored, goals in transfer learning is the efficient means of selecting top candidates from a large number of previously trained models (optimized for various "source" tasks) that would perform the best for a new "target" task with a limited amount of data. In this paper, we undertake this goal by developing a novel task-similarity metric (BeST) and an associated method that consistently performs well in identifying the most transferrable source(s) for a given task. In particular, our design employs an innovative quantization-level optimization procedure in the context of classification tasks that yields a measure of similarity between a source model and the given target data. The procedure uses a concept similar to early stopping (usually implemented to train deep neural networks (DNNs) to ensure generalization) to derive a function that approximates the transfer learning mapping without training. The advantage of our metric is that it can be quickly computed to identify the top candidate(s) for a given target task before a computationally intensive transfer operation (typically using DNNs) can be implemented between the selected source and the target task. As such, our metric can provide significant computational savings for transfer learning from a selection of a large number of possible source models. Through extensive experimental evaluations, we establish that our metric performs well over different datasets and varying numbers of data samples.
• Abstract（参考訳）: トランスファーラーニングにおける最も基本的な目標の一つは、(様々な「ソース」タスクに最適化された)事前訓練された多数のモデルから、限られた量のデータで新しい「ターゲット」タスクに最適なトップ候補を選択する効率的な方法である。 本稿では,新しいタスク類似度指標(BeST)と,与えられたタスクに対して最も転送可能なソースを特定する上で,一貫した機能を持つメソッドを開発することで,この目標を達成する。 特に,本設計では,ソースモデルと対象データとの類似性の尺度を出力する分類タスクの文脈において,革新的な量子化レベル最適化手法を採用している。 この手順は、早期停止(通常、ディープニューラルネットワーク(DNN)を訓練して一般化を保証するために実装される)に似た概念を用いて、トレーニングなしで伝達学習マッピングを近似する関数を導出する。 提案手法の利点は、選択したソースと対象タスクの間で計算集約的な転送操作(典型的にはDNN)を行う前に、与えられた対象タスクの上位候補(s)を迅速に特定できる点である。 そのため,提案手法は,多数のソースモデルを選択することで,転送学習に多大な費用を費やすことができる。 広範囲な実験的評価を通じて、我々の測定値が、異なるデータセットと様々な数のデータサンプルに対して良好に動作することを確かめる。

関連論文リスト

• Less is More: Parameter-Efficient Selection of Intermediate Tasks for Transfer Learning [5.119396962985841]
  中間的タスク伝達学習はモデル性能を大幅に向上させることができる。 12kのソース・ターゲット対を用いたNLPタスク転送性とタスク選択に関する最大の研究を行う。 事前の手法でESMを適用すると、それぞれ10と278の因子による実行時間とディスクスペースの使用量が減少する。
  論文  参考訳（メタデータ） (2024-10-19T16:22:04Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• Transferability Metrics for Object Detection [0.0]
  Transfer Learningは、既存のトレーニング済みモデルを最大限に活用して、限られたデータシナリオで新しいタスクのパフォーマンスを向上させることを目的としている。 我々は、ROI-Align と TLogME を用いて、転送可能性のメトリクスをオブジェクト検出に拡張する。 我々は,TLogMEが転送性能とロバストな相関を示し,局所的およびグローバルなレベルの特性で他の転送可能性指標より優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-27T08:49:31Z)
• Optimal transfer protocol by incremental layer defrosting [66.76153955485584]
  トランスファーラーニングは、限られた量のデータでモデルトレーニングを可能にする強力なツールである。 最も単純な転送学習プロトコルは、データリッチなソースタスクで事前訓練されたネットワークの機能抽出層を凍結する。 このプロトコルは、しばしば準最適であり、事前学習されたネットワークの小さな部分を凍結したままにしておくと、最大の性能向上が達成される可能性がある。
  論文  参考訳（メタデータ） (2023-03-02T17:32:11Z)
• Towards Estimating Transferability using Hard Subsets [25.86053764521497]
  HASTEは、ターゲットデータのより厳しいサブセットのみを用いて、ソースモデルの特定のターゲットタスクへの転送可能性を推定する新しい戦略である。 HASTEは既存の転送可能性測定値と組み合わせて信頼性を向上させることができることを示す。 複数のソースモデルアーキテクチャ、ターゲットデータセット、トランスファー学習タスクにまたがる実験結果から、HASTEの修正されたメトリクスは、一貫して、あるいは、アートトランスファービリティーメトリクスの状態と同等であることが示された。
  論文  参考訳（メタデータ） (2023-01-17T14:50:18Z)
• Selecting task with optimal transport self-supervised learning for few-shot classification [15.088213168796772]
  Few-Shot分類は、トレーニングプロセスで利用可能なサンプルはわずかである、という問題を解決することを目的としている。 本稿では,Few-Shot 学習のための類似タスクを選択して学習セットを構築するために,OTTS (Optimal Transport Task Selecting) という新しいタスク選択アルゴリズムを提案する。 OTTSは最適な輸送距離を計算してタスク類似度を測定し、自己監督戦略を通じてモデルトレーニングを完了させる。
  論文  参考訳（メタデータ） (2022-04-01T08:45:29Z)
• Auto-Transfer: Learning to Route Transferrable Representations [77.30427535329571]
  本稿では,適切なターゲット表現にソース表現をルートする方法を自動学習する,新しい対向型マルチアームバンディット手法を提案する。 最先端の知識伝達手法と比較すると,5%以上の精度向上が期待できる。
  論文  参考訳（メタデータ） (2022-02-02T13:09:27Z)
• Active Multi-Task Representation Learning [50.13453053304159]
  本研究は,アクティブラーニングの手法を活用することで,資源タスクのサンプリングに関する最初の公式な研究を行う。 提案手法は, 対象タスクに対する各ソースタスクの関連性を反復的に推定し, その関連性に基づいて各ソースタスクからサンプルを抽出するアルゴリズムである。
  論文  参考訳（メタデータ） (2022-02-02T08:23:24Z)
• A Taxonomy of Similarity Metrics for Markov Decision Processes [62.997667081978825]
  近年、伝達学習は強化学習(RL)アルゴリズムをより効率的にすることに成功した。 本稿では,これらの指標を分類し,これまでに提案されている類似性の定義を分析する。
  論文  参考訳（メタデータ） (2021-03-08T12:36:42Z)
• Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
  本研究では,33のNLPタスク間の伝達可能性について検討した。 以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。 また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
  論文  参考訳（メタデータ） (2020-05-02T09:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。