論文の概要: Which Model to Transfer? A Survey on Transferability Estimation

• arxiv url: http://arxiv.org/abs/2402.15231v1
• Date: Fri, 23 Feb 2024 09:47:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-26 15:02:30.990876
• Title: Which Model to Transfer? A Survey on Transferability Estimation
• Title（参考訳）: どのモデルに移行するか? 伝達可能性推定に関する調査
• Authors: Yuhe Ding, Bo Jiang, Aijing Yu, Aihua Zheng, Jian Liang
• Abstract要約: トランスファーラーニングメソッドは、既存のソーストレーニング済みモデルやデータセットから関連する知識を活用して、下流のターゲットタスクを解決する。 モデル伝達可能性の推定は関心が高まりつつある領域であり、個別にトレーニングすることなく、この適合性を定量化する指標を提案することを目的としている。 本稿では、この領域における既存の進歩を初めてレビューし、これらを2つの異なる領域に分類する: ソースフリーモデル転送可能性推定とソース依存モデル転送可能性推定である。
• 参考スコア（独自算出の注目度）: 43.93666569439436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transfer learning methods endeavor to leverage relevant knowledge from existing source pre-trained models or datasets to solve downstream target tasks. With the increase in the scale and quantity of available pre-trained models nowadays, it becomes critical to assess in advance whether they are suitable for a specific target task. Model transferability estimation is an emerging and growing area of interest, aiming to propose a metric to quantify this suitability without training them individually, which is computationally prohibitive. Despite extensive recent advances already devoted to this area, they have custom terminological definitions and experimental settings. In this survey, we present the first review of existing advances in this area and categorize them into two separate realms: source-free model transferability estimation and source-dependent model transferability estimation. Each category is systematically defined, accompanied by a comprehensive taxonomy. Besides, we address challenges and outline future research directions, intending to provide a comprehensive guide to aid researchers and practitioners.
• Abstract（参考訳）: トランスファーラーニングメソッドは、既存のソーストレーニング済みモデルやデータセットから関連する知識を活用して、下流のターゲットタスクを解決する。 近年、利用可能な事前学習モデルの規模や量の増加に伴い、特定の目標タスクに適したものかどうかを事前に評価することが重要である。 モデル転送可能性の推定は、個々にトレーニングすることなく、この適合性を定量化するためのメトリックを提案することを目的とした、新興かつ成長中の関心領域である。 この領域にはすでに大規模な進歩があったが、カスタム用語の定義と実験的な設定がある。 本稿では,この領域における既存の進歩を初めて概観し,ソースフリーモデル転送可能性推定とソース依存モデル転送可能性推定の2つの領域に分類する。 各カテゴリーは体系的に定義され、包括的分類が伴う。 さらに,課題に対処し,研究者や実践者を支援する包括的なガイドを提供することを目的として,今後の研究方向性を概説する。

関連論文リスト

• Deep Learning-Based Object Pose Estimation: A Comprehensive Survey [73.74933379151419]
  ディープラーニングに基づくオブジェクトポーズ推定の最近の進歩について論じる。 また、複数の入力データモダリティ、出力ポーズの自由度、オブジェクト特性、下流タスクについても調査した。
  論文  参考訳（メタデータ） (2024-05-13T14:44:22Z)
• Efficient Transferability Assessment for Selection of Pre-trained Detectors [63.21514888618542]
  本稿では,事前学習対象検出器の効率的な伝達性評価について検討する。 我々は、事前訓練された検出器の大規模で多様な動物園を含む検出器転送性ベンチマークを構築した。 実験により,本手法は伝達性の評価において,他の最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-14T14:23:23Z)
• Regions are Who Walk Them: a Large Pre-trained Spatiotemporal Model Based on Human Mobility for Ubiquitous Urban Sensing [24.48869607589127]
  本研究では,人体移動データに含まれるリッチな情報を活用するために,トラジェクトリ(RAW)に基づく大規模時空間モデルを提案する。 提案手法は,人間の移動データのみに特色を持たず,ユーザのプロファイリングや地域分析に一定の関連性を示す。
  論文  参考訳（メタデータ） (2023-11-17T11:55:11Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Building a Winning Team: Selecting Source Model Ensembles using a Submodular Transferability Estimation Approach [20.86345962679122]
  公開されている事前訓練されたモデルの目標タスクへの転送可能性の推定は、伝達学習タスクにとって重要な場所となっている。 本稿では, モデルアンサンブルの下流タスクへの転送可能性を評価するために, 最適なtranSportベースのsuBmOdular tRaNsferability Metrics(OSBORN)を提案する。
  論文  参考訳（メタデータ） (2023-09-05T17:57:31Z)
• Fast and Accurate Transferability Measurement by Evaluating Intra-class Feature Variance [20.732095457775138]
  転送可能性の測定は、ソースタスクからターゲットタスクに学習したトレーニング済みモデルがどのように転送可能かを定量化する。 本稿では,トランスファビリティを計測する高速かつ正確なアルゴリズムであるTMI(TRANSFERABILITY Measurement with Intra-CLASS FEATURE VARIANCE)を提案する。
  論文  参考訳（メタデータ） (2023-08-11T07:50:40Z)
• ETran: Energy-Based Transferability Estimation [8.15331116331861]
  我々は,対象のデータセットが分布内(IND)か,事前学習されたモデルに対する分布外(OOD)かを定量化することが,伝達可能性推定の重要な要素であると主張する。 我々は、エネルギーベースモデルを用いて、目標データセットが事前訓練されたモデルに対してOODかINDかを決定する。 これは、オブジェクト検出タスクの転送可能性推定を提案する最初の作業である。
  論文  参考訳（メタデータ） (2023-08-03T20:41:08Z)
• GEO-Bench: Toward Foundation Models for Earth Monitoring [139.77907168809085]
  6つの分類と6つのセグメンテーションタスクからなるベンチマークを提案する。 このベンチマークは、さまざまな地球観測タスクの進行の原動力となる。
  論文  参考訳（メタデータ） (2023-06-06T16:16:05Z)
• Hub-Pathway: Transfer Learning from A Hub of Pre-trained Models [89.44031286278347]
  本稿では,モデルハブからの知識伝達を可能にするハブパスウェイフレームワークを提案する。 提案するフレームワークは、目的のタスク固有の損失でエンドツーエンドにトレーニングすることができる。 コンピュータビジョンおよび強化学習タスクの実験結果は、このフレームワークが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2022-06-08T08:00:12Z)
• Shifts: A Dataset of Real Distributional Shift Across Multiple Large-Scale Tasks [44.61070965407907]
  現場の現状を考えると、分散シフトの影響を受け、様々なモードのタスクの標準化された大規模データセットが必要である。 本研究では,不確実性推定と分布シフトに対するロバスト性評価のためのemphShiftsデータセットを提案する。
  論文  参考訳（メタデータ） (2021-07-15T16:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。