論文の概要: Building a Winning Team: Selecting Source Model Ensembles using a
Submodular Transferability Estimation Approach
- arxiv url: http://arxiv.org/abs/2309.02429v1
- Date: Tue, 5 Sep 2023 17:57:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-06 13:35:00.134595
- Title: Building a Winning Team: Selecting Source Model Ensembles using a
Submodular Transferability Estimation Approach
- Title（参考訳）: 勝利チームの構築:サブモジュラー転送可能性推定手法を用いたソースモデルアンサンブルの選択
- Authors: Vimal K B, Saketh Bachu, Tanmay Garg, Niveditha Lakshmi Narasimhan,
Raghavan Konuru and Vineeth N Balasubramanian
- Abstract要約: 公開されている事前訓練されたモデルの目標タスクへの転送可能性の推定は、伝達学習タスクにとって重要な場所となっている。
本稿では, モデルアンサンブルの下流タスクへの転送可能性を評価するために, 最適なtranSportベースのsuBmOdular tRaNsferability Metrics(OSBORN)を提案する。
- 参考スコア（独自算出の注目度）: 20.86345962679122
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Estimating the transferability of publicly available pretrained models to a
target task has assumed an important place for transfer learning tasks in
recent years. Existing efforts propose metrics that allow a user to choose one
model from a pool of pre-trained models without having to fine-tune each model
individually and identify one explicitly. With the growth in the number of
available pre-trained models and the popularity of model ensembles, it also
becomes essential to study the transferability of multiple-source models for a
given target task. The few existing efforts study transferability in such
multi-source ensemble settings using just the outputs of the classification
layer and neglect possible domain or task mismatch. Moreover, they overlook the
most important factor while selecting the source models, viz., the cohesiveness
factor between them, which can impact the performance and confidence in the
prediction of the ensemble. To address these gaps, we propose a novel Optimal
tranSport-based suBmOdular tRaNsferability metric (OSBORN) to estimate the
transferability of an ensemble of models to a downstream task. OSBORN
collectively accounts for image domain difference, task difference, and
cohesiveness of models in the ensemble to provide reliable estimates of
transferability. We gauge the performance of OSBORN on both image
classification and semantic segmentation tasks. Our setup includes 28 source
datasets, 11 target datasets, 5 model architectures, and 2 pre-training
methods. We benchmark our method against current state-of-the-art metrics
MS-LEEP and E-LEEP, and outperform them consistently using the proposed
approach.
- Abstract（参考訳）: 対象タスクへの公開事前学習モデルの転送可能性の推定は,近年,学習タスクの転送に重要な役割を担っている。
既存の取り組みでは、各モデルを個別に微調整することなく、ユーザが事前訓練されたモデルのプールから1つのモデルを選択できるメトリクスを提案している。
利用可能な事前学習モデルの数の増加とモデルアンサンブルの人気により、与えられた目標タスクに対する複数のソースモデルの転送可能性の研究も必要となる。
既存の取り組みでは、分類層の出力のみを使用してマルチソースアンサンブルの設定で転送可能性を研究し、可能なドメインやタスクのミスマッチを無視する。
さらに、ソースモデル、すなわちそれらの間の結合性因子を選択する際に最も重要な要素を見落とし、アンサンブルの予測におけるパフォーマンスと信頼性に影響を与える可能性がある。
これらのギャップに対処するために, モデル集合の下流タスクへの転送可能性を評価するために, 最適tranSportベースの suBmOdular tRaNsferability metric (OSBORN) を提案する。
OSBORNは、画像領域の違い、タスクの違い、アンサンブル内のモデルの凝集度を総合的に説明し、転送可能性の信頼性を推定する。
画像分類と意味セグメンテーションタスクの両方においてosbornの性能を評価する。
セットアップには28のソースデータセット、11のターゲットデータセット、5つのモデルアーキテクチャ、2つの事前トレーニングメソッドが含まれています。
提案手法を現状の指標であるMS-LEEPとE-LEEPに対してベンチマークし,提案手法を用いて一貫した性能を示す。
関連論文リスト
- A Two-Phase Recall-and-Select Framework for Fast Model Selection [13.385915962994806]
本稿では,2相モデル選択フレームワークを提案する。
これは、ベンチマークデータセット上でモデルのトレーニングパフォーマンスを活用することにより、堅牢なモデルを選択する効率を高めることを目的としている。
提案手法は,従来のベースライン法に比べて約3倍の速度でハイパフォーマンスモデルの選択を容易にすることが実証された。
論文 参考訳（メタデータ） (2024-03-28T14:44:44Z) - MTP: Advancing Remote Sensing Foundation Model via Multi-Task Pretraining [73.81862342673894]
ファンデーションモデルは、様々な画像解釈タスクを強化することで、リモートセンシング(RS)のランドスケープを再構築した。
事前訓練されたモデルを下流のタスクに転送することは、イメージ分類やオブジェクト識別タスクとして事前訓練の定式化によるタスクの相違に遭遇する可能性がある。
SAMRSデータセット上で、セマンティックセグメンテーション、インスタンスセグメンテーション、回転オブジェクト検出を含むマルチタスクによる事前トレーニングを行う。
我々のモデルは、シーン分類、水平・回転物体検出、セマンティックセグメンテーション、変化検出など、様々なRS下流タスクに基づいて微調整される。
論文 参考訳（メタデータ） (2024-03-20T09:17:22Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z) - Universal Semi-supervised Model Adaptation via Collaborative Consistency
Training [92.52892510093037]
我々は、Universal Semi-supervised Model Adaptation (USMA)と呼ばれる現実的で挑戦的なドメイン適応問題を導入する。
本稿では,2つのモデル間の予測整合性を規則化する協調的整合性トレーニングフレームワークを提案する。
実験により,いくつかのベンチマークデータセットにおける本手法の有効性が示された。
論文 参考訳（メタデータ） (2023-07-07T08:19:40Z) - Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。
しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。
これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
論文 参考訳（メタデータ） (2023-04-05T07:28:33Z) - Towards Estimating Transferability using Hard Subsets [25.86053764521497]
HASTEは、ターゲットデータのより厳しいサブセットのみを用いて、ソースモデルの特定のターゲットタスクへの転送可能性を推定する新しい戦略である。
HASTEは既存の転送可能性測定値と組み合わせて信頼性を向上させることができることを示す。
複数のソースモデルアーキテクチャ、ターゲットデータセット、トランスファー学習タスクにまたがる実験結果から、HASTEの修正されたメトリクスは、一貫して、あるいは、アートトランスファービリティーメトリクスの状態と同等であることが示された。
論文 参考訳（メタデータ） (2023-01-17T14:50:18Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - Transferability Estimation using Bhattacharyya Class Separability [37.52588126267552]
トランスファーラーニング(Transfer Learning)は、コンピュータビジョンにおいて事前訓練されたモデルを活用する一般的な方法である。
特定の目標タスクに適した事前学習されたソースモデルを定量化することは困難である。
本稿では,ソースモデルとターゲットデータセット間の転送可能性の定量化手法を提案する。
論文 参考訳（メタデータ） (2021-11-24T20:22:28Z) - Transferring model structure in Bayesian transfer learning for Gaussian
process regression [1.370633147306388]
本稿では、転送源分布上の目標確率分布を条件付けるタスクを定義する。
この最適意思決定問題を解決するために、完全な確率的設計が採用されている。
ソースのより高いモーメントを転送することで、ターゲットは信頼できないソース知識を拒否することができる。
論文 参考訳（メタデータ） (2021-01-18T05:28:02Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。