論文の概要: Transferability Metrics for Selecting Source Model Ensembles

• arxiv url: http://arxiv.org/abs/2111.13011v1
• Date: Thu, 25 Nov 2021 10:43:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-29 16:45:56.279177
• Title: Transferability Metrics for Selecting Source Model Ensembles
• Title（参考訳）: ソースモデルアンサンブル選択のための転送可能性メトリクス
• Authors: Andrea Agostinelli, Jasper Uijlings, Thomas Mensink, Vittorio Ferrari
• Abstract要約: 可能なすべてのアンサンブルを微調整することは、計算的に禁止されるため、アンサンブルの選択は困難である。 本稿では,このタスク用に設計された新しいトランスファービリティ指標を提案し,それらを挑戦的で現実的なトランスファー学習設定で評価する。 対象とするデータセットの平均は17で、ベースラインをそれぞれ6.4%、相対平均IoUは2.5%上回った。
• 参考スコア（独自算出の注目度）: 43.980600479738435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We address the problem of ensemble selection in transfer learning: Given a large pool of source models we want to select an ensemble of models which, after fine-tuning on the target training set, yields the best performance on the target test set. Since fine-tuning all possible ensembles is computationally prohibitive, we aim at predicting performance on the target dataset using a computationally efficient transferability metric. We propose several new transferability metrics designed for this task and evaluate them in a challenging and realistic transfer learning setup for semantic segmentation: we create a large and diverse pool of source models by considering 17 source datasets covering a wide variety of image domain, two different architectures, and two pre-training schemes. Given this pool, we then automatically select a subset to form an ensemble performing well on a given target dataset. We compare the ensemble selected by our method to two baselines which select a single source model, either (1) from the same pool as our method; or (2) from a pool containing large source models, each with similar capacity as an ensemble. Averaged over 17 target datasets, we outperform these baselines by 6.0% and 2.5% relative mean IoU, respectively.
• Abstract（参考訳）: 我々は、転送学習におけるアンサンブル選択の問題に対処する: 大量のソースモデルに対して、ターゲットのトレーニングセットを微調整した後、ターゲットのテストセット上で最高のパフォーマンスが得られるようなモデルのアンサンブルを選択したい。 可能なすべてのアンサンブルの微調整は計算が禁じられているため,計算効率のよい転送性指標を用いて,対象データセットの性能を予測することを目指している。 このタスク用に設計された新しいトランスファービリティメトリクスを提案し、セマンティックセグメンテーションのための挑戦的で現実的なトランスファーラーニング設定で評価する: 多様な画像領域と2つの異なるアーキテクチャ、および2つの事前学習スキームをカバーする17のソースデータセットを考慮し、大規模で多様なソースモデルのプールを作成する。 このプールが与えられたら、サブセットを自動的に選択して、所定のターゲットデータセット上でうまく動作するアンサンブルを形成する。 我々は,本手法で選択したアンサンブルを,(1)同一のプールから,(2)大容量のソースモデルを含むプールから,それぞれがアンサンブルと同等の容量を持つ1つのソースモデルを選択する2つのベースラインと比較する。 対象とするデータセットの平均は17で、ベースラインはそれぞれ6.0%、相対平均IoUは2.5%を上回った。

関連論文リスト

• Adapt-$\infty$: Scalable Lifelong Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
  Adapt-$infty$は、Lifelong Instruction Tuningの新しいマルチウェイおよびアダプティブデータ選択アプローチである。 勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。 セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。
  論文  参考訳（メタデータ） (2024-10-14T15:48:09Z)
• DsDm: Model-Aware Dataset Selection with Datamodels [81.01744199870043]
  標準的なプラクティスは、データ品質という人間の考え方にマッチする例をフィルタリングすることです。 質の高い"データソースとの類似性に応じた選択は、ランダムに選択するデータに比べてパフォーマンスが向上しない(さらに傷つく)可能性がある。 我々のフレームワークは、データ品質に関する手作業による概念を回避し、学習プロセスがターゲットタスクの予測にデータポイントをトレーニングする方法を明確にモデル化する。
  論文  参考訳（メタデータ） (2024-01-23T17:22:00Z)
• Large Language Model Routing with Benchmark Datasets [40.42044096089315]
  通常、単一のモデルがすべてのタスクやユースケースで最高の精度を達成することはない。 そこで我々は,この選択のための"ルータ"モデルを学習するために,ベンチマークデータセットを再利用した新しい定式化を提案する。 本稿では,この問題をバイナリ分類タスクの集合に還元できることを示す。
  論文  参考訳（メタデータ） (2023-09-27T17:08:40Z)
• Building a Winning Team: Selecting Source Model Ensembles using a Submodular Transferability Estimation Approach [20.86345962679122]
  公開されている事前訓練されたモデルの目標タスクへの転送可能性の推定は、伝達学習タスクにとって重要な場所となっている。 本稿では, モデルアンサンブルの下流タスクへの転送可能性を評価するために, 最適なtranSportベースのsuBmOdular tRaNsferability Metrics(OSBORN)を提案する。
  論文  参考訳（メタデータ） (2023-09-05T17:57:31Z)
• Universal Semi-supervised Model Adaptation via Collaborative Consistency Training [92.52892510093037]
  我々は、Universal Semi-supervised Model Adaptation (USMA)と呼ばれる現実的で挑戦的なドメイン適応問題を導入する。 本稿では,2つのモデル間の予測整合性を規則化する協調的整合性トレーニングフレームワークを提案する。 実験により,いくつかのベンチマークデータセットにおける本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-07-07T08:19:40Z)
• Deep Model Reassembly [60.6531819328247]
  我々はDeep Model Reassembly(DeRy)と呼ばれる新しい知識伝達タスクを探索する。 DeRyの目標は、まず各モデルを固有のビルディングブロックに分割し、それから派生したブロックを選択的に再組み立てて、カスタマイズされたネットワークを生成することである。 ImageNetでは、最高の再組み立てモデルは微調整なしで78.6%のトップ1の精度を実現している。
  論文  参考訳（メタデータ） (2022-10-24T10:16:13Z)
• Single-dataset Experts for Multi-dataset Question Answering [6.092171111087768]
  複数のデータセットにネットワークをトレーニングして、新たなデータセットを一般化し、転送します。 我々のアプローチは、単一データセットの専門家の集合を用いて、マルチデータセットの質問応答をモデル化することである。 パラメータ警告に基づく単純な手法は、ゼロショットの一般化と少数ショットの転送性能の向上につながる。
  論文  参考訳（メタデータ） (2021-09-28T17:08:22Z)
• On Generalization in Coreference Resolution [66.05112218880907]
  モデルの市販性能を評価するため、異なるドメインを対象とした8つのコア参照解決データセットを統合する。 次に、それらのドメイン、アノテーションガイドライン、メタデータが異なるにもかかわらず、トレーニングのために3つのデータセットを混ぜて、単一のモデルを共同でトレーニングする方法を提案する。 ゼロショット環境では、単一のデータセット転送でトレーニングされたモデルが不十分であるのに対して、共同トレーニングの成果によって全体的なパフォーマンスが改善されていることが分かりました。
  論文  参考訳（メタデータ） (2021-09-20T16:33:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。