論文の概要: How stable are Transferability Metrics evaluations?

• arxiv url: http://arxiv.org/abs/2204.01403v1
• Date: Mon, 4 Apr 2022 11:38:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-05 15:41:36.981671
• Title: How stable are Transferability Metrics evaluations?
• Title（参考訳）: Transferability Metricsの評価はどの程度安定しているか?
• Authors: Andrea Agostinelli and Michal P\'andy and Jasper Uijlings and Thomas Mensink and Vittorio Ferrari
• Abstract要約: 本研究では, 広範囲な715k実験装置を体系的に構築し, 大規模研究を行う。 実験装置の小さなバリエーションでさえ、移動可能性計量が他よりも優れているという結論を導き出す。
• 参考スコア（独自算出の注目度）: 32.24673254834567
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transferability metrics is a maturing field with increasing interest, which aims at providing heuristics for selecting the most suitable source models to transfer to a given target dataset, without fine-tuning them all. However, existing works rely on custom experimental setups which differ across papers, leading to inconsistent conclusions about which transferability metrics work best. In this paper we conduct a large-scale study by systematically constructing a broad range of 715k experimental setup variations. We discover that even small variations to an experimental setup lead to different conclusions about the superiority of a transferability metric over another. Then we propose better evaluations by aggregating across many experiments, enabling to reach more stable conclusions. As a result, we reveal the superiority of LogME at selecting good source datasets to transfer from in a semantic segmentation scenario, NLEEP at selecting good source architectures in an image classification scenario, and GBC at determining which target task benefits most from a given source model. Yet, no single transferability metric works best in all scenarios.
• Abstract（参考訳）: トランスファービリティメトリクスは関心が高まる成熟した分野であり、これら全てを微調整することなく、与えられたターゲットデータセットに転送する最も適切なソースモデルを選択するためのヒューリスティックを提供することを目的としている。 しかし、既存の作品は論文ごとに異なる独自の実験的な設定に依存しており、どの移行可能性メトリクスが最適かという矛盾した結論をもたらしている。 本稿では,広範囲な715k実験装置を体系的に構築し,大規模研究を行う。 実験的な構成の小さな変化であっても、トランスファー可能性計量が他よりも優れているという結論は異なることが判明した。 そこで我々は,多くの実験を集約し,より安定した結論に達するためのより良い評価を提案する。 その結果、セマンティックセグメンテーションシナリオで転送するよいソースデータセットを選択する場合のlogmeの優位性、画像分類シナリオで優れたソースアーキテクチャを選択する場合のnleep、与えられたソースモデルから最も有利なターゲットタスクを決定する場合のgbcが明らかにされる。 しかし、すべてのシナリオで最もうまく機能する単一の転送可能性計量は存在しない。

関連論文リスト

• Diversified Batch Selection for Training Acceleration [68.67164304377732]
  オンラインバッチ選択として知られる一般的な研究ラインでは、トレーニングプロセス中の情報サブセットの選択について検討している。 バニラ参照モデルフリーメソッドは、独立してデータをサンプリング的にスコア付けし、選択する。 DivBS(Diversified Batch Selection)を提案する。
  論文  参考訳（メタデータ） (2024-06-07T12:12:20Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• Building a Winning Team: Selecting Source Model Ensembles using a Submodular Transferability Estimation Approach [20.86345962679122]
  公開されている事前訓練されたモデルの目標タスクへの転送可能性の推定は、伝達学習タスクにとって重要な場所となっている。 本稿では, モデルアンサンブルの下流タスクへの転送可能性を評価するために, 最適なtranSportベースのsuBmOdular tRaNsferability Metrics(OSBORN)を提案する。
  論文  参考訳（メタデータ） (2023-09-05T17:57:31Z)
• Transferability Metrics for Object Detection [0.0]
  Transfer Learningは、既存のトレーニング済みモデルを最大限に活用して、限られたデータシナリオで新しいタスクのパフォーマンスを向上させることを目的としている。 我々は、ROI-Align と TLogME を用いて、転送可能性のメトリクスをオブジェクト検出に拡張する。 我々は,TLogMEが転送性能とロバストな相関を示し,局所的およびグローバルなレベルの特性で他の転送可能性指標より優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-27T08:49:31Z)
• On the Trade-off of Intra-/Inter-class Diversity for Supervised Pre-training [72.8087629914444]
  教師付き事前学習データセットのクラス内多様性(クラス毎のサンプル数)とクラス間多様性(クラス数)とのトレードオフの影響について検討した。 トレーニング前のデータセットのサイズが固定された場合、最高のダウンストリームのパフォーマンスは、クラス内/クラス間の多様性のバランスがとれる。
  論文  参考訳（メタデータ） (2023-05-20T16:23:50Z)
• Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
  本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。 特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
  論文  参考訳（メタデータ） (2023-04-04T17:54:32Z)
• Towards Estimating Transferability using Hard Subsets [25.86053764521497]
  HASTEは、ターゲットデータのより厳しいサブセットのみを用いて、ソースモデルの特定のターゲットタスクへの転送可能性を推定する新しい戦略である。 HASTEは既存の転送可能性測定値と組み合わせて信頼性を向上させることができることを示す。 複数のソースモデルアーキテクチャ、ターゲットデータセット、トランスファー学習タスクにまたがる実験結果から、HASTEの修正されたメトリクスは、一貫して、あるいは、アートトランスファービリティーメトリクスの状態と同等であることが示された。
  論文  参考訳（メタデータ） (2023-01-17T14:50:18Z)
• Optimal Condition Training for Target Source Separation [56.86138859538063]
  単一チャネルターゲットソース分離のための最適条件学習法を提案する。 多様な意味概念によってもたらされる相補的な情報は、興味の源泉を乱して分離するのに大いに役立ちます。
  論文  参考訳（メタデータ） (2022-11-11T00:04:55Z)
• Source data selection for out-of-domain generalization [0.76146285961466]
  ソースデータセットの貧弱な選択は、ターゲットのパフォーマンスを低下させる可能性がある。 マルチバンド理論とランダム探索に基づく2つのソース選択手法を提案する。 提案手法は, 利用可能なサンプルのランダムな選択よりも優れた再重み付けされたサブサンプルの存在を診断するものであるとみなすことができる。
  論文  参考訳（メタデータ） (2022-02-04T14:37:31Z)
• Client Selection in Federated Learning based on Gradients Importance [5.263296985310379]
  フェデレートラーニング(FL)は、複数のデバイスが個人データを共有せずにグローバルモデルを協調的に学習することを可能にする。 本稿では,勾配規範の重要性に基づいて,デバイス選択戦略を検討・設計する。
  論文  参考訳（メタデータ） (2021-11-19T11:53:23Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。