論文の概要: Practical Transferability Estimation for Image Classification Tasks
- arxiv url: http://arxiv.org/abs/2106.10479v3
- Date: Thu, 29 Feb 2024 06:29:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-03 15:27:57.914372
- Title: Practical Transferability Estimation for Image Classification Tasks
- Title（参考訳）: 画像分類作業の実践的伝達可能性推定
- Authors: Yang Tan, Yang Li, Shao-Lun Huang
- Abstract要約: 大きな課題は、クロスドメインのクロスタスク設定で転送可能性の推定を堅牢にする方法だ。
最近提案されたOTCEスコアは、ドメイン差とタスク差を考慮してこの問題を解決する。
本稿では,タスク差分推定のロバスト性を大幅に向上させる,JC-NCEスコアと呼ばれる実用的な転送可能性指標を提案する。
- 参考スコア（独自算出の注目度）: 20.07223947190349
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transferability estimation is an essential problem in transfer learning to
predict how good the performance is when transferring a source model (or source
task) to a target task. Recent analytical transferability metrics have been
widely used for source model selection and multi-task learning. A major
challenge is how to make transfereability estimation robust under the
cross-domain cross-task settings. The recently proposed OTCE score solves this
problem by considering both domain and task differences, with the help of
transfer experiences on auxiliary tasks, which causes an efficiency overhead.
In this work, we propose a practical transferability metric called JC-NCE score
that dramatically improves the robustness of the task difference estimation in
OTCE, thus removing the need for auxiliary tasks. Specifically, we build the
joint correspondences between source and target data via solving an optimal
transport problem with a ground cost considering both the sample distance and
label distance, and then compute the transferability score as the negative
conditional entropy of the matched labels. Extensive validations under the
intra-dataset and inter-dataset transfer settings demonstrate that our JC-NCE
score outperforms the auxiliary-task free version of OTCE for 7% and 12%,
respectively, and is also more robust than other existing transferability
metrics on average.
- Abstract（参考訳）: 伝達可能性の推定は、対象タスクにソースモデル(またはソースタスク)を転送する際のパフォーマンスがどの程度良いかを予測するために、転送学習において不可欠な問題である。
最近の解析的転送可能性メトリクスは、ソースモデル選択とマルチタスク学習に広く使われている。
大きな課題は、クロスドメインのクロスタスク設定で転送可能性の推定を堅牢にする方法だ。
最近提案されたOTCEスコアは、補助的なタスクにおける転送経験の助けを借りて、ドメインとタスクの違いの両方を考慮することでこの問題を解決する。
本研究では,OTCEにおけるタスク差分推定のロバスト性を大幅に向上させ,補助的タスクの必要性を解消する,JC-NCEスコアと呼ばれる実用的な転送可能性指標を提案する。
具体的には、サンプル距離とラベル距離の両方を考慮した地上コストで最適な輸送問題を解くことにより、ソースデータとターゲットデータとの結合関係を構築し、一致するラベルの負条件エントロピーとして転送可能性スコアを算出する。
データセット内およびデータセット間転送設定下での大規模な検証では,JC-NCEスコアがOTCEの補助タスクフリーバージョンを7%,12%で上回り,既存の転送可能性指標よりも堅牢であることが示された。
関連論文リスト
- ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。
複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。
ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
論文 参考訳（メタデータ） (2023-01-30T02:27:02Z) - Towards Estimating Transferability using Hard Subsets [25.86053764521497]
HASTEは、ターゲットデータのより厳しいサブセットのみを用いて、ソースモデルの特定のターゲットタスクへの転送可能性を推定する新しい戦略である。
HASTEは既存の転送可能性測定値と組み合わせて信頼性を向上させることができることを示す。
複数のソースモデルアーキテクチャ、ターゲットデータセット、トランスファー学習タスクにまたがる実験結果から、HASTEの修正されたメトリクスは、一貫して、あるいは、アートトランスファービリティーメトリクスの状態と同等であることが示された。
論文 参考訳（メタデータ） (2023-01-17T14:50:18Z) - Transferability Estimation Based On Principal Gradient Expectation [68.97403769157117]
クロスタスク転送性は、自己整合性を維持しながら転送結果と互換性がある。
既存の転送可能性メトリクスは、ソースとターゲットタスクを会話することで、特定のモデルに基づいて推定される。
本稿では,タスク間の転送可能性を評価するための簡易かつ効果的な手法であるPGEを提案する。
論文 参考訳（メタデータ） (2022-11-29T15:33:02Z) - Transferability-Guided Cross-Domain Cross-Task Transfer Learning [21.812715282796255]
本稿では,F-OTCEとJC-OTCEの2つの新しい転送可能性指標を提案する。
F-OTCEは、まずソースとターゲットの分布間の最適輸送問題を解くことで、転送可能性を推定する。
JC-OTCEは、OT問題にラベル距離を含めることで、F-OTCEの転送性を向上させる。
論文 参考訳（メタデータ） (2022-07-12T13:06:16Z) - Identifying Suitable Tasks for Inductive Transfer Through the Analysis
of Feature Attributions [78.55044112903148]
我々は、単一タスクモデル間のニューラルネットワークアクティベーションの比較を通じて、タスクペアが相補的になるかどうかを予測するために、説明可能性技術を使用する。
提案手法により,TREC-IS 2020-Aデータセットでは,正のクラスF1の0.034の削減に留まらず,最大83.5%のトレーニング時間を短縮することが可能である。
論文 参考訳（メタデータ） (2022-02-02T15:51:07Z) - Transferability Estimation for Semantic Segmentation Task [20.07223947190349]
我々は、最近の伝達可能性メートル法OTCEスコアをセマンティックセグメンテーションタスクに拡張する。
OTCEスコアを適用する際の課題は高次元セグメンテーション出力であり、非常に多くのピクセル間の最適な結合を許容コストで見つけることは困難である。
Cityscapes、BDD100K、GTA5データセットの実験的評価は、OTCEスコアが転送性能と高い相関性を示すことを示している。
論文 参考訳（メタデータ） (2021-09-30T16:21:17Z) - Frustratingly Easy Transferability Estimation [64.42879325144439]
本稿では,TransRate という,シンプルで効率的かつ効果的な転送可能性尺度を提案する。
TransRateは、事前訓練されたモデルによって抽出された対象サンプルの特徴とそれらのラベルとの間の相互情報として、転送可能性を測定する。
10行のコードで並外れた単純さにもかかわらず、TransRateは、22の事前訓練されたモデルと16のダウンストリームタスクに対する広範囲な評価において、非常にうまく機能している。
論文 参考訳（メタデータ） (2021-06-17T10:27:52Z) - OTCE: A Transferability Metric for Cross-Domain Cross-Task
Representations [6.730043708859326]
OTCE (Optimal Transport based Conditional Entropy) と呼ばれる移動性指標を提案する。
otceはトランスファビリティをドメインの違いとタスクの違いの組み合わせとして特徴づけ、それらを統一されたフレームワークのデータから明示的に評価する。
最大のクロスドメインデータセットであるDomainNetとOffice31の実験では、OTCEが地上の真実転送精度と相関して平均21%の利得を示した。
論文 参考訳（メタデータ） (2021-03-25T13:51:33Z) - Learning Invariant Representations across Domains and Tasks [81.30046935430791]
本稿では,この教師なしタスク転送問題を解決するための新しいタスク適応ネットワーク(tan)を提案する。
ドメイン・アドバーサル・トレーニングによる伝達可能な機能を学習することに加えて、学習から学習への戦略を用いてタスクの意味を適応させる新しいタスク・セマンティクス・アダプタを提案する。
TANは最近の強いベースラインに比べてリコールとF1スコアを5.0%と7.8%大きく向上させた。
論文 参考訳（メタデータ） (2021-03-03T11:18:43Z) - Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
本研究では,33のNLPタスク間の伝達可能性について検討した。
以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。
また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
論文 参考訳（メタデータ） (2020-05-02T09:39:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。