論文の概要: Practical Transferability Estimation for Image Classification Tasks
- arxiv url: http://arxiv.org/abs/2106.10479v1
- Date: Sat, 19 Jun 2021 11:59:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-22 16:04:02.478249
- Title: Practical Transferability Estimation for Image Classification Tasks
- Title（参考訳）: 画像分類作業の実践的伝達可能性推定
- Authors: Yang Tan, Yang Li, Shao-Lun Huang
- Abstract要約: 転送可能性の推定は、ソースモデルを目標タスクに転送する際の性能がどの程度優れているかを予測するために、転送学習において不可欠な問題である。
近年,ソースモデル選択やマルチタスク学習において,解析的伝達可能性の指標が広く用いられている。
クロスドメイン・クロスタスク・トランスポートビリティ推定性能を改善するために, JC-NCE と呼ばれる実用的なトランスポートビリティ・メトリックを提案する。
- 参考スコア（独自算出の注目度）: 6.730043708859326
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transferability estimation is an essential problem in transfer learning to
predict how good the performance is when transfer a source model (source task)
to a target task. Recent analytical transferability metrics have been widely
used for source model selection and multi-task learning. Earlier metrics does
not work sufficiently well under the challenging cross-domain cross-task
transfer settings, but recent OTCE score achieves a noteworthy performance
using auxiliary tasks. A simplified version named OT-based NCE score sacrifices
accuracy to be more efficient, but it can be further improved. Consequently, we
propose a practical transferability metric called JC-NCE score to further
improve the cross-domain cross-task transferability estimation performance,
which is more efficient than the OTCE score and more accurate than the OT-based
NCE score. Specifically, we build the joint correspondences between source and
target data via solving an optimal transport problem with considering both the
sample distance and label distance, and then compute the transferability score
as the negative conditional entropy. Extensive validations under the
intra-dataset and inter-dataset transfer settings demonstrate that our JC-NCE
score outperforms the OT-based NCE score with about 7% and 12% gains,
respectively.
- Abstract（参考訳）: トランスファー可能性の推定は、ソースモデル(ソースタスク)を対象タスクに転送する際のパフォーマンスがどの程度良いかを予測するために、トランスファー学習において不可欠な問題である。
最近の解析的転送可能性メトリクスは、ソースモデル選択とマルチタスク学習に広く使われている。
以前のメトリクスは、難しいクロスドメインのクロスタスク転送設定では十分に機能しないが、最近のOTCEスコアは補助タスクを使用して注目すべきパフォーマンスを達成する。
OTベースのNCEスコアと呼ばれる単純化されたバージョンでは、精度を犠牲にして効率が向上するが、さらなる改善が可能である。
そこで本研究では,OTCEスコアよりも効率が高く,OTベースのNCEスコアよりも正確であるクロスドメインクロスタスクトランスファービリティ推定性能を向上させるために,JC-NCEスコアと呼ばれる実用的トランスファービリティ指標を提案する。
具体的には,サンプル距離とラベル距離の両方を考慮し,最適なトランスポート問題を解決することにより,ソースデータとターゲットデータとの結合対応を構築し,その転送可能性スコアを負条件エントロピーとして計算する。
データセット内およびデータセット間転送設定下での広範囲な検証により,JC-NCEスコアがOTベースのNCEスコアよりも約7%,12%向上したことが明らかとなった。
関連論文リスト
- ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。
複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。
ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
論文 参考訳（メタデータ） (2023-01-30T02:27:02Z) - Towards Estimating Transferability using Hard Subsets [25.86053764521497]
HASTEは、ターゲットデータのより厳しいサブセットのみを用いて、ソースモデルの特定のターゲットタスクへの転送可能性を推定する新しい戦略である。
HASTEは既存の転送可能性測定値と組み合わせて信頼性を向上させることができることを示す。
複数のソースモデルアーキテクチャ、ターゲットデータセット、トランスファー学習タスクにまたがる実験結果から、HASTEの修正されたメトリクスは、一貫して、あるいは、アートトランスファービリティーメトリクスの状態と同等であることが示された。
論文 参考訳（メタデータ） (2023-01-17T14:50:18Z) - Transferability Estimation Based On Principal Gradient Expectation [68.97403769157117]
クロスタスク転送性は、自己整合性を維持しながら転送結果と互換性がある。
既存の転送可能性メトリクスは、ソースとターゲットタスクを会話することで、特定のモデルに基づいて推定される。
本稿では,タスク間の転送可能性を評価するための簡易かつ効果的な手法であるPGEを提案する。
論文 参考訳（メタデータ） (2022-11-29T15:33:02Z) - Transferability-Guided Cross-Domain Cross-Task Transfer Learning [21.812715282796255]
本稿では,F-OTCEとJC-OTCEの2つの新しい転送可能性指標を提案する。
F-OTCEは、まずソースとターゲットの分布間の最適輸送問題を解くことで、転送可能性を推定する。
JC-OTCEは、OT問題にラベル距離を含めることで、F-OTCEの転送性を向上させる。
論文 参考訳（メタデータ） (2022-07-12T13:06:16Z) - Identifying Suitable Tasks for Inductive Transfer Through the Analysis
of Feature Attributions [78.55044112903148]
我々は、単一タスクモデル間のニューラルネットワークアクティベーションの比較を通じて、タスクペアが相補的になるかどうかを予測するために、説明可能性技術を使用する。
提案手法により,TREC-IS 2020-Aデータセットでは,正のクラスF1の0.034の削減に留まらず,最大83.5%のトレーニング時間を短縮することが可能である。
論文 参考訳（メタデータ） (2022-02-02T15:51:07Z) - Transferability Estimation for Semantic Segmentation Task [20.07223947190349]
我々は、最近の伝達可能性メートル法OTCEスコアをセマンティックセグメンテーションタスクに拡張する。
OTCEスコアを適用する際の課題は高次元セグメンテーション出力であり、非常に多くのピクセル間の最適な結合を許容コストで見つけることは困難である。
Cityscapes、BDD100K、GTA5データセットの実験的評価は、OTCEスコアが転送性能と高い相関性を示すことを示している。
論文 参考訳（メタデータ） (2021-09-30T16:21:17Z) - Frustratingly Easy Transferability Estimation [64.42879325144439]
本稿では,TransRate という,シンプルで効率的かつ効果的な転送可能性尺度を提案する。
TransRateは、事前訓練されたモデルによって抽出された対象サンプルの特徴とそれらのラベルとの間の相互情報として、転送可能性を測定する。
10行のコードで並外れた単純さにもかかわらず、TransRateは、22の事前訓練されたモデルと16のダウンストリームタスクに対する広範囲な評価において、非常にうまく機能している。
論文 参考訳（メタデータ） (2021-06-17T10:27:52Z) - OTCE: A Transferability Metric for Cross-Domain Cross-Task
Representations [6.730043708859326]
OTCE (Optimal Transport based Conditional Entropy) と呼ばれる移動性指標を提案する。
otceはトランスファビリティをドメインの違いとタスクの違いの組み合わせとして特徴づけ、それらを統一されたフレームワークのデータから明示的に評価する。
最大のクロスドメインデータセットであるDomainNetとOffice31の実験では、OTCEが地上の真実転送精度と相関して平均21%の利得を示した。
論文 参考訳（メタデータ） (2021-03-25T13:51:33Z) - Learning Invariant Representations across Domains and Tasks [81.30046935430791]
本稿では,この教師なしタスク転送問題を解決するための新しいタスク適応ネットワーク(tan)を提案する。
ドメイン・アドバーサル・トレーニングによる伝達可能な機能を学習することに加えて、学習から学習への戦略を用いてタスクの意味を適応させる新しいタスク・セマンティクス・アダプタを提案する。
TANは最近の強いベースラインに比べてリコールとF1スコアを5.0%と7.8%大きく向上させた。
論文 参考訳（メタデータ） (2021-03-03T11:18:43Z) - Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
本研究では,33のNLPタスク間の伝達可能性について検討した。
以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。
また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
論文 参考訳（メタデータ） (2020-05-02T09:39:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。