論文の概要: Transferability-Guided Cross-Domain Cross-Task Transfer Learning

• arxiv url: http://arxiv.org/abs/2207.05510v2
• Date: Thu, 29 Feb 2024 06:53:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-01 19:20:14.679542
• Title: Transferability-Guided Cross-Domain Cross-Task Transfer Learning
• Title（参考訳）: トランスファービリティによるクロスドメイン・クロスタスク・トランスファー学習
• Authors: Yang Tan, Enming Zhang, Yang Li, Shao-Lun Huang, Xiao-Ping Zhang
• Abstract要約: 本稿では,F-OTCEとJC-OTCEの2つの新しい転送可能性指標を提案する。 F-OTCEは、まずソースとターゲットの分布間の最適輸送問題を解くことで、転送可能性を推定する。 JC-OTCEは、OT問題にラベル距離を含めることで、F-OTCEの転送性を向上させる。
• 参考スコア（独自算出の注目度）: 21.812715282796255
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We propose two novel transferability metrics F-OTCE (Fast Optimal Transport based Conditional Entropy) and JC-OTCE (Joint Correspondence OTCE) to evaluate how much the source model (task) can benefit the learning of the target task and to learn more transferable representations for cross-domain cross-task transfer learning. Unlike the existing metric that requires evaluating the empirical transferability on auxiliary tasks, our metrics are auxiliary-free such that they can be computed much more efficiently. Specifically, F-OTCE estimates transferability by first solving an Optimal Transport (OT) problem between source and target distributions, and then uses the optimal coupling to compute the Negative Conditional Entropy between source and target labels. It can also serve as a loss function to maximize the transferability of the source model before finetuning on the target task. Meanwhile, JC-OTCE improves the transferability robustness of F-OTCE by including label distances in the OT problem, though it may incur additional computation cost. Extensive experiments demonstrate that F-OTCE and JC-OTCE outperform state-of-the-art auxiliary-free metrics by 18.85% and 28.88%, respectively in correlation coefficient with the ground-truth transfer accuracy. By eliminating the training cost of auxiliary tasks, the two metrics reduces the total computation time of the previous method from 43 minutes to 9.32s and 10.78s, respectively, for a pair of tasks. When used as a loss function, F-OTCE shows consistent improvements on the transfer accuracy of the source model in few-shot classification experiments, with up to 4.41% accuracy gain.
• Abstract（参考訳）: 本稿では,F-OTCE(Fast Optimal Transport based Conditional Entropy)とJC-OTCE(Joint Cor correspondingence OTCE)の2つの新しいトランスファービリティ指標を提案する。 補助作業における経験的伝達性の評価を必要とする既存のメトリクスとは異なり、我々のメトリクスはより効率的に計算できるように補助的ではない。 具体的には、F-OTCEは、まずソースとターゲットの分布間の最適輸送(OT)問題を解き、次に最適結合を用いてソースとターゲットのラベル間の負条件エントロピーを計算する。 ターゲットタスクを微調整する前に、ソースモデルの転送可能性を最大化するための損失関数としても機能する。 一方、JC-OTCEは、OT問題にラベル距離を含めることで、F-OTCEの転送可能性の堅牢性を向上させるが、追加の計算コストを発生させる可能性がある。 広範な実験により、f-otce と jc-otce はそれぞれ18.85% と 28.88% の補助的自由度を上回り、接地移動精度との相関係数を示した。 補助的なタスクのトレーニングコストを削減することにより、2つのメトリクスは前のメソッドの計算時間をそれぞれ43分から9.32秒、10.78秒に短縮する。 損失関数として使用すると、F-OTCEは数発の分類実験でソースモデルの転送精度を一貫した改善を示し、精度は4.41%まで向上した。

関連論文リスト

• Transferability Estimation Based On Principal Gradient Expectation [68.97403769157117]
  クロスタスク転送性は、自己整合性を維持しながら転送結果と互換性がある。 既存の転送可能性メトリクスは、ソースとターゲットタスクを会話することで、特定のモデルに基づいて推定される。 本稿では,タスク間の転送可能性を評価するための簡易かつ効果的な手法であるPGEを提案する。
  論文  参考訳（メタデータ） (2022-11-29T15:33:02Z)
• Identifying Suitable Tasks for Inductive Transfer Through the Analysis of Feature Attributions [78.55044112903148]
  我々は、単一タスクモデル間のニューラルネットワークアクティベーションの比較を通じて、タスクペアが相補的になるかどうかを予測するために、説明可能性技術を使用する。 提案手法により,TREC-IS 2020-Aデータセットでは,正のクラスF1の0.034の削減に留まらず,最大83.5%のトレーニング時間を短縮することが可能である。
  論文  参考訳（メタデータ） (2022-02-02T15:51:07Z)
• On Transferability of Prompt Tuning for Natural Language Understanding [63.29235426932978]
  タスクやモデル間でのソフトプロンプトの転送可能性について検討する。 訓練されたソフトプロンプトは、同様のタスクにうまく移行し、PTを初期化してトレーニングを加速し、パフォーマンスを向上させることができる。 以上の結果から,知識伝達によるPTの改善は可能で有望であり,プロンプトのクロスタスク転送性はクロスモデル転送性よりも良好であることが示唆された。
  論文  参考訳（メタデータ） (2021-11-12T13:39:28Z)
• Transferability Estimation for Semantic Segmentation Task [20.07223947190349]
  我々は、最近の伝達可能性メートル法OTCEスコアをセマンティックセグメンテーションタスクに拡張する。 OTCEスコアを適用する際の課題は高次元セグメンテーション出力であり、非常に多くのピクセル間の最適な結合を許容コストで見つけることは困難である。 Cityscapes、BDD100K、GTA5データセットの実験的評価は、OTCEスコアが転送性能と高い相関性を示すことを示している。
  論文  参考訳（メタデータ） (2021-09-30T16:21:17Z)
• Practical Transferability Estimation for Image Classification Tasks [20.07223947190349]
  大きな課題は、クロスドメインのクロスタスク設定で転送可能性の推定を堅牢にする方法だ。 最近提案されたOTCEスコアは、ドメイン差とタスク差を考慮してこの問題を解決する。 本稿では,タスク差分推定のロバスト性を大幅に向上させる,JC-NCEスコアと呼ばれる実用的な転送可能性指標を提案する。
  論文  参考訳（メタデータ） (2021-06-19T11:59:11Z)
• Frustratingly Easy Transferability Estimation [64.42879325144439]
  本稿では,TransRate という,シンプルで効率的かつ効果的な転送可能性尺度を提案する。 TransRateは、事前訓練されたモデルによって抽出された対象サンプルの特徴とそれらのラベルとの間の相互情報として、転送可能性を測定する。 10行のコードで並外れた単純さにもかかわらず、TransRateは、22の事前訓練されたモデルと16のダウンストリームタスクに対する広範囲な評価において、非常にうまく機能している。
  論文  参考訳（メタデータ） (2021-06-17T10:27:52Z)
• OTCE: A Transferability Metric for Cross-Domain Cross-Task Representations [6.730043708859326]
  OTCE (Optimal Transport based Conditional Entropy) と呼ばれる移動性指標を提案する。 otceはトランスファビリティをドメインの違いとタスクの違いの組み合わせとして特徴づけ、それらを統一されたフレームワークのデータから明示的に評価する。 最大のクロスドメインデータセットであるDomainNetとOffice31の実験では、OTCEが地上の真実転送精度と相関して平均21%の利得を示した。
  論文  参考訳（メタデータ） (2021-03-25T13:51:33Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
  本研究では,33のNLPタスク間の伝達可能性について検討した。 以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。 また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
  論文  参考訳（メタデータ） (2020-05-02T09:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。