論文の概要: OTCE: A Transferability Metric for Cross-Domain Cross-Task Representations

• arxiv url: http://arxiv.org/abs/2103.13843v1
• Date: Thu, 25 Mar 2021 13:51:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-26 13:55:27.680660
• Title: OTCE: A Transferability Metric for Cross-Domain Cross-Task Representations
• Title（参考訳）: otce: クロスドメインクロスタスク表現のための転送可能性メトリクス
• Authors: Yang Tan, Yang Li, Shao-Lun Huang
• Abstract要約: OTCE (Optimal Transport based Conditional Entropy) と呼ばれる移動性指標を提案する。 otceはトランスファビリティをドメインの違いとタスクの違いの組み合わせとして特徴づけ、それらを統一されたフレームワークのデータから明示的に評価する。 最大のクロスドメインデータセットであるDomainNetとOffice31の実験では、OTCEが地上の真実転送精度と相関して平均21%の利得を示した。
• 参考スコア（独自算出の注目度）: 6.730043708859326
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Transfer learning across heterogeneous data distributions (a.k.a. domains) and distinct tasks is a more general and challenging problem than conventional transfer learning, where either domains or tasks are assumed to be the same. While neural network based feature transfer is widely used in transfer learning applications, finding the optimal transfer strategy still requires time-consuming experiments and domain knowledge. We propose a transferability metric called Optimal Transport based Conditional Entropy (OTCE), to analytically predict the transfer performance for supervised classification tasks in such cross-domain and cross-task feature transfer settings. Our OTCE score characterizes transferability as a combination of domain difference and task difference, and explicitly evaluates them from data in a unified framework. Specifically, we use optimal transport to estimate domain difference and the optimal coupling between source and target distributions, which is then used to derive the conditional entropy of the target task (task difference). Experiments on the largest cross-domain dataset DomainNet and Office31 demonstrate that OTCE shows an average of 21% gain in the correlation with the ground truth transfer accuracy compared to state-of-the-art methods. We also investigate two applications of the OTCE score including source model selection and multi-source feature fusion.
• Abstract（参考訳）: 異種データ分布間の転送学習(a.k.a.) ドメイン)と異なるタスクは、ドメインまたはタスクが同じと仮定される従来の転送学習よりも一般的で難しい問題である。 ニューラルネットワークに基づく機能伝達は、転送学習アプリケーションで広く使われているが、最適な転送戦略を見つけるには、依然として時間を要する実験とドメイン知識が必要である。 クロスドメインおよびクロスタスクの特徴伝達設定における教師付き分類タスクの転送性能を解析的に予測する,OTCE(Optimal Transport Based Conditional Entropy)と呼ばれる転送可能性指標を提案する。 我々のOTCEスコアは、ドメイン差とタスク差の組み合わせとしてトランスファービリティを特徴付け、それらを統一されたフレームワークでデータから明確に評価する。 具体的には,対象タスクの条件エントロピー(タスク差)を導出するために,領域差とソース分布とターゲット分布の最適結合を推定するために最適なトランスポートを用いる。 最大のクロスドメインデータセットであるDomainNetとOffice31の実験では、OTCEは最先端の手法と比較して、地上の真実転送精度と相関して平均21%の利得を示している。 また、ソースモデル選択とマルチソース特徴融合を含むOTCEスコアの2つの応用についても検討する。

関連論文リスト

• Transferability Metrics for Object Detection [0.0]
  Transfer Learningは、既存のトレーニング済みモデルを最大限に活用して、限られたデータシナリオで新しいタスクのパフォーマンスを向上させることを目的としている。 我々は、ROI-Align と TLogME を用いて、転送可能性のメトリクスをオブジェクト検出に拡張する。 我々は,TLogMEが転送性能とロバストな相関を示し,局所的およびグローバルなレベルの特性で他の転送可能性指標より優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-27T08:49:31Z)
• Towards Estimating Transferability using Hard Subsets [25.86053764521497]
  HASTEは、ターゲットデータのより厳しいサブセットのみを用いて、ソースモデルの特定のターゲットタスクへの転送可能性を推定する新しい戦略である。 HASTEは既存の転送可能性測定値と組み合わせて信頼性を向上させることができることを示す。 複数のソースモデルアーキテクチャ、ターゲットデータセット、トランスファー学習タスクにまたがる実験結果から、HASTEの修正されたメトリクスは、一貫して、あるいは、アートトランスファービリティーメトリクスの状態と同等であることが示された。
  論文  参考訳（メタデータ） (2023-01-17T14:50:18Z)
• Transferability-Guided Cross-Domain Cross-Task Transfer Learning [21.812715282796255]
  本稿では,F-OTCEとJC-OTCEの2つの新しい転送可能性指標を提案する。 F-OTCEは、まずソースとターゲットの分布間の最適輸送問題を解くことで、転送可能性を推定する。 JC-OTCEは、OT問題にラベル距離を含めることで、F-OTCEの転送性を向上させる。
  論文  参考訳（メタデータ） (2022-07-12T13:06:16Z)
• Transferability Estimation for Semantic Segmentation Task [20.07223947190349]
  我々は、最近の伝達可能性メートル法OTCEスコアをセマンティックセグメンテーションタスクに拡張する。 OTCEスコアを適用する際の課題は高次元セグメンテーション出力であり、非常に多くのピクセル間の最適な結合を許容コストで見つけることは困難である。 Cityscapes、BDD100K、GTA5データセットの実験的評価は、OTCEスコアが転送性能と高い相関性を示すことを示している。
  論文  参考訳（メタデータ） (2021-09-30T16:21:17Z)
• Coarse to Fine: Domain Adaptive Crowd Counting via Adversarial Scoring Network [58.05473757538834]
  本稿では,ドメイン間のギャップを粗い粒度から細かな粒度に埋める新しい逆スコアリングネットワーク (ASNet) を提案する。 3組のマイグレーション実験により,提案手法が最先端のカウント性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-07-27T14:47:24Z)
• Practical Transferability Estimation for Image Classification Tasks [20.07223947190349]
  大きな課題は、クロスドメインのクロスタスク設定で転送可能性の推定を堅牢にする方法だ。 最近提案されたOTCEスコアは、ドメイン差とタスク差を考慮してこの問題を解決する。 本稿では,タスク差分推定のロバスト性を大幅に向上させる,JC-NCEスコアと呼ばれる実用的な転送可能性指標を提案する。
  論文  参考訳（メタデータ） (2021-06-19T11:59:11Z)
• Frustratingly Easy Transferability Estimation [64.42879325144439]
  本稿では,TransRate という,シンプルで効率的かつ効果的な転送可能性尺度を提案する。 TransRateは、事前訓練されたモデルによって抽出された対象サンプルの特徴とそれらのラベルとの間の相互情報として、転送可能性を測定する。 10行のコードで並外れた単純さにもかかわらず、TransRateは、22の事前訓練されたモデルと16のダウンストリームタスクに対する広範囲な評価において、非常にうまく機能している。
  論文  参考訳（メタデータ） (2021-06-17T10:27:52Z)
• Latent-Optimized Adversarial Neural Transfer for Sarcasm Detection [50.29565896287595]
  サーカズム検出のための共通データセットを活用するために,転送学習を適用する。 異なる損失が互いに対応できる汎用的な潜時最適化戦略を提案します。 特に、isarcasmデータセットの以前の状態よりも10.02%の絶対性能向上を達成している。
  論文  参考訳（メタデータ） (2021-04-19T13:07:52Z)
• Instance Level Affinity-Based Transfer for Unsupervised Domain Adaptation [74.71931918541748]
  ILA-DAと呼ばれる適応中のソースからターゲットへの転送に対するインスタンス親和性に基づく基準を提案する。 まず、ソースとターゲットをまたいだ類似および異種サンプルを抽出し、マルチサンプルのコントラスト損失を利用してドメインアライメントプロセスを駆動する信頼性が高く効率的な手法を提案する。 ILA-DAの有効性は、様々なベンチマークデータセットに対する一般的なドメイン適応手法よりも精度が一貫した改善を観察することによって検証する。
  論文  参考訳（メタデータ） (2021-04-03T01:33:14Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Domain Conditioned Adaptation Network [90.63261870610211]
  本稿では,ドメイン条件付きチャネルアテンション機構を用いて,異なる畳み込みチャネルを励起するドメイン条件適応ネットワーク(DCAN)を提案する。 これは、ディープDAネットワークのドメインワイドな畳み込みチャネルアクティベーションを探求する最初の試みである。
  論文  参考訳（メタデータ） (2020-05-14T04:23:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。