論文の概要: Learning Invariant Representations across Domains and Tasks

• arxiv url: http://arxiv.org/abs/2103.05114v1
• Date: Wed, 3 Mar 2021 11:18:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-05 07:24:35.595495
• Title: Learning Invariant Representations across Domains and Tasks
• Title（参考訳）: ドメインとタスク間の不変表現の学習
• Authors: Jindong Wang, Wenjie Feng, Chang Liu, Chaohui Yu, Mingxuan Du, Renjun Xu, Tao Qin, Tie-Yan Liu
• Abstract要約: 本稿では,この教師なしタスク転送問題を解決するための新しいタスク適応ネットワーク(tan)を提案する。 ドメイン・アドバーサル・トレーニングによる伝達可能な機能を学習することに加えて、学習から学習への戦略を用いてタスクの意味を適応させる新しいタスク・セマンティクス・アダプタを提案する。 TANは最近の強いベースラインに比べてリコールとF1スコアを5.0%と7.8%大きく向上させた。
• 参考スコア（独自算出の注目度）: 81.30046935430791
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Being expensive and time-consuming to collect massive COVID-19 image samples to train deep classification models, transfer learning is a promising approach by transferring knowledge from the abundant typical pneumonia datasets for COVID-19 image classification. However, negative transfer may deteriorate the performance due to the feature distribution divergence between two datasets and task semantic difference in diagnosing pneumonia and COVID-19 that rely on different characteristics. It is even more challenging when the target dataset has no labels available, i.e., unsupervised task transfer learning. In this paper, we propose a novel Task Adaptation Network (TAN) to solve this unsupervised task transfer problem. In addition to learning transferable features via domain-adversarial training, we propose a novel task semantic adaptor that uses the learning-to-learn strategy to adapt the task semantics. Experiments on three public COVID-19 datasets demonstrate that our proposed method achieves superior performance. Especially on COVID-DA dataset, TAN significantly increases the recall and F1 score by 5.0% and 7.8% compared to recently strong baselines. Moreover, we show that TAN also achieves superior performance on several public domain adaptation benchmarks.
• Abstract（参考訳）: 大量の新型コロナウイルス画像サンプルを収集して深層分類モデルを訓練するのに高価で時間がかかるため、トランスファーラーニングは、新型コロナウイルス画像分類のための豊富な典型的な肺炎データセットから知識を伝達する、有望なアプローチである。 しかし、2つのデータセット間の特徴分布のばらつきと、異なる特徴に依存する肺炎とCOVID-19の診断におけるタスク意味の違いにより、負の移動が性能を低下させる可能性がある。 ターゲットデータセットにラベルがない場合、すなわち教師なしのタスク転送学習が可能である場合、さらに難しい。 本稿では,この教師なしタスク転送問題を解決するための新しいタスク適応ネットワーク(tan)を提案する。 ドメイン・アドバーサル・トレーニングによる伝達可能な機能を学習することに加えて、学習から学習への戦略を用いてタスクの意味を適応させる新しいタスク・セマンティクス・アダプタを提案する。 3つの公開COVID-19データセットに対する実験により,提案手法が優れた性能を発揮することが示された。 特にCOVID-DAデータセットでは、最近の強いベースラインと比較して、TANはリコールとF1スコアを5.0%と7.8%増加させる。 さらに,いくつかのパブリックドメイン適応ベンチマークにおいて,TANが優れた性能を発揮することを示す。

関連論文リスト

• Unsupervised Transfer Learning via Adversarial Contrastive Training [3.227277661633986]
  対戦型コントラスト学習(ACT)を用いた新しい教師なしトランスファー学習手法を提案する。 実験により, 細調整線形プローブとK-NNプロトコルを用いて, 各種データセットの分類精度に優れることを示した。
  論文  参考訳（メタデータ） (2024-08-16T05:11:52Z)
• Less is More: High-value Data Selection for Visual Instruction Tuning [127.38740043393527]
  本稿では,視覚的命令データの冗長性を排除し,トレーニングコストを削減するために,高価値なデータ選択手法TIVEを提案する。 約15%のデータしか使用していない我々のアプローチは、8つのベンチマークで全データ微調整モデルに匹敵する平均性能を実現することができる。
  論文  参考訳（メタデータ） (2024-03-14T16:47:25Z)
• Evaluating the structure of cognitive tasks with transfer learning [67.22168759751541]
  本研究では,脳波復号処理における深層学習表現の伝達可能性について検討した。 最近リリースされた2つのEEGデータセット上で、最先端デコードモデルを用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2023-07-28T14:51:09Z)
• GenCo: An Auxiliary Generator from Contrastive Learning for Enhanced Few-Shot Learning in Remote Sensing [9.504503675097137]
  我々は、バックボーンを事前訓練し、同時に特徴サンプルの変種を探索するジェネレータベースのコントラスト学習フレームワーク(GenCo)を導入する。 微調整では、補助ジェネレータを使用して、特徴空間内の限られたラベル付きデータサンプルを濃縮することができる。 本稿では,2つの重要なリモートセンシングデータセットにおいて,この手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-07-27T03:59:19Z)
• MT-SLVR: Multi-Task Self-Supervised Learning for Transformation In(Variant) Representations [2.94944680995069]
  本稿では,パラメータ効率のよいマルチタスク型自己教師型フレームワーク(MT-SLVR)を提案する。 我々は,様々な音声領域から抽出された数ショットの分類タスクに対するアプローチを評価し,分類性能の向上を実証した。
  論文  参考訳（メタデータ） (2023-05-29T09:10:50Z)
• Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
  同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。 共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。 さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
  論文  参考訳（メタデータ） (2022-07-08T10:25:47Z)
• Efficient Self-supervised Vision Transformers for Representation Learning [86.57557009109411]
  疎密な自己意識を持つマルチステージアーキテクチャは、モデリングの複雑さを著しく低減できることを示す。 そこで本研究では,モデルがよりきめ細かな領域依存を捕捉できるような,領域マッチングの事前学習タスクを提案する。 この2つの手法を組み合わせることで,ImageNet線形プローブ評価において,EsViTは81.3%のトップ1を達成した。
  論文  参考訳（メタデータ） (2021-06-17T19:57:33Z)
• Boosting Deep Transfer Learning for COVID-19 Classification [18.39034705389625]
  胸部CTを用いた新型コロナウイルスの分類は現実的に有用である。 限られたCTデータでより正確な新型コロナウイルス分類のためのバニラ転送学習よりも優れた戦略があるかどうかはまだ不明です。 本稿では,タスクの伝達学習において,大幅な性能向上を実現する新しいモデル拡張手法を提案する。
  論文  参考訳（メタデータ） (2021-02-16T11:15:23Z)
• Duality Diagram Similarity: a generic framework for initialization selection in task transfer learning [20.87279811893808]
  我々は、ディープニューラルネットワーク(DNN)間の双対性図類似性(DDS)に基づく、新しい高効率で正確なアプローチを提案する。 我々は,実際の移動学習成績ランキングと予測ランキングとの対応性を測定することで,タスクノミーデータセットに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2020-08-05T13:00:34Z)
• Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
  本研究では,33のNLPタスク間の伝達可能性について検討した。 以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。 また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
  論文  参考訳（メタデータ） (2020-05-02T09:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。