論文の概要: Compositional Zero-Shot Domain Transfer with Text-to-Text Models

• arxiv url: http://arxiv.org/abs/2303.13386v1
• Date: Thu, 23 Mar 2023 15:58:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 13:43:20.290069
• Title: Compositional Zero-Shot Domain Transfer with Text-to-Text Models
• Title（参考訳）: テキストからテキストへの合成ゼロショットドメイン転送
• Authors: Fangyu Liu, Qianchu Liu, Shruthi Bannur, Fernando P\'erez-Garc\'ia, Naoto Usuyama, Sheng Zhang, Tristan Naumann, Aditya Nori, Hoifung Poon, Javier Alvarez-Valle, Ozan Oktay, Stephanie L. Hyland
• Abstract要約: ゼロショットドメイン転送のための新しい合成転写学習フレームワーク(DoT5)を提案する。 ドメイン内のラベルにアクセスすることなく、DoT5はドメイン知識とタスク知識をマルチタスクで共同で学習する。 DoT5はマルチタスク学習による合成伝達学習の有効性を示す。 特にDoT5は、現在のSOTAを7以上の絶対点の精度でゼロショット転送で上回る。
• 参考スコア（独自算出の注目度）: 65.32821642379066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Label scarcity is a bottleneck for improving task performance in specialised domains. We propose a novel compositional transfer learning framework (DoT5 - domain compositional zero-shot T5) for zero-shot domain transfer. Without access to in-domain labels, DoT5 jointly learns domain knowledge (from MLM of unlabelled in-domain free text) and task knowledge (from task training on more readily available general-domain data) in a multi-task manner. To improve the transferability of task training, we design a strategy named NLGU: we simultaneously train NLG for in-domain label-to-data generation which enables data augmentation for self-finetuning and NLU for label prediction. We evaluate DoT5 on the biomedical domain and the resource-lean subdomain of radiology, focusing on NLI, text summarisation and embedding learning. DoT5 demonstrates the effectiveness of compositional transfer learning through multi-task learning. In particular, DoT5 outperforms the current SOTA in zero-shot transfer by over 7 absolute points in accuracy on RadNLI. We validate DoT5 with ablations and a case study demonstrating its ability to solve challenging NLI examples requiring in-domain expertise.
• Abstract（参考訳）: ラベル不足は専門領域におけるタスクパフォーマンス向上のボトルネックとなる。 ゼロショットドメイン転送のための新しい合成転写学習フレームワーク(DoT5ドメイン合成ゼロショットT5)を提案する。 ドメイン内のラベルにアクセスすることなく、DoT5はドメイン知識(ドメイン内自由テキストのMLMから)とタスク知識(より容易に利用可能な汎用ドメインデータのタスクトレーニングから)をマルチタスクで共同で学習する。 タスクトレーニングの伝達性を改善するため,NLGUという戦略を設計し,ドメイン内ラベルデータ生成のためのNLGとラベル予測のためのNLUを同時にトレーニングする。 バイオメディカルドメインと放射線学のリソースリーンサブドメインでDoT5を評価し,NLI,テキスト要約,埋め込み学習に着目した。 DoT5はマルチタスク学習による合成伝達学習の有効性を示す。 特にDoT5は、現在のSOTAを7以上の絶対点の精度でゼロショット転送で上回る。 本研究は,ドメイン内の専門知識を必要とする難解なNLI事例の解決能力を示すケーススタディでDoT5を検証した。

関連論文リスト

• Large Language Model for Multi-Domain Translation: Benchmarking and Domain CoT Fine-tuning [55.107329995417786]
  大規模言語モデル(LLM)は、目覚ましい一般的な理解と生成能力を示している。 我々は、25のドイツ語$Leftrightarrow$ Englishと22の中国語$Leftrightarrow$ Englishテストセットを特徴とするマルチドメイン翻訳のベンチマークを確立する。 本稿では,LLMの内在的マルチドメインインテリジェンスを活用し,翻訳性能を向上させるためのドメインチェーン・オブ・シント(CoT)ファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T16:15:04Z)
• Frustratingly Simple Entity Tracking with Effective Use of Multi-Task Learning Models [5.9585526937249]
  SETは、手続きテキストにおけるエンティティトラッキングに対して、非常に単純かつ効果的なアプローチである。 ドメイン固有の事前トレーニングを必要とする最先端エンティティ追跡モデルと比較して、SETは単にカスタマイズされたフォーマットを備えた既製のT5を微調整する。 我々は,T5の教師付きマルチタスク学習が,SETの成功に重要な役割を担っていることを示す。
  論文  参考訳（メタデータ） (2022-10-12T17:46:16Z)
• Extreme Multi-Domain, Multi-Task Learning With Unified Text-to-Text Transfer Transformers [0.0]
  マルチドメインテキスト・テキスト・トランスフォーマ(MD-T5)を用いたマルチドメインマルチタスク学習の動作について検討した。 我々は,ベルト型関節前訓練+連続微調整,GPT型関節前訓練+連続微調整,GPT型関節前訓練+連続微調整の3つの一般的なトレーニング戦略を用いて実験を行った。 負の知識伝達と破滅的な忘れは,すべてのモデルにおいて依然として大きな課題であるが,GPTスタイルのジョイントプレトレーニング+ジョイントファインタニング戦略はマルチドメイン・マルチタスク学習において最も有望であることを示した。
  論文  参考訳（メタデータ） (2022-09-21T04:21:27Z)
• Task Transfer and Domain Adaptation for Zero-Shot Question Answering [18.188082154309175]
  我々は、ソースドメインデータに対する教師付き事前トレーニングを使用して、ドメイン固有の下流タスクにおけるサンプルの複雑さを減らします。 タスク転送とドメイン適応を組み合わせることで、ドメイン固有読解タスクのゼロショット性能を評価する。
  論文  参考訳（メタデータ） (2022-06-14T09:10:48Z)
• Target-Oriented Fine-tuning for Zero-Resource Named Entity Recognition [25.662899487595524]
  本稿では,知識伝達とタスク微調整をガイドする4つの実践的ガイドラインを提案する。 これらのガイドラインに基づいて、我々は3つの側面から様々なデータを統一的な訓練方法で活用するターゲット指向微調整(TOF)フレームワークを設計する。
  論文  参考訳（メタデータ） (2021-07-22T08:48:34Z)
• Contrastive Learning and Self-Training for Unsupervised Domain Adaptation in Semantic Segmentation [71.77083272602525]
  UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。 本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。 提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2021-05-05T11:55:53Z)
• Curriculum Graph Co-Teaching for Multi-Target Domain Adaptation [78.28390172958643]
  マルチターゲットドメイン適応(MTDA)における複数のドメインシフトを軽減するのに役立つ2つの重要な側面を同定する。 本論文では,二重分類器ヘッドを用いたCGCT(Curriculum Graph Co-Teaching)を提案する。そのうちの1つがグラフ畳み込みネットワーク(GCN)である。 ドメインラベルが利用可能になると、まずより簡単なターゲットドメインに適応し、続いて難しいドメインに適応する逐次適応戦略であるDomain-Aware Curriculum Learning (DCL)を提案する。
  論文  参考訳（メタデータ） (2021-04-01T23:41:41Z)
• Learning Invariant Representations across Domains and Tasks [81.30046935430791]
  本稿では,この教師なしタスク転送問題を解決するための新しいタスク適応ネットワーク(tan)を提案する。 ドメイン・アドバーサル・トレーニングによる伝達可能な機能を学習することに加えて、学習から学習への戦略を用いてタスクの意味を適応させる新しいタスク・セマンティクス・アダプタを提案する。 TANは最近の強いベースラインに比べてリコールとF1スコアを5.0%と7.8%大きく向上させた。
  論文  参考訳（メタデータ） (2021-03-03T11:18:43Z)
• Unsupervised Transfer Learning with Self-Supervised Remedy [60.315835711438936]
  手動ラベルのない新しいドメインにディープネットワークを一般化することは、ディープラーニングにとって難しい。 事前学習された知識は、学習されたドメインや新しいドメインについて強い仮定をしなければ、うまく伝達しない。 本研究は,ラベル付き関連ドメインからの知識伝達により,新規ドメインにおける未ラベル対象データの識別潜在空間を学習することを目的とする。
  論文  参考訳（メタデータ） (2020-06-08T16:42:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。