Fugu-MT 論文翻訳(概要): Task Transfer and Domain Adaptation for Zero-Shot Question Answering

論文の概要: Task Transfer and Domain Adaptation for Zero-Shot Question Answering

arxiv url: http://arxiv.org/abs/2206.06705v1
Date: Tue, 14 Jun 2022 09:10:48 GMT
ステータス: 処理完了
システム内更新日: 2022-06-15 13:22:05.416047
Title: Task Transfer and Domain Adaptation for Zero-Shot Question Answering
Title（参考訳）: ゼロショット質問応答のためのタスク転送とドメイン適応
Authors: Xiang Pan, Alex Sheng, David Shimshoni, Aditya Singhal, Sara Rosenthal, Avirup Sil
Abstract要約: 我々は、ソースドメインデータに対する教師付き事前トレーニングを使用して、ドメイン固有の下流タスクにおけるサンプルの複雑さを減らします。タスク転送とドメイン適応を組み合わせることで、ドメイン固有読解タスクのゼロショット性能を評価する。
参考スコア（独自算出の注目度）: 18.188082154309175
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Pretrained language models have shown success in various areas of natural language processing, including reading comprehension tasks. However, when applying machine learning methods to new domains, labeled data may not always be available. To address this, we use supervised pretraining on source-domain data to reduce sample complexity on domain-specific downstream tasks. We evaluate zero-shot performance on domain-specific reading comprehension tasks by combining task transfer with domain adaptation to fine-tune a pretrained model with no labelled data from the target task. Our approach outperforms Domain-Adaptive Pretraining on downstream domain-specific reading comprehension tasks in 3 out of 4 domains.
Abstract（参考訳）: 事前訓練された言語モデルは、理解タスクを読むことを含む自然言語処理の様々な分野で成功している。しかし、機械学習メソッドを新しいドメインに適用する場合、ラベル付きデータが常に利用できるとは限らない。これを解決するために、ソースドメインデータに対する教師付き事前トレーニングを使用して、ドメイン固有の下流タスクにおけるサンプルの複雑さを減らします。対象タスクからのラベル付きデータを含まない事前学習モデルに,タスク転送とドメイン適応を組み合わせることで,ドメイン固有読解タスクにおけるゼロショット性能を評価する。提案手法は,4つのドメインのうち3つにおいて,下流領域固有の読解タスクにおいて,ドメイン適応型事前学習より優れている。

関連論文リスト

SwitchPrompt: Learning Domain-Specific Gated Soft Prompts for Classification in Low-Resource Domains [14.096170976149521]
SwitchPromptは、汎用ドメインからさまざまな低リソースドメインへのデータセットでトレーニングされた言語モデルを適応するための、新しくて軽量なプロンプト手法である。筆者らは,SwitchPromptを用いた場合の一般領域事前学習言語モデルの有効性を3つのテキスト分類ベンチマークで検証した。彼らはしばしば、ベースライン・オブ・ザ・アーツ・プロンプト法で訓練されたドメイン固有の手法を最大10.7%の精度で上回っている。
論文参考訳（メタデータ） (2023-02-14T07:14:08Z)
Using Language to Extend to Unseen Domains [81.37175826824625]
ビジョンモデルがデプロイ時に遭遇する可能性のあるすべてのドメインのトレーニングデータを集めることは、費用がかかる。トレーニングドメインと拡張したいが、堅牢性を改善するためのデータを持っていないドメインを、いかに単純に言葉で表現するかを考えます。共同画像と言語埋め込み空間を備えたマルチモーダルモデルを用いて、LADSはトレーニング領域から各未確認テスト領域への画像埋め込みの変換を学習する。
論文参考訳（メタデータ） (2022-10-18T01:14:02Z)
Disentanglement by Cyclic Reconstruction [0.0]
教師付き学習では、訓練に使用されるデータセットに固有の情報が、手元にあるタスクとは無関係に、抽出された表現に符号化され続けることができる。本稿では,その情報をタスク関連表現とその補完的文脈表現に分割することを提案する。次に、この手法を教師なし領域適応問題に適用し、ソースとターゲットドメインの両方で実行可能なモデルを訓練する。
論文参考訳（メタデータ） (2021-12-24T07:47:59Z)
AdaptSum: Towards Low-Resource Domain Adaptation for Abstractive Summarization [43.024669990477214]
低リソース環境下における6つの多様な対象領域の抽象的要約タスクに対する領域適応の検討について述べる。実験により,事前学習の有効性は,事前学習データと対象領域タスクの類似度と相関することが示された。
論文参考訳（メタデータ） (2021-03-21T08:12:19Z)
Multi-Stage Pre-training for Low-Resource Domain Adaptation [24.689862495171408]
現在のアプローチは、ダウンストリームタスクに微調整する前に、ドメイン内のテキストに事前訓練された言語モデル(LM)を直接適用する。 LMの語彙をドメイン固有の用語で拡張することは、さらなる利益をもたらすことを示す。我々は、これらのアプローチをトレーニング済みのRoberta-large LMに漸進的に適用し、IT領域の3つのタスクでかなりのパフォーマンス向上を示す。
論文参考訳（メタデータ） (2020-10-12T17:57:00Z)
Domain Adversarial Fine-Tuning as an Effective Regularizer [80.14528207465412]
自然言語処理(NLP)では、下流タスクに転送される事前訓練された言語モデル(LM)が、最先端の結果を得るために最近示されている。標準的な微調整は、事前トレーニング中にキャプチャされた汎用ドメイン表現を分解することができる。本稿では,新しい正規化手法である After; 有効正規化器としてのドメイン・アダクショナル・ファイン・チューニングを提案する。
論文参考訳（メタデータ） (2020-09-28T14:35:06Z)
Domain Adaptation for Semantic Parsing [68.81787666086554]
本稿では,ドメイン適応のための新しいセマンティクスを提案する。このセマンティクスでは,ソースドメインと比較して,対象ドメインのアノテーション付きデータがはるかに少ない。我々のセマンティックな利点は、2段階の粗大なフレームワークから得ており、2段階の異なる正確な処理を提供できる。ベンチマークデータセットの実験により、我々の手法はいくつかの一般的なドメイン適応戦略より一貫して優れていることが示された。
論文参考訳（メタデータ） (2020-06-23T14:47:41Z)
Multi-Domain Spoken Language Understanding Using Domain- and Task-Aware Parameterization [78.93669377251396]
音声言語理解は、各ドメインでトレーニングデータのセットが利用できる教師付き学習問題として対処されてきた。既存の1つのアプローチは、ドメイン間の共同トレーニングに共有パラメータを使用して、マルチドメイン学習を行うことによって、この問題を解決する。本稿では,ドメイン固有モデルパラメータとタスク固有モデルパラメータを用いて,この手法のパラメータ化を改善することを提案する。
論文参考訳（メタデータ） (2020-04-30T15:15:40Z)
Don't Stop Pretraining: Adapt Language Models to Domains and Tasks [81.99843216550306]
バイオメディカルおよびコンピュータサイエンスの出版物、ニュース、レビュー)と8つの分類タスクについて調査する。ドメイン内の事前トレーニング(ドメイン適応型事前トレーニング)の第2フェーズでは、パフォーマンスが向上する。タスクの未ラベルデータ(タスク適応事前トレーニング)に適応することで、ドメイン適応事前トレーニング後のパフォーマンスが向上する。
論文参考訳（メタデータ） (2020-04-23T04:21:19Z)
Unsupervised Domain Clusters in Pretrained Language Models [61.832234606157286]
大規模事前学習型言語モデルでは,教師なしのドメインによってクラスタ化される文表現を暗黙的に学習する。このようなモデルに基づくドメインデータ選択手法を提案する。我々は5つの異なる領域にわたるニューラルネットワーク翻訳のためのデータ選択手法を評価する。
論文参考訳（メタデータ） (2020-04-05T06:22:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。