論文の概要: PADA: A Prompt-based Autoregressive Approach for Adaptation to Unseen Domains

• arxiv url: http://arxiv.org/abs/2102.12206v1
• Date: Wed, 24 Feb 2021 11:02:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-26 02:34:48.866599
• Title: PADA: A Prompt-based Autoregressive Approach for Adaptation to Unseen Domains
• Title（参考訳）: PADA(Prompt-based Autoregressive approach for Adaptation to Unseen Domains)
• Authors: Eyal Ben-David, Nadav Oved, Roi Reichart
• Abstract要約: PADA: T5モデルに基づいた、PromptベースのAutoregressive Domain Adaptationアルゴリズム。 本稿では,T5 モデルに基づく Prompt-based Autoregressive Domain Adaptation アルゴリズムを提案する。 2つのタスクの実験では、PADAは最先端のアプローチと強力なベースラインを強く上回ります。
• 参考スコア（独自算出の注目度）: 19.682729518136142
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Natural Language Processing algorithms have made incredible progress recently, but they still struggle when applied to out-of-distribution examples. In this paper, we address a very challenging and previously underexplored version of this domain adaptation problem. In our setup an algorithm is trained on several source domains, and then applied to examples from an unseen domain that is unknown at training time. Particularly, no examples, labeled or unlabeled, or any other knowledge about the target domain are available to the algorithm at training time. We present PADA: A Prompt-based Autoregressive Domain Adaptation algorithm, based on the T5 model. Given a test example, PADA first generates a unique prompt and then, conditioned on this prompt, labels the example with respect to the NLP task. The prompt is a sequence of unrestricted length, consisting of pre-defined Domain Related Features (DRFs) that characterize each of the source domains. Intuitively, the prompt is a unique signature that maps the test example to the semantic space spanned by the source domains. In experiments with two tasks: Rumour Detection and Multi-Genre Natural Language Inference (MNLI), for a total of 10 multi-source adaptation scenarios, PADA strongly outperforms state-of-the-art approaches and additional strong baselines.
• Abstract（参考訳）: 自然言語処理アルゴリズムは最近驚くべき進歩を遂げましたが、アウト・オブ・ディストリビューションの例に適用した場合はまだ苦労しています。 本論文では、この領域適応問題の非常に困難で以前は未解決のバージョンを取り上げる。 私たちのセットアップでは、アルゴリズムは複数のソースドメインでトレーニングされ、トレーニング時に未知の未認識ドメインの例に適用されます。 特に、ラベル付きまたはラベルなしの例や、ターゲットドメインに関するその他の知識は、トレーニング時にアルゴリズムで利用できる。 本稿では,T5 モデルに基づく Prompt-based Autoregressive Domain Adaptation アルゴリズムを提案する。 テストの例を考えると、PADAはまずユニークなプロンプトを生成し、このプロンプトで条件付きで、NLPタスクに関してサンプルをラベル付けします。 プロンプトは、各ソースドメインを特徴付ける事前定義されたドメイン関連機能(DRF)からなる制限のない長さのシーケンスです。 直感的には、プロンプトはテストの例をソースドメインにまたがる意味空間にマッピングするユニークなシグネチャである。 合計10のマルチソース適応シナリオにおいて、Rumour DetectionとMulti-Genre Natural Language Inference(MNLI)という2つのタスクの実験において、PADAは最先端のアプローチと強力なベースラインを強く上回る。

関連論文リスト

• Domain-Controlled Prompt Learning [49.45309818782329]
  既存の素早い学習方法はドメイン認識やドメイン転送機構を欠いていることが多い。 特定のドメインに対するtextbfDomain-Controlled Prompt Learningを提案する。 本手法は,特定の領域画像認識データセットにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-09-30T02:59:49Z)
• SwitchPrompt: Learning Domain-Specific Gated Soft Prompts for Classification in Low-Resource Domains [14.096170976149521]
  SwitchPromptは、汎用ドメインからさまざまな低リソースドメインへのデータセットでトレーニングされた言語モデルを適応するための、新しくて軽量なプロンプト手法である。 筆者らは,SwitchPromptを用いた場合の一般領域事前学習言語モデルの有効性を3つのテキスト分類ベンチマークで検証した。 彼らはしばしば、ベースライン・オブ・ザ・アーツ・プロンプト法で訓練されたドメイン固有の手法を最大10.7%の精度で上回っている。
  論文  参考訳（メタデータ） (2023-02-14T07:14:08Z)
• Multi-Prompt Alignment for Multi-Source Unsupervised Domain Adaptation [86.02485817444216]
  マルチプロンプトアライメント(MPA: Multi-Prompt Alignment)は,マルチソースUDAのためのシンプルかつ効率的なフレームワークである。 MPAは、学習したプロンプトを自動エンコードプロセスで認知し、再構築されたプロンプトの合意を最大化することでそれらを調整する。 実験によると、MPAは3つの一般的なデータセットで最先端の結果を達成し、DomainNetの平均精度は54.1%である。
  論文  参考訳（メタデータ） (2022-09-30T03:40:10Z)
• Example-based Hypernetworks for Out-of-Distribution Generalization [43.99982893976026]
  本稿では、不慣れなドメインに対するマルチソース適応の問題に対処する。 複数のソースドメインからのラベル付きデータを利用して、トレーニング時に未知のターゲットドメインに一般化する。 私たちの革新的なフレームワークは、例ベースのHypernetwork適応を採用しています。
  論文  参考訳（メタデータ） (2022-03-27T11:10:10Z)
• Dynamic Instance Domain Adaptation [109.53575039217094]
  教師なしのドメイン適応に関するほとんどの研究は、各ドメインのトレーニングサンプルがドメインラベルを伴っていると仮定している。 適応的な畳み込みカーネルを持つ動的ニューラルネットワークを開発し、各インスタンスにドメインに依存しない深い特徴を適応させるために、インスタンス適応残差を生成する。 我々のモデルはDIDA-Netと呼ばれ、複数の一般的な単一ソースおよび複数ソースのUDAデータセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-09T20:05:54Z)
• DoCoGen: Domain Counterfactual Generation for Low Resource Domain Adaptation [19.834322227607917]
  ドメイン適応問題に対処する制御可能な生成手法を提案する。 本モデルは,最先端の教師なしDAアルゴリズムの精度を向上し,高いベースラインを向上する。
  論文  参考訳（メタデータ） (2022-02-24T20:25:46Z)
• Domain Adaptation via Prompt Learning [39.97105851723885]
  Unsupervised Domain Adaption (UDA) は、十分にアノテーションされたソースドメインから学習したモデルをターゲットドメインに適応させることを目的としている。 我々は,Prompt Learning (DAPL) によるドメイン適応という,UDAのための新しいプロンプト学習パラダイムを導入する。
  論文  参考訳（メタデータ） (2022-02-14T13:25:46Z)
• Batch Normalization Embeddings for Deep Domain Generalization [50.51405390150066]
  ドメインの一般化は、異なるドメインと見えないドメインで堅牢に実行されるように機械学習モデルをトレーニングすることを目的としている。 一般的な領域一般化ベンチマークにおいて,最先端技術よりも分類精度が著しく向上したことを示す。
  論文  参考訳（メタデータ） (2020-11-25T12:02:57Z)
• CMT in TREC-COVID Round 2: Mitigating the Generalization Gaps from Web to Special Domain Search [89.48123965553098]
  本稿では,特殊領域適応問題を緩和する探索システムを提案する。 このシステムは、ドメイン適応型事前学習と数発の学習技術を利用して、ニューラルネットワークがドメインの不一致を軽減するのに役立つ。 本システムでは,TREC-COVID タスクの第2ラウンドにおいて,非マニュアル実行において最善を尽くす。
  論文  参考訳（メタデータ） (2020-11-03T09:10:48Z)
• Text Recognition in Real Scenarios with a Few Labeled Samples [55.07859517380136]
  Scene Text Recognition (STR) はコンピュータビジョン分野におけるホットな研究テーマである。 本稿では,数ショットの逆数列領域適応 (FASDA) を用いて構築シーケンスを適応する手法を提案する。 我々のアプローチは、ソースドメインとターゲットドメインの間の文字レベルの混乱を最大化することができる。
  論文  参考訳（メタデータ） (2020-06-22T13:03:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。