論文の概要: SwitchPrompt: Learning Domain-Specific Gated Soft Prompts for
Classification in Low-Resource Domains
- arxiv url: http://arxiv.org/abs/2302.06868v1
- Date: Tue, 14 Feb 2023 07:14:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-15 16:11:07.598621
- Title: SwitchPrompt: Learning Domain-Specific Gated Soft Prompts for
Classification in Low-Resource Domains
- Title（参考訳）: SwitchPrompt: 低リソースドメインの分類のためのドメイン特化型ソフトプロンプトの学習
- Authors: Koustava Goswami, Lukas Lange, Jun Araki, Heike Adel
- Abstract要約: SwitchPromptは、汎用ドメインからさまざまな低リソースドメインへのデータセットでトレーニングされた言語モデルを適応するための、新しくて軽量なプロンプト手法である。
筆者らは,SwitchPromptを用いた場合の一般領域事前学習言語モデルの有効性を3つのテキスト分類ベンチマークで検証した。
彼らはしばしば、ベースライン・オブ・ザ・アーツ・プロンプト法で訓練されたドメイン固有の手法を最大10.7%の精度で上回っている。
- 参考スコア（独自算出の注目度）: 14.096170976149521
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prompting pre-trained language models leads to promising results across
natural language processing tasks but is less effective when applied in
low-resource domains, due to the domain gap between the pre-training data and
the downstream task. In this work, we bridge this gap with a novel and
lightweight prompting methodology called SwitchPrompt for the adaptation of
language models trained on datasets from the general domain to diverse
low-resource domains. Using domain-specific keywords with a trainable gated
prompt, SwitchPrompt offers domain-oriented prompting, that is, effective
guidance on the target domains for general-domain language models. Our few-shot
experiments on three text classification benchmarks demonstrate the efficacy of
the general-domain pre-trained language models when used with SwitchPrompt.
They often even outperform their domain-specific counterparts trained with
baseline state-of-the-art prompting methods by up to 10.7% performance increase
in accuracy. This result indicates that SwitchPrompt effectively reduces the
need for domain-specific language model pre-training.
- Abstract（参考訳）: 事前学習された言語モデルのプロンプティングは、自然言語処理タスクにまたがる有望な結果をもたらすが、事前学習データと下流タスクの間のドメインギャップのため、低リソース領域に適用する場合には効果が低い。
本研究では,このギャップをSwitchPromptと呼ばれる,汎用ドメインから多種多様な低リソースドメインへのデータセットで訓練された言語モデルの適応のための,斬新で軽量なプロンプト手法で埋める。
トレーニング可能なゲートプロンプトを備えたドメイン固有のキーワードを使用して、SwitchPromptはドメイン指向のプロンプト、すなわち、汎用ドメイン言語モデルのターゲットドメインに対する効果的なガイダンスを提供する。
3つのテキスト分類ベンチマークを用いた少数の実験により,switchpromptを用いた一般ドメイン事前学習言語モデルの有効性が示された。
彼らはしばしば、ベースライン・オブ・ザ・アートでトレーニングされたドメイン固有のプロンプトを10.7%の精度向上で上回ることさえある。
この結果は、switchpromptがドメイン固有言語モデル事前トレーニングの必要性を効果的に減らすことを示している。
関連論文リスト
- Phrase Grounding-based Style Transfer for Single-Domain Generalized
Object Detection [109.58348694132091]
単一ドメインの一般化オブジェクト検出は、複数の未確認対象ドメインに対するモデルの一般化性を高めることを目的としている。
これは、ターゲットのドメインデータをトレーニングに組み込むことなく、ドメインシフトに対処するモデルを必要とするため、実用的だが難しいタスクである。
そこで我々は,課題に対する新しい文節接頭辞に基づくスタイル伝達手法を提案する。
論文 参考訳（メタデータ） (2024-02-02T10:48:43Z) - Domain-Controlled Prompt Learning [49.45309818782329]
既存の素早い学習方法はドメイン認識やドメイン転送機構を欠いていることが多い。
特定のドメインに対するtextbfDomain-Controlled Prompt Learningを提案する。
本手法は,特定の領域画像認識データセットにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2023-09-30T02:59:49Z) - Regex-augmented Domain Transfer Topic Classification based on a
Pre-trained Language Model: An application in Financial Domain [42.5087655999509]
本稿では,微調整過程におけるドメイン知識の特徴として,正規表現パターンの利用について論じる。
実シナリオ生成データを用いた実験により,本手法が下流のテキスト分類タスクを改善することを示す。
論文 参考訳（メタデータ） (2023-05-23T03:26:32Z) - Learning Domain Invariant Prompt for Vision-Language Models [31.581652862478965]
本稿では,メタプロンプト(MetaPrompt)と呼ばれる未確認領域に一般化可能な,固有領域不変プロンプトを直接生成する新しいプロンプト学習パラダイムを提案する。
我々の手法は既存の手法より一貫して大幅に優れています。
論文 参考訳（メタデータ） (2022-12-08T11:23:24Z) - P{\O}DA: Prompt-driven Zero-shot Domain Adaptation [27.524962843495366]
我々は,対象領域の自然言語,すなわちプロンプトの一般的な記述のみを用いて,ソースドメイン上で訓練されたモデルを適用する。
本稿では,これらのプロンプト駆動による拡張が,セマンティックセグメンテーションのためのゼロショットドメイン適応の実行に有効であることを示す。
論文 参考訳（メタデータ） (2022-12-06T18:59:58Z) - Domain Adaptation via Prompt Learning [39.97105851723885]
Unsupervised Domain Adaption (UDA) は、十分にアノテーションされたソースドメインから学習したモデルをターゲットドメインに適応させることを目的としている。
我々は,Prompt Learning (DAPL) によるドメイン適応という,UDAのための新しいプロンプト学習パラダイムを導入する。
論文 参考訳（メタデータ） (2022-02-14T13:25:46Z) - Meta-Learning for Domain Generalization in Semantic Parsing [124.32975734073949]
セマンティック解析のためにゼロショットドメインをターゲットにしたメタラーニングフレームワークを使用する。
ゼロショット解析の仮想トレインと非結合領域からのテストセットをシミュレートするモデル非依存のトレーニングアルゴリズムを適用した。
論文 参考訳（メタデータ） (2020-10-22T19:00:36Z) - Domain Adversarial Fine-Tuning as an Effective Regularizer [80.14528207465412]
自然言語処理(NLP)では、下流タスクに転送される事前訓練された言語モデル(LM)が、最先端の結果を得るために最近示されている。
標準的な微調整は、事前トレーニング中にキャプチャされた汎用ドメイン表現を分解することができる。
本稿では,新しい正規化手法である After; 有効正規化器としてのドメイン・アダクショナル・ファイン・チューニングを提案する。
論文 参考訳（メタデータ） (2020-09-28T14:35:06Z) - Domain Adaptation for Semantic Parsing [68.81787666086554]
本稿では,ドメイン適応のための新しいセマンティクスを提案する。このセマンティクスでは,ソースドメインと比較して,対象ドメインのアノテーション付きデータがはるかに少ない。
我々のセマンティックな利点は、2段階の粗大なフレームワークから得ており、2段階の異なる正確な処理を提供できる。
ベンチマークデータセットの実験により、我々の手法はいくつかの一般的なドメイン適応戦略より一貫して優れていることが示された。
論文 参考訳（メタデータ） (2020-06-23T14:47:41Z) - Vocabulary Adaptation for Distant Domain Adaptation in Neural Machine
Translation [14.390932594872233]
語彙のミスマッチにより、ドメイン間のドメイン適応を効果的に行うことはできない。
本稿では,効果的な微調整法である語彙適応法を提案する。
本手法は,En-JaおよびDe-En翻訳における従来の微調整性能を3.86点,3.28点改善する。
論文 参考訳（メタデータ） (2020-04-30T14:27:59Z) - Unsupervised Domain Clusters in Pretrained Language Models [61.832234606157286]
大規模事前学習型言語モデルでは,教師なしのドメインによってクラスタ化される文表現を暗黙的に学習する。
このようなモデルに基づくドメインデータ選択手法を提案する。
我々は5つの異なる領域にわたるニューラルネットワーク翻訳のためのデータ選択手法を評価する。
論文 参考訳（メタデータ） (2020-04-05T06:22:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。