論文の概要: DS-TOD: Efficient Domain Specialization for Task Oriented Dialog
- arxiv url: http://arxiv.org/abs/2110.08395v1
- Date: Fri, 15 Oct 2021 22:25:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-19 15:46:30.752887
- Title: DS-TOD: Efficient Domain Specialization for Task Oriented Dialog
- Title（参考訳）: DS-TOD:タスク指向ダイアログのための効率的なドメインスペシャライゼーション
- Authors: Chia-Chien Hung, Anne Lauscher, Simone Paolo Ponzetto, Goran
Glava\v{s}
- Abstract要約: 大規模対話データセット上での自己教師型ダイアログ固有の事前学習は、下流タスク指向ダイアログ(TOD)における従来の言語モデリング(LM)よりも大幅に向上する。
タスク指向対話における事前学習言語モデル(PLM)のドメイン特殊化の効果について検討する。
本稿では,ドメインアダプタを用いた資源効率・モジュール型ドメイン特化手法を提案する。
- 参考スコア（独自算出の注目度）: 12.395323315744625
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent work has shown that self-supervised dialog-specific pretraining on
large conversational datasets yields substantial gains over traditional
language modeling (LM) pretraining in downstream task-oriented dialog (TOD).
These approaches, however, exploit general dialogic corpora (e.g., Reddit) and
thus presumably fail to reliably embed domain-specific knowledge useful for
concrete downstream TOD domains. In this work, we investigate the effects of
domain specialization of pretrained language models (PLMs) for task-oriented
dialog. Within our DS-TOD framework, we first automatically extract salient
domain-specific terms, and then use them to construct DomainCC and DomainReddit
-- resources that we leverage for domain-specific pretraining, based on (i)
masked language modeling (MLM) and (ii) response selection (RS) objectives,
respectively. We further propose a resource-efficient and modular domain
specialization by means of domain adapters -- additional parameter-light layers
in which we encode the domain knowledge. Our experiments with two prominent TOD
tasks -- dialog state tracking (DST) and response retrieval (RR) --
encompassing five domains from the MultiWOZ TOD benchmark demonstrate the
effectiveness of our domain specialization approach. Moreover, we show that the
light-weight adapter-based specialization (1) performs comparably to full
fine-tuning in single-domain setups and (2) is particularly suitable for
multi-domain specialization, in which, besides advantageous computational
footprint, it can offer better downstream performance.
- Abstract（参考訳）: 近年の研究では、大規模対話データセット上での自己教師型ダイアログ固有の事前学習が、下流タスク指向ダイアログ(TOD)における従来の言語モデリング(LM)よりも大幅に向上することが示されている。
しかしながら、これらのアプローチは一般的なダイアログコーパス(例えばReddit)を利用するため、おそらく、ダウンストリームTODドメインに有用なドメイン固有の知識を確実に組み込むことができない。
本研究では,タスク指向ダイアログに対する事前学習言語モデル(plm)のドメイン特化の効果について検討する。
当社のds-todフレームワークでは、まずはドメイン固有の用語を自動的に抽出して、ドメイン固有の事前トレーニングに活用するリソースであるdomainccとdomainredditの構築に使用します。
(i)仮面言語モデリング(MLM)及び
(ii) それぞれ応答選択(RS) 目標。
さらに、ドメインアダプタ(ドメインの知識をエンコードするパラメータライト層)によって、リソース効率が高くモジュール化されたドメイン特化を提案します。
ダイアログ状態追跡(DST)と応答検索(RR)という2つの主要なTODタスクを用いた実験により,MultiWOZ TODベンチマークから5つのドメインを抽出し,ドメインの特殊化手法の有効性を実証した。
さらに, 軽量アダプタによる特殊化(1) は, シングルドメイン設定の完全な微調整と相性が良く, (2) マルチドメインの特殊化に特に適しており, 有利な計算フットプリントに加えて, 下流性能の向上が期待できることを示した。
関連論文リスト
- A Unified Data Augmentation Framework for Low-Resource Multi-Domain Dialogue Generation [52.0964459842176]
現在の最先端の対話システムは、広範なトレーニングデータセットに大きく依存している。
我々はtextbfAMD$2$G と呼ばれる textbfMulti-textbfDomain textbfDialogue textbfGeneration のための新しいデータ textbfAugmentation フレームワークを提案する。
AMD$2$Gフレームワークは、データ拡張プロセスと、ドメインに依存しないトレーニングとドメイン適応トレーニングという2段階のトレーニングアプローチで構成されている。
論文 参考訳（メタデータ） (2024-06-14T09:52:27Z) - More Than Catastrophic Forgetting: Integrating General Capabilities For Domain-Specific LLMs [40.54076184225558]
大言語モデル(LLM)がドメイン固有のタスクに微調整された後に、一般的なタスクのパフォーマンスが低下する。
本稿では,一般能力統合(GCI)と呼ばれる,CFを越えたドメイン固有LLMの実適用に向けた課題について述べる。
GCIの目的は、新たに獲得した汎用能力を、新しいドメイン知識と共に保持するだけでなく、両方のスキルセットを結合的に調和して利用して、ドメイン固有のタスクのパフォーマンスを高めることである。
論文 参考訳（メタデータ） (2024-05-28T05:00:12Z) - Boosting Large Language Models with Continual Learning for Aspect-based Sentiment Analysis [33.86086075084374]
アスペクトベース感情分析(ABSA)は感情分析の重要なサブタスクである。
ABSAのための大規模言語モデルに基づく連続学習(textttLLM-CL)モデルを提案する。
論文 参考訳（メタデータ） (2024-05-09T02:00:07Z) - Unified Language-driven Zero-shot Domain Adaptation [55.64088594551629]
Unified Language-driven Zero-shot Domain Adaptation (ULDA)は、新しいタスクセットである。
これにより、ドメインIDの知識を明示することなく、単一のモデルを多様なターゲットドメインに適応させることができる。
論文 参考訳（メタデータ） (2024-04-10T16:44:11Z) - Role Prompting Guided Domain Adaptation with General Capability Preserve
for Large Language Models [55.51408151807268]
特定のドメインに合わせると、LLM(Large Language Models)は破滅的な忘れを経験する傾向がある。
同時に複数のドメインのための汎用モデルを構築することで、全体的なパフォーマンスが低下することが多い。
RolE Prompting Guided Multi-Domain Adaptation (REGA) 戦略を提案する。
論文 参考訳（メタデータ） (2024-03-05T08:22:41Z) - Domain Prompt Learning with Quaternion Networks [49.45309818782329]
本稿では、ドメイン固有の基礎モデルからドメイン固有の知識を活用して、ビジョン言語モデルの堅牢な認識能力を特定ドメインに転送することを提案する。
本稿では、階層型言語プロンプト特徴とドメイン固有の視覚特徴との間のモーダル関係を解析することにより、視覚プロンプト特徴を生成する階層型アプローチを提案する。
提案手法は,即時学習のための新しい最先端結果を実現する。
論文 参考訳（メタデータ） (2023-12-12T08:49:39Z) - Zero-Shot Generalizable End-to-End Task-Oriented Dialog System using
Context Summarization and Domain Schema [2.7178968279054936]
タスク指向対話システムにおける最先端のアプローチは、条件付きシーケンス生成タスクとして問題を定式化する。
これは、新しいドメインまたはタスクごとにラベル付きトレーニングデータを必要とする。
本稿では,ZS-ToDという,Zero-Shotの汎用的なエンドツーエンドタスク指向ダイアログシステムについて紹介する。
論文 参考訳（メタデータ） (2023-03-28T18:56:31Z) - A Unified Knowledge Graph Augmentation Service for Boosting
Domain-specific NLP Tasks [10.28161912127425]
本稿では,ドメイン知識グラフを用いたタスク固有のトレーニング手順を強化するために,統合されたドメイン言語モデル開発サービスであるKnowledgeDAを提案する。
我々は、医療とソフトウェア開発という2つの分野の言語モデルを学ぶために、KnowledgeDAのプロトタイプを実装します。
論文 参考訳（メタデータ） (2022-12-10T09:18:43Z) - Structured Latent Embeddings for Recognizing Unseen Classes in Unseen
Domains [108.11746235308046]
本稿では,異なる領域からの画像を投影することで,ドメインに依存しない遅延埋め込みを学習する手法を提案する。
挑戦的なDomainNetとDomainNet-LSベンチマークの実験は、既存のメソッドよりもアプローチの方が優れていることを示している。
論文 参考訳（メタデータ） (2021-07-12T17:57:46Z) - Domain Conditioned Adaptation Network [90.63261870610211]
本稿では,ドメイン条件付きチャネルアテンション機構を用いて,異なる畳み込みチャネルを励起するドメイン条件適応ネットワーク(DCAN)を提案する。
これは、ディープDAネットワークのドメインワイドな畳み込みチャネルアクティベーションを探求する最初の試みである。
論文 参考訳（メタデータ） (2020-05-14T04:23:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。