論文の概要: DS-TOD: Efficient Domain Specialization for Task Oriented Dialog
- arxiv url: http://arxiv.org/abs/2110.08395v1
- Date: Fri, 15 Oct 2021 22:25:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-19 15:46:30.752887
- Title: DS-TOD: Efficient Domain Specialization for Task Oriented Dialog
- Title(参考訳): DS-TOD:タスク指向ダイアログのための効率的なドメインスペシャライゼーション
- Authors: Chia-Chien Hung, Anne Lauscher, Simone Paolo Ponzetto, Goran
Glava\v{s}
- Abstract要約: 大規模対話データセット上での自己教師型ダイアログ固有の事前学習は、下流タスク指向ダイアログ(TOD)における従来の言語モデリング(LM)よりも大幅に向上する。
タスク指向対話における事前学習言語モデル(PLM)のドメイン特殊化の効果について検討する。
本稿では,ドメインアダプタを用いた資源効率・モジュール型ドメイン特化手法を提案する。
- 参考スコア(独自算出の注目度): 12.395323315744625
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent work has shown that self-supervised dialog-specific pretraining on
large conversational datasets yields substantial gains over traditional
language modeling (LM) pretraining in downstream task-oriented dialog (TOD).
These approaches, however, exploit general dialogic corpora (e.g., Reddit) and
thus presumably fail to reliably embed domain-specific knowledge useful for
concrete downstream TOD domains. In this work, we investigate the effects of
domain specialization of pretrained language models (PLMs) for task-oriented
dialog. Within our DS-TOD framework, we first automatically extract salient
domain-specific terms, and then use them to construct DomainCC and DomainReddit
-- resources that we leverage for domain-specific pretraining, based on (i)
masked language modeling (MLM) and (ii) response selection (RS) objectives,
respectively. We further propose a resource-efficient and modular domain
specialization by means of domain adapters -- additional parameter-light layers
in which we encode the domain knowledge. Our experiments with two prominent TOD
tasks -- dialog state tracking (DST) and response retrieval (RR) --
encompassing five domains from the MultiWOZ TOD benchmark demonstrate the
effectiveness of our domain specialization approach. Moreover, we show that the
light-weight adapter-based specialization (1) performs comparably to full
fine-tuning in single-domain setups and (2) is particularly suitable for
multi-domain specialization, in which, besides advantageous computational
footprint, it can offer better downstream performance.
- Abstract(参考訳): 近年の研究では、大規模対話データセット上での自己教師型ダイアログ固有の事前学習が、下流タスク指向ダイアログ(TOD)における従来の言語モデリング(LM)よりも大幅に向上することが示されている。
しかしながら、これらのアプローチは一般的なダイアログコーパス(例えばReddit)を利用するため、おそらく、ダウンストリームTODドメインに有用なドメイン固有の知識を確実に組み込むことができない。
本研究では,タスク指向ダイアログに対する事前学習言語モデル(plm)のドメイン特化の効果について検討する。
当社のds-todフレームワークでは、まずはドメイン固有の用語を自動的に抽出して、ドメイン固有の事前トレーニングに活用するリソースであるdomainccとdomainredditの構築に使用します。
(i)仮面言語モデリング(MLM)及び
(ii) それぞれ応答選択(RS) 目標。
さらに、ドメインアダプタ(ドメインの知識をエンコードするパラメータライト層)によって、リソース効率が高くモジュール化されたドメイン特化を提案します。
ダイアログ状態追跡(DST)と応答検索(RR)という2つの主要なTODタスクを用いた実験により,MultiWOZ TODベンチマークから5つのドメインを抽出し,ドメインの特殊化手法の有効性を実証した。
さらに, 軽量アダプタによる特殊化(1) は, シングルドメイン設定の完全な微調整と相性が良く, (2) マルチドメインの特殊化に特に適しており, 有利な計算フットプリントに加えて, 下流性能の向上が期待できることを示した。
関連論文リスト
- Role Prompting Guided Domain Adaptation with General Capability Preserve
for Large Language Models [55.51408151807268]
特定のドメインに合わせると、LLM(Large Language Models)は破滅的な忘れを経験する傾向がある。
同時に複数のドメインのための汎用モデルを構築することで、全体的なパフォーマンスが低下することが多い。
RolE Prompting Guided Multi-Domain Adaptation (REGA) 戦略を提案する。
論文 参考訳(メタデータ) (2024-03-05T08:22:41Z) - Domain Prompt Learning with Quaternion Networks [49.45309818782329]
本稿では、ドメイン固有の基礎モデルからドメイン固有の知識を活用して、ビジョン言語モデルの堅牢な認識能力を特定ドメインに転送することを提案する。
本稿では、階層型言語プロンプト特徴とドメイン固有の視覚特徴との間のモーダル関係を解析することにより、視覚プロンプト特徴を生成する階層型アプローチを提案する。
提案手法は,即時学習のための新しい最先端結果を実現する。
論文 参考訳(メタデータ) (2023-12-12T08:49:39Z) - Zero-Shot Generalizable End-to-End Task-Oriented Dialog System using
Context Summarization and Domain Schema [2.7178968279054936]
タスク指向対話システムにおける最先端のアプローチは、条件付きシーケンス生成タスクとして問題を定式化する。
これは、新しいドメインまたはタスクごとにラベル付きトレーニングデータを必要とする。
本稿では,ZS-ToDという,Zero-Shotの汎用的なエンドツーエンドタスク指向ダイアログシステムについて紹介する。
論文 参考訳(メタデータ) (2023-03-28T18:56:31Z) - PoE: a Panel of Experts for Generalized Automatic Dialogue Assessment [58.46761798403072]
モデルベース自動対話評価基準(ADEM)は,複数の領域にわたって良好に機能することが期待される。
大きな進歩にもかかわらず、ある領域でうまく機能するADEMは必ずしも他の領域に一般化するとは限らない。
本稿では,共有トランスフォーマーエンコーダと軽量アダプタの集合からなるPanel of Experts (PoE)ネットワークを提案する。
論文 参考訳(メタデータ) (2022-12-18T02:26:50Z) - A Unified Knowledge Graph Augmentation Service for Boosting
Domain-specific NLP Tasks [10.28161912127425]
本稿では,ドメイン知識グラフを用いたタスク固有のトレーニング手順を強化するために,統合されたドメイン言語モデル開発サービスであるKnowledgeDAを提案する。
我々は、医療とソフトウェア開発という2つの分野の言語モデルを学ぶために、KnowledgeDAのプロトタイプを実装します。
論文 参考訳(メタデータ) (2022-12-10T09:18:43Z) - TAL: Two-stream Adaptive Learning for Generalizable Person
Re-identification [115.31432027711202]
我々は、ドメイン固有性とドメイン不変性の両方が、re-idモデルの一般化能力の向上に不可欠であると主張する。
これら2種類の情報を同時にモデル化するために,2ストリーム適応学習 (TAL) を命名した。
我々のフレームワークは、単一ソースとマルチソースの両方のドメイン一般化タスクに適用できる。
論文 参考訳(メタデータ) (2021-11-29T01:27:42Z) - Exploiting Domain-Specific Features to Enhance Domain Generalization [10.774902700296249]
ドメイン一般化(Domain Generalization, DG)は、観測されていないターゲットドメインで正常に動作するために、複数の観測されたソースドメインからモデルをトレーニングすることを目的としている。
以前のDGアプローチでは、ターゲットドメインを一般化するために、ソース間でのドメイン不変情報を抽出することに重点を置いていた。
本稿ではメタドメイン固有ドメイン不変量(mD)を提案する。
論文 参考訳(メタデータ) (2021-10-18T15:42:39Z) - Structured Latent Embeddings for Recognizing Unseen Classes in Unseen
Domains [108.11746235308046]
本稿では,異なる領域からの画像を投影することで,ドメインに依存しない遅延埋め込みを学習する手法を提案する。
挑戦的なDomainNetとDomainNet-LSベンチマークの実験は、既存のメソッドよりもアプローチの方が優れていることを示している。
論文 参考訳(メタデータ) (2021-07-12T17:57:46Z) - Domain Conditioned Adaptation Network [90.63261870610211]
本稿では,ドメイン条件付きチャネルアテンション機構を用いて,異なる畳み込みチャネルを励起するドメイン条件適応ネットワーク(DCAN)を提案する。
これは、ディープDAネットワークのドメインワイドな畳み込みチャネルアクティベーションを探求する最初の試みである。
論文 参考訳(メタデータ) (2020-05-14T04:23:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。