論文の概要: PoE: a Panel of Experts for Generalized Automatic Dialogue Assessment

• arxiv url: http://arxiv.org/abs/2212.08992v1
• Date: Sun, 18 Dec 2022 02:26:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 16:21:48.762881
• Title: PoE: a Panel of Experts for Generalized Automatic Dialogue Assessment
• Title（参考訳）: poe: 汎用的な対話評価のための専門家パネル
• Authors: Chen Zhang, Luis Fernando D'Haro, Qiquan Zhang, Thomas Friedrichs, Haizhou Li
• Abstract要約: モデルベース自動対話評価基準(ADEM)は,複数の領域にわたって良好に機能することが期待される。 大きな進歩にもかかわらず、ある領域でうまく機能するADEMは必ずしも他の領域に一般化するとは限らない。 本稿では,共有トランスフォーマーエンコーダと軽量アダプタの集合からなるPanel of Experts (PoE)ネットワークを提案する。
• 参考スコア（独自算出の注目度）: 58.46761798403072
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chatbots are expected to be knowledgeable across multiple domains, e.g. for daily chit-chat, exchange of information, and grounding in emotional situations. To effectively measure the quality of such conversational agents, a model-based automatic dialogue evaluation metric (ADEM) is expected to perform well across multiple domains. Despite significant progress, an ADEM that works well in one domain does not necessarily generalize to another. This calls for a dedicated network architecture for domain generalization. To tackle the multi-domain dialogue evaluation task, we propose a Panel of Experts (PoE), a multitask network that consists of a shared transformer encoder and a collection of lightweight adapters. The shared encoder captures the general knowledge of dialogues across domains, while each adapter specializes in one specific domain and serves as a domain expert. To validate the idea, we construct a high-quality multi-domain dialogue dataset leveraging data augmentation and pseudo-labeling. The PoE network is comprehensively assessed on 16 dialogue evaluation datasets spanning a wide range of dialogue domains. It achieves state-of-the-art performance in terms of mean Spearman correlation over all the evaluation datasets. It exhibits better zero-shot generalization than existing state-of-the-art ADEMs and the ability to easily adapt to new domains with few-shot transfer learning.
• Abstract（参考訳）: チャットボットは、日々のチャット、情報の交換、感情的な状況における接地など、複数のドメインにまたがる知識が期待できる。 このような対話エージェントの品質を効果的に測定するために、モデルベース自動対話評価基準(ADEM)が複数のドメインにわたって良好に機能することが期待される。 大きな進歩にもかかわらず、ある領域でうまく機能するADEMは必ずしも他の領域に一般化するとは限らない。 これはドメインの一般化のための専用のネットワークアーキテクチャを要求する。 本稿では,マルチドメイン対話評価タスクに取り組むために,共有トランスコーダと軽量アダプタの集合からなるマルチタスクネットワークである専門家パネル(poe)を提案する。 共有エンコーダはドメイン間の対話の一般的な知識をキャプチャし、各アダプタは特定のドメインを専門とし、ドメインの専門家として機能する。 このアイデアを検証するために,データ拡張と擬似ラベルを用いた高品質なマルチドメイン対話データセットを構築した。 PoEネットワークは、幅広い対話ドメインにまたがる16の対話評価データセットに対して包括的に評価される。 すべての評価データセットに対する平均スピアマン相関で最先端のパフォーマンスを達成する。 既存の最先端ADEMよりもゼロショットの一般化が優れており、ほとんどショット転送学習で新しいドメインに容易に適応できる。

関連論文リスト

• Large-Scale Multi-Domain Recommendation: an Automatic Domain Feature Extraction and Personalized Integration Framework [30.46152832695426]
  大規模マルチドメインレコメンデーションのための自動ドメイン特徴抽出とパーソナライズド統合(DFEI)フレームワークを提案する。 このフレームワークは個々のユーザの振る舞いを自動的にドメイン内のすべてのユーザの振る舞いの集約に変換し、ドメインの機能として機能します。 20以上のドメインからなるパブリックデータセットと産業データセットの実験結果から,提案フレームワークがSOTAベースラインと比較して大幅に性能が向上していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-04-12T09:57:17Z)
• Role Prompting Guided Domain Adaptation with General Capability Preserve for Large Language Models [55.51408151807268]
  特定のドメインに合わせると、LLM(Large Language Models)は破滅的な忘れを経験する傾向がある。 同時に複数のドメインのための汎用モデルを構築することで、全体的なパフォーマンスが低下することが多い。 RolE Prompting Guided Multi-Domain Adaptation (REGA) 戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-05T08:22:41Z)
• META: Mimicking Embedding via oThers' Aggregation for Generalizable Person Re-identification [68.39849081353704]
  Domain Generalizable (DG) Person Re-identification (ReID)は、トレーニング時に対象のドメインデータにアクセスすることなく、見えないドメインをまたいでテストすることを目的としている。 本稿では,DG ReID のための OThers' Aggregation (META) を用いた Mimicking Embedding という新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T08:06:50Z)
• MDD-Eval: Self-Training on Augmented Data for Multi-Domain Dialogue Evaluation [66.60285024216573]
  対話評価器はドメイン間の評価も行うことが期待される。 最先端自動対話評価指標(ADM)の多くはマルチドメイン評価のために設計されていない。 私たちはこの問題に対処するための汎用的で堅牢なフレームワークMDD-Evalを設計する動機があります。
  論文  参考訳（メタデータ） (2021-12-14T07:01:20Z)
• Meta-Context Transformers for Domain-Specific Response Generation [4.377737808397113]
  本稿では,ドメイン固有属性の強化による対話応答生成のためのトランスフォーマーベースモデルDSRNetを提案する。 ドメイン固有応答生成のためのマルチターンマルチインターロケータ環境におけるDSRNetの利用について検討する。 BLEUと意味的類似性(BertScore)が向上したマルチターン対話システムに対して,本モデルでは高い精度向上を実現した。
  論文  参考訳（メタデータ） (2020-10-12T09:49:27Z)
• ConCET: Entity-Aware Topic Classification for Open-Domain Conversational Agents [9.870634472479571]
  ConCET: Concurrent Entity-aware conversational Topic Classifierを紹介する。 本稿では,合成学習データを生成するための簡便で効果的な手法を提案する。 我々はAmazon Alexa Prizeの一部として収集された実際のユーザとの人間と機械の会話の大規模なデータセットでConCETを評価した。
  論文  参考訳（メタデータ） (2020-05-28T06:29:08Z)
• UniConv: A Unified Conversational Neural Architecture for Multi-domain Task-oriented Dialogues [101.96097419995556]
  ユニコンブ」はタスク指向対話におけるエンドツーエンド対話システムのための新しい統合型ニューラルネットワークである。 我々は、MultiWOZ2.1ベンチマークにおいて、対話状態追跡、コンテキスト・ツー・テキスト、エンドツーエンド設定の包括的な実験を行う。
  論文  参考訳（メタデータ） (2020-04-29T16:28:22Z)
• Dynamic Fusion Network for Multi-Domain End-to-end Task-Oriented Dialog [70.79442700890843]
  本稿では,対象ドメインと各ドメインの関連性を自動的に活用する新しい動的核融合ネットワーク(DF-Net)を提案する。 トレーニングデータが少ないと、平均13.9%の事前最良モデルを上回り、転送可能性を示す。
  論文  参考訳（メタデータ） (2020-04-23T08:17:22Z)
• MA-DST: Multi-Attention Based Scalable Dialog State Tracking [13.358314140896937]
  ダイアログ状態追跡ダイアログは、ユーザーが目標を達成するための自然言語インターフェースを提供する。 正確なマルチドメインDSTを実現するためには、過去の発話とスロットセマンティクス間の依存関係をエンコードする必要がある。 本稿では,会話履歴とスロットの意味を符号化する新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-02-07T05:34:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。