論文の概要: A Transformer-based Response Evaluator for Open-Domain Spoken
Conversation
- arxiv url: http://arxiv.org/abs/2302.04424v1
- Date: Thu, 9 Feb 2023 03:38:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-10 16:57:28.767081
- Title: A Transformer-based Response Evaluator for Open-Domain Spoken
Conversation
- Title（参考訳）: オープンドメイン音声対話のためのトランスフォーマーを用いた応答評価器
- Authors: Vrindavan Harrison and Rishi Rajasekaran and Marilyn Walker
- Abstract要約: 本研究では,Alexa Prize SocialBotであるAthenaシステムにおける応答選択について検討する。
オープンドメイン対話における既製の応答ランキング法をいくつか比較する。
我々は、Recall@1の70.79%のAthena-RRが、Athena-Heuristicとオフザシェルフランクの全てを大きなマージンで上回っていることを発見した。
- 参考スコア（独自算出の注目度）: 1.0474108328884806
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many open-domain dialogue systems rely on multiple response generators, any
of which can contribute a response to the dialogue in a particular context.
Thus the ability to compare potential responses and then select the best plays
an important role in ensuring a dialogue system is coherent and engaging.
Dialogue coherence goes beyond simply remaining on topic -- some trivia may be
on topic and engaging when mentioned out of the blue, but may not be coherent
and grounded in the context of the conversation. We carry out experiments on
response selection in the Athena system, an Alexa Prize SocialBot that has
dedicated content and multiple topic-specific response generators for a large
number of topics. First, we collect a corpus of Athena conversations with live
human traffic, where potential responses from all enabled response generators
are logged and subsequently annotated for response quality. We compare several
off-the-shelf response ranking methods for open-domain dialogue to
Athena-Heuristic, a heuristic response ranker that was field-tested in Athena
during the third Alexa Prize competition. We also compare these to a
transformer-based response ranker we call Athena-RR, that we train on our
Athena conversations. Athena-RR uses both the conversational context and the
dialogue state to rank the potential responses. We find that Athena-RR with a
Recall@1 of 70.79\% outperforms Athena-Heuristic and all of the off-the-shelf
rankers by a large margin. We then conduct a live A/B study comparing
Athena-Heuristic to Athena-RR in a 6,358 conversations with Alexa users. We
show that Athena-RR leads to significantly longer conversations that receive
significantly higher user ratings than the heuristic rule-based ranker.
- Abstract（参考訳）: 多くのオープンドメイン対話システムは複数の応答生成器に依存しており、そのどれでも特定のコンテキストにおける対話に対する応答に寄与することができる。
このように、潜在的な応答を比較してベストを選択する能力は、対話システムの一貫性とエンゲージメントを確保する上で重要な役割を果たす。
対話のコヒーレンスは、単に話題に留まるだけでなく、一部のトリビアは、青から言及されたときに話題やエンゲージメントを行うが、会話の文脈では一貫性が保たれない。
Athenaシステムでは、専用のコンテンツと複数のトピック固有の応答生成器を備えたAlexa Prize SocialBotを用いて、応答選択実験を行っている。
まず、Athenaのコーパスを人間の交通機関と収集し、すべての有効応答生成装置からの潜在的な応答をログ化し、その後、応答品質に注釈を付ける。
オープンドメイン対話における既製の応答ランキング法を,第3回Alexa Prizeコンクールでアテナでフィールドテストされたヒューリスティック応答ランキング法であるAthena-Heuristicと比較した。
また、これらをAthena-RRと呼ぶトランスフォーマーベースのレスポンスランサーと比較し、Athenaの会話をトレーニングします。
athena-rrは会話的文脈と対話状態の両方を使用して潜在的な応答をランク付けする。
Athena-RR が 70.79 % の Recall@1 で、Athena-Heuristic とオフザシェルフランクの全てを大きなマージンで上回ります。
次にathena-heuristicとathena-rrを比較し,alexaユーザと6,358件の会話を行った。
Athena-RRは、ヒューリスティックなルールベースのランキングよりもはるかに高いユーザレーティングを受ける会話をはるかに長くすることを示す。
関連論文リスト
- PICK: Polished & Informed Candidate Scoring for Knowledge-Grounded
Dialogue Systems [59.1250765143521]
現在の知識接地対話システムは、生成された応答を人間に好まれる品質に合わせるのに失敗することが多い。
我々は,世代別再描画フレームワークであるPolseed & Informed Candidate Scoring (PICK)を提案する。
対話履歴に関連性を維持しつつ,より忠実な応答を生成するためのPICKの有効性を示す。
論文 参考訳（メタデータ） (2023-09-19T08:27:09Z) - Athena 2.0: Discourse and User Modeling in Open Domain Dialogue [5.434860847606497]
Athena 2.0はAmazonのSocialbot Grand Challenge 4の会話エージェントである。
知識接地型談話モデルを用いて、名前付き認識とリンクを制約し、コア参照の解決を行う。
また、トピックの選択やその他の会話の側面を個々のユーザーにパーソナライズするためのユーザーモデルにも依存している。
論文 参考訳（メタデータ） (2023-08-03T17:30:39Z) - FCC: Fusing Conversation History and Candidate Provenance for Contextual
Response Ranking in Dialogue Systems [53.89014188309486]
複数のチャネルからコンテキスト情報を統合できるフレキシブルなニューラルネットワークフレームワークを提案する。
会話応答ランキングタスクの評価に広く用いられているMSDialogデータセット上で,本モデルの評価を行った。
論文 参考訳（メタデータ） (2023-03-31T23:58:28Z) - Let's Get Personal: Personal Questions Improve SocialBot Performance in
the Alexa Prize [0.0]
音声対話コミュニティにおいて,対話型オープンドメイン対話システムの構築に焦点が当てられている。
従来の対話システムとは異なり、これらの対話システムは特定の情報やドメインの制限を前提とすることはできない。
我々は、Amazon Echoユーザーが大規模にアクセスし、評価する、堅牢なオープンドメイン会話システムであるAthenaを開発した。
論文 参考訳（メタデータ） (2023-03-09T00:10:29Z) - Reranking Overgenerated Responses for End-to-End Task-Oriented Dialogue
Systems [71.33737787564966]
エンド・ツー・エンド(E2E)タスク指向対話システム(ToD)は、いわゆる「いいね!
本稿では,システムによって当初過剰に生成された応答リストから高品質な項目を選択する方法を提案する。
本研究では,最先端のE2E ToDシステムを2.4BLEU,3.2ROUGE,2.8 METEORで改善し,新たなピーク値を得た。
論文 参考訳（メタデータ） (2022-11-07T15:59:49Z) - ProsocialDialog: A Prosocial Backbone for Conversational Agents [104.92776607564583]
ProsocialDialogは、対話エージェントに社会規範に従って問題コンテンツに応答するように教える最初の大規模対話データセットである。
ProsocialDialogは、人間とAIのコラボレーションフレームワークで作られ、58Kの対話と331Kの発話、160KのRoT、および497Kの対話安全ラベルで構成されている。
本データセットでは,対話型安全性検出モジュールであるCanaryを導入し,会話コンテキストを指定したRoTを生成するとともに,社会的にインフォームドされた対話エージェントであるProstを導入する。
論文 参考訳（メタデータ） (2022-05-25T11:48:47Z) - Athena 2.0: Contextualized Dialogue Management for an Alexa Prize
SocialBot [3.4000625471791577]
Athena 2.0はAlexa Prize SocialBotで、過去2回のAlexa Prize Grand Challengesでファイナリストを務めた。
本稿では,20/21コンペティションにおけるアテナのシステム設計と性能について述べる。
論文 参考訳（メタデータ） (2021-11-03T20:54:20Z) - Jurassic is (almost) All You Need: Few-Shot Meaning-to-Text Generation
for Open-Domain Dialogue [0.576178320759792]
我々は、Athenaの応答ジェネレータを使用して、2つの新しいニューラル平均テキストRGのトレーニングデータを作成する。
私たちは、異なるチューニングセットサイズで、内部とクロスドメインの両方で、いくつかのショット実験を行います。
Athena-Jurassic の 10 ショットチューニングでは,コヒーレンスやセマンティックな精度が著しく向上することを示す。
論文 参考訳（メタデータ） (2021-10-15T13:42:25Z) - Building and Evaluating Open-Domain Dialogue Corpora with Clarifying
Questions [65.60888490988236]
オープンドメインのシングルターンとマルチターンの会話に焦点を当てたデータセットをリリースする。
我々は最先端のニューラルベースラインをいくつかベンチマークする。
様々な対話における質問の明確化の質を評価するための,オフラインおよびオンラインのステップからなるパイプラインを提案する。
論文 参考訳（メタデータ） (2021-09-13T09:16:14Z) - Athena: Constructing Dialogues Dynamically with Discourse Constraints [11.008755264048522]
本報告では,一般的な話題や現在の出来事に関する対話システムであるAthenaについて述べる。
本研究では,対話管理に柔軟なトピック非依存のアプローチを開発し,エンティティの一般的な原則とトピックコヒーレンスに基づく対話を動的に構成する。
対話システムアーキテクチャを説明した後、2019年のAlexa Prize Competitionでアテナが参加した会話の分析を行った。
論文 参考訳（メタデータ） (2020-11-21T00:28:34Z) - Towards Data Distillation for End-to-end Spoken Conversational Question
Answering [65.124088336738]
音声対話型質問応答タスク(SCQA)を提案する。
SCQAは,音声発話とテキストコーパスから複雑な対話の流れをモデル化することを目的としている。
我々の主な目的は、音声とテキストの両方で会話的な質問に対処するQAシステムを構築することである。
論文 参考訳（メタデータ） (2020-10-18T05:53:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。