論文の概要: Interactive Evaluation of Dialog Track at DSTC9

• arxiv url: http://arxiv.org/abs/2207.14403v1
• Date: Thu, 28 Jul 2022 22:54:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-01 12:43:11.405769
• Title: Interactive Evaluation of Dialog Track at DSTC9
• Title（参考訳）: DSTC9における対話性評価
• Authors: Shikib Mehri, Yulan Feng, Carla Gordon, Seyed Hossein Alavi, David Traum, Maxine Eskenazi
• Abstract要約: 第9回ダイアログ・システム・テクノロジー・チャレンジで対話的ダイアログ・トラックの評価が導入された。 本稿では,方法論と結果を含むトラックの概要について述べる。
• 参考スコア（独自算出の注目度）: 8.2208199207543
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ultimate goal of dialog research is to develop systems that can be effectively used in interactive settings by real users. To this end, we introduced the Interactive Evaluation of Dialog Track at the 9th Dialog System Technology Challenge. This track consisted of two sub-tasks. The first sub-task involved building knowledge-grounded response generation models. The second sub-task aimed to extend dialog models beyond static datasets by assessing them in an interactive setting with real users. Our track challenges participants to develop strong response generation models and explore strategies that extend them to back-and-forth interactions with real users. The progression from static corpora to interactive evaluation introduces unique challenges and facilitates a more thorough assessment of open-domain dialog systems. This paper provides an overview of the track, including the methodology and results. Furthermore, it provides insights into how to best evaluate open-domain dialog models
• Abstract（参考訳）: ダイアログ研究の最終的な目標は、実際のユーザによるインタラクティブな設定で効果的に使用できるシステムを開発することである。 そこで本研究では,第9回ダイアログシステム技術チャレンジにおいて対話的評価を行った。 このトラックは2つのサブタスクで構成されていた。 最初のサブタスクは知識に基づく応答生成モデルの構築であった。 第2のサブタスクは、実際のユーザとの対話的な設定で評価することで、静的データセットを越えてダイアログモデルを拡張することを目的としている。 私たちのトラックでは、参加者が強い応答生成モデルを開発し、実際のユーザとのやりとりに拡張する戦略を探求するように挑戦しています。 静的コーパスからインタラクティブ評価への進歩は、ユニークな課題をもたらし、オープンドメインダイアログシステムのより詳細な評価を促進する。 本稿では,方法論と結果を含むトラックの概要について述べる。 さらに、オープンドメインダイアログモデルの評価方法に関する洞察も提供する。

関連論文リスト

• Dialogue Agents 101: A Beginner's Guide to Critical Ingredients for Designing Effective Conversational Systems [29.394466123216258]
  本研究は,対話エージェントの主要な特徴,対応するオープンドメインデータセット,およびこれらのデータセットをベンチマークする手法について概説する。 我々は,既存のデータセットの会話から構築された統一dIalogue dataseTであるUNITを提案する。
  論文  参考訳（メタデータ） (2023-07-14T10:05:47Z)
• Is MultiWOZ a Solved Task? An Interactive TOD Evaluation Framework with User Simulator [37.590563896382456]
  タスク指向対話(TOD)システムのための対話型評価フレームワークを提案する。 まず,事前学習したモデルに基づいて目標指向のユーザシミュレータを構築し,ユーザシミュレータを用いて対話システムと対話して対話を生成する。 実験の結果,提案したユーザシミュレータによりトレーニングされたRLベースのTODシステムは,約98%のインフォメーションと成功率を達成することができた。
  論文  参考訳（メタデータ） (2022-10-26T07:41:32Z)
• Manual-Guided Dialogue for Flexible Conversational Agents [84.46598430403886]
  対話データを効率的に構築し、利用する方法や、さまざまなドメインにモデルを大規模にデプロイする方法は、タスク指向の対話システムを構築する上で重要な問題である。 エージェントは対話とマニュアルの両方からタスクを学習する。 提案手法は,詳細なドメインオントロジーに対する対話モデルの依存性を低減し,様々なドメインへの適応をより柔軟にする。
  論文  参考訳（メタデータ） (2022-08-16T08:21:12Z)
• GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
  ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。 GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。 評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
  論文  参考訳（メタデータ） (2022-06-22T18:19:32Z)
• Target-Guided Dialogue Response Generation Using Commonsense and Data Augmentation [32.764356638437214]
  ターゲット誘導応答生成のための新しい手法を提案する。 また,既存の対話データセットをターゲット誘導生成のために再利用する手法を提案する。 我々の作業は、一般的に、対話システムの設計者が、システムが生み出す会話をより制御できるようにします。
  論文  参考訳（メタデータ） (2022-05-19T04:01:40Z)
• KETOD: Knowledge-Enriched Task-Oriented Dialogue [77.59814785157877]
  対話システム研究における既存の研究は、主にタスク指向の対話とチャットを独立したドメインとして扱う。 本研究では,タスク指向対話と知識ベースチップチャットを一つのモデルに効果的に統合する方法について検討する。
  論文  参考訳（メタデータ） (2022-05-11T16:01:03Z)
• A Unified Pre-training Framework for Conversational AI [25.514505462661763]
  PLATO-2は、簡略化された1対1のマッピング関係に適合するように、2段階のカリキュラム学習によって訓練される。 PLATO-2は3つのタスクで1位を獲得し、様々な対話システムのための統一されたフレームワークとしての有効性を検証する。
  論文  参考訳（メタデータ） (2021-05-06T07:27:11Z)
• Overview of the Ninth Dialog System Technology Challenge: DSTC9 [111.35889309106359]
  第9回対話システム技術チャレンジ(DSTC-9)は、対話システムにおける4つの異なるタスクにエンドツーエンドの対話技術を適用することに焦点を当てている。 本稿では,各トラックのタスク定義,データセット,ベースライン,評価設定について述べる。
  論文  参考訳（メタデータ） (2020-11-12T16:43:10Z)
• Probing Neural Dialog Models for Conversational Understanding [21.76744391202041]
  ニューラルオープンドメインダイアログシステムで学習した内部表現を解析する。 この結果から,標準のオープンドメインダイアログシステムでは解答が困難であることが示唆された。 また、ダイアログのダイアログ的ターンテイク性は、これらのモデルによって完全に活用されていないことも判明した。
  論文  参考訳（メタデータ） (2020-06-07T17:32:00Z)
• Recent Advances and Challenges in Task-oriented Dialog System [63.82055978899631]
  課題指向対話システムは、学術・産業社会でますます注目を集めている。 タスク指向ダイアログシステムにおける3つの重要なトピックについて論じる。(1)低リソース環境でのダイアログモデリングを容易にするデータ効率の改善、(2)ダイアログポリシー学習のためのマルチターンダイナミクスのモデリング、(3)ダイアログモデルへのドメイン知識の統合。
  論文  参考訳（メタデータ） (2020-03-17T01:34:56Z)
• Variational Hierarchical Dialog Autoencoder for Dialog State Tracking Data Augmentation [59.174903564894954]
  本研究では,この手法を,ゴール指向対話のための対話状態追跡タスクに拡張する。 目的指向ダイアログの完全な側面をモデル化するための変分階層型ダイアログオートエンコーダ(VHDA)を提案する。 各種ダイアログデータセットを用いた実験により、生成データ拡張による下流ダイアログトラッカーのロバスト性の向上が示された。
  論文  参考訳（メタデータ） (2020-01-23T15:34:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。