論文の概要: Automatic Evaluation and Moderation of Open-domain Dialogue Systems

• arxiv url: http://arxiv.org/abs/2111.02110v1
• Date: Wed, 3 Nov 2021 10:08:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-11-04 19:41:02.292032
• Title: Automatic Evaluation and Moderation of Open-domain Dialogue Systems
• Title（参考訳）: オープンドメイン対話システムの自動評価とモデレーション
• Authors: Zhang Chen and Jo\~ao Sadoc and Luis Fernando D'Haro and Rafael Banchs and Alexander Rudnicky
• Abstract要約: 研究者が悩む長きにわたる課題は、効果的な自動評価指標の欠如である。 本稿では, 対話システム技術チャレンジ10(DSTC10)におけるトラック5で得られたデータ, ベースライン, 結果について述べる。
• 参考スコア（独自算出の注目度）: 59.305712262126264
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, dialogue systems have attracted significant interests in both academia and industry. Especially the discipline of open-domain dialogue systems, aka chatbots, has gained great momentum. Yet, a long standing challenge that bothers the researchers is the lack of effective automatic evaluation metrics, which results in significant impediment in the current research. Common practice in assessing the performance of open-domain dialogue models involves extensive human evaluation on the final deployed models, which is both time- and cost- intensive. Moreover, a recent trend in building open-domain chatbots involve pre-training dialogue models with a large amount of social media conversation data. However, the information contained in the social media conversations may be offensive and inappropriate. Indiscriminate usage of such data can result in insensitive and toxic generative models. This paper describes the data, baselines and results obtained for the Track 5 at the Dialogue System Technology Challenge 10 (DSTC10).
• Abstract（参考訳）: 近年、対話システムは学界と産業の両方で大きな関心を集めている。 特にオープンドメイン対話システムの分野であるチャットボットは大きな勢いを増している。 しかし、研究者を悩ませる長年の課題は、効果的な自動評価指標の欠如であり、現在の研究に重大な障害をもたらす。 オープンドメインの対話モデルの性能を評価する一般的なプラクティスは、時間とコストの両方が集中する最終デプロイモデルに対する広範囲な人間による評価である。 さらに,近年のオープンドメインチャットボット構築の傾向は,大量のソーシャルメディア会話データを用いた対話モデルの事前学習を伴っている。 しかし、ソーシャルメディアの会話に含まれる情報は不快で不適切かもしれない。 このようなデータの無差別使用は、非感受性で有毒な生成モデルをもたらす可能性がある。 本稿では,対話システム技術チャレンジ10(DSTC10)において,トラック5で得られたデータ,ベースライン,結果について述べる。

関連論文リスト

• Data Augmentation for Conversational AI [17.48107304359591]
  データ拡張(DA)は、会話システムにおけるデータ不足問題を軽減するための感情的なアプローチである。 このチュートリアルは、会話システムのコンテキストにおけるDAアプローチの包括的で最新の概要を提供する。
  論文  参考訳（メタデータ） (2023-09-09T09:56:35Z)
• Overview of Robust and Multilingual Automatic Evaluation Metrics for Open-Domain Dialogue Systems at DSTC 11 Track 4 [51.142614461563184]
  第11回対話システム技術チャレンジ(DSTC11)のこのトラックは、堅牢で多言語による自動評価のメトリクスを促進するために進行中の取り組みの一部である。 本稿では、参加者に提供するデータセットとベースラインについて述べ、提案した2つのサブタスクの提出と結果の詳細について論じる。
  論文  参考訳（メタデータ） (2023-06-22T10:50:23Z)
• GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
  ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。 GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。 評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
  論文  参考訳（メタデータ） (2022-06-22T18:19:32Z)
• Building a Role Specified Open-Domain Dialogue System Leveraging Large-Scale Language Models [15.062014096238803]
  本研究では,オープンドメイン対話システムにおける役割を示唆する課題について検討する。 スクラッチからロール充足型対話データセットを構築するための効率的なデータ収集フレームワークを提案する。 当社のモデルでは,一般的なメトリクス上での競合的なパフォーマンスを維持しながら,アウトオブバウンド(out-of-bound)な発話をほとんど返さない。
  論文  参考訳（メタデータ） (2022-04-30T06:23:06Z)
• EVA2.0: Investigating Open-Domain Chinese Dialogue Systems with Large-Scale Pre-Training [73.98154158068134]
  EVA2.0は280億のパラメータを持つ大規模な事前訓練された中国の対話モデルである。 提案するEVA2.0は,280億のパラメータを持つ,大規模で事前訓練されたオープンドメインの中国語対話モデルである。
  論文  参考訳（メタデータ） (2022-03-17T13:33:17Z)
• A Review of Dialogue Systems: From Trained Monkeys to Stochastic Parrots [0.0]
  人工知能をデプロイして、人間と会話できる自動対話エージェントを構築することを目指している。 本稿では,長年にわたって対話システムを構築するために開発された手法について概説する。
  論文  参考訳（メタデータ） (2021-11-02T08:07:55Z)
• Dialogue Distillation: Open-Domain Dialogue Augmentation Using Unpaired Data [61.71319905364992]
  未ペアデータを利用したオープンドメイン対話モデルのトレーニングのための新しいデータ拡張手法を提案する。 データレベルの蒸留プロセスが最初に提案され、未確認データからポストとレスポンスの両方を検索する拡張ダイアログを構築する。 低品質の対話をフィルタリングするためにランキングモジュールが使用される。 モデルレベルの蒸留プロセスを用いて、高品質なペアデータに基づいて訓練された教師モデルを、強化された対話ペアに蒸留する。
  論文  参考訳（メタデータ） (2020-09-20T13:06:38Z)
• Learning an Unreferenced Metric for Online Dialogue Evaluation [53.38078951628143]
  本稿では,大規模な事前学習言語モデルを用いて発話の潜在表現を抽出する非参照自動評価指標を提案する。 提案手法は,オンライン環境でのアノテーションと高い相関性を実現すると同時に,推論時に比較に真の応答を必要としないことを示す。
  論文  参考訳（メタデータ） (2020-05-01T20:01:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。