論文の概要: How "open" are the conversations with open-domain chatbots? A proposal for Speech Event based evaluation

• arxiv url: http://arxiv.org/abs/2211.13560v1
• Date: Thu, 24 Nov 2022 12:23:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-28 16:09:54.634028
• Title: How "open" are the conversations with open-domain chatbots? A proposal for Speech Event based evaluation
• Title（参考訳）: オープン"とオープンドメインチャットボットの会話はどのようになっているか? 音声イベントに基づく評価の提案
• Authors: A. Seza Do\u{g}ru\"oz and Gabriel Skantze
• Abstract要約: オープンドメインチャットボットは、トピックやタスク、ドメインに制限されることなく、人間と自由に会話することが求められます。 我々は「開放性」の境界を明らかにするために2つの研究を行う。 現状のチャットボットには「オープンドメイン」ではなく「小さい会話」という用語が使われていますが、会話能力の面ではまだ「オープン」ではありません。
• 参考スコア（独自算出の注目度）: 1.9671123873378717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open-domain chatbots are supposed to converse freely with humans without being restricted to a topic, task or domain. However, the boundaries and/or contents of open-domain conversations are not clear. To clarify the boundaries of "openness", we conduct two studies: First, we classify the types of "speech events" encountered in a chatbot evaluation data set (i.e., Meena by Google) and find that these conversations mainly cover the "small talk" category and exclude the other speech event categories encountered in real life human-human communication. Second, we conduct a small-scale pilot study to generate online conversations covering a wider range of speech event categories between two humans vs. a human and a state-of-the-art chatbot (i.e., Blender by Facebook). A human evaluation of these generated conversations indicates a preference for human-human conversations, since the human-chatbot conversations lack coherence in most speech event categories. Based on these results, we suggest (a) using the term "small talk" instead of "open-domain" for the current chatbots which are not that "open" in terms of conversational abilities yet, and (b) revising the evaluation methods to test the chatbot conversations against other speech events.
• Abstract（参考訳）: オープンドメインチャットボットは、トピックやタスク、ドメインに制限されることなく、人間と自由に会話することが求められます。 しかし、オープンドメイン会話の境界や内容は明確ではない。 まず、チャットボット評価データセット(つまりgoogleによるミーナ)で遭遇する「音声イベント」のタイプを分類し、これらの会話が主に「小さな会話」のカテゴリをカバーし、現実の人間と人間のコミュニケーションで遭遇する他の音声イベントのカテゴリを除外した。 第2に,人間対人間と最先端のチャットボット(facebookによるブレンダー)の間で,幅広い音声イベントカテゴリをカバーするオンライン会話を生成するための,小規模のパイロット研究を実施している。 これらの会話の人間による評価は、人間とチャットボットの会話は、ほとんどの音声イベントカテゴリにおいてコヒーレンスを欠いているため、人間と人間の会話の好みを示している。 これらの結果に基づき,本研究が提案する。 (a)まだ会話能力の面では「オープン」ではない現在のチャットボットに対して「オープンドメイン」ではなく「小さなトーク」という用語を用いる。 b)他の音声イベントに対するチャットボットの会話をテストする評価方法の改訂。

関連論文リスト

• Let's Go Real Talk: Spoken Dialogue Model for Face-to-Face Conversation [55.043492250775294]
  本稿では,新しい対面音声対話モデルを提案する。 ユーザ入力から音声視覚音声を処理し、応答として音声視覚音声を生成する。 また,最初の大規模マルチモーダル音声対話コーパスであるMultiDialogを紹介する。
  論文  参考訳（メタデータ） (2024-06-12T04:48:36Z)
• From Human-to-Human to Human-to-Bot Conversations in Software Engineering [3.1747517745997014]
  AIとチャットボットの統合後,現代のソフトウェア開発において発生する会話のダイナミクスを理解することを目的としている。 既存の会話属性を人間やNLUベースのチャットボットとコンパイルし、ソフトウェア開発のコンテキストに適応する。 我々は人間同士の会話と人間同士の会話の類似点と相違点を示す。 LLM-chatbotsによる最近の会話スタイルは、人間との会話に取って代わるものではないと結論付けている。
  論文  参考訳（メタデータ） (2024-05-21T12:04:55Z)
• Understanding Multi-Turn Toxic Behaviors in Open-Domain Chatbots [8.763670548363443]
  新しい攻撃である毒物ボットは、多ターン会話において有毒な反応を生成するために開発された。 有害なボットは、産業と研究者の両方が会話における有害な反応を検出し緩和する方法を開発するために使用できる。
  論文  参考訳（メタデータ） (2023-07-14T03:58:42Z)
• Interactive Conversational Head Generation [68.76774230274076]
  対面会話における1つのインターロケータの振る舞いを合成するための新しい対話ヘッド生成ベンチマークを提案する。 長時間・複数回会話に参加可能なインターロカクタを自動的に合成する機能は不可欠であり、様々なアプリケーションにメリットを提供する。
  論文  参考訳（メタデータ） (2023-07-05T08:06:26Z)
• The Open-domain Paradox for Chatbots: Common Ground as the Basis for Human-like Dialogue [1.9671123873378717]
  オープンドメインチャットボットの開発への関心の高まりは、近年の大規模言語モデルの進歩によって引き起こされた。 対話のオープン性」は、想定される共同活動を含む、期待できる共通基盤についての最小限の情報を提供することによって最大化されることが期待される。 ユーザに対して"何でもチャットする"ように指示すると、非常に狭いダイアログとなり、"オープンドメインパラドックス"と呼ばれる。
  論文  参考訳（メタデータ） (2023-03-21T10:01:49Z)
• PLACES: Prompting Language Models for Social Conversation Synthesis [103.94325597273316]
  我々は、プロンプトを用いてソーシャルな会話データセットを合成するために、専門家による会話の小さなセットをコンテキスト内例として使用します。 人工会話の徹底的な評価を,人間による会話と比較して行った。
  論文  参考訳（メタデータ） (2023-02-07T05:48:16Z)
• Neural Generation Meets Real People: Building a Social, Informative Open-Domain Dialogue Agent [65.68144111226626]
  Chirpy Cardinalは、情報と会話の両方をねらっている。 ユーザーとボットの両方を交互に会話に駆り立てる。 Chirpy Cardinalは、Alexa Prize Socialbot Grand Challengeで9つのボットのうち2位にランクインした。
  論文  参考訳（メタデータ） (2022-07-25T09:57:23Z)
• Knowledge-Grounded Conversational Data Augmentation with Generative Conversational Networks [76.11480953550013]
  生成会話ネットワークを用いて会話データを自動的に生成する。 我々は、Topical Chatデータセット上で、知識のない会話に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-07-22T22:37:14Z)
• Addressing Inquiries about History: An Efficient and Practical Framework for Evaluating Open-domain Chatbot Consistency [28.255324166852535]
  整合性評価のためのAIH(Addressing Inquiries about History)フレームワークを提案する。 会話の段階では、AIHは対話履歴に関する適切な質問に対処し、チャットボットに歴史的な事実や意見を再宣言する。 矛盾認識段階では、人間の判断または自然言語推論(NLI)モデルを用いて、質問に対する回答が歴史と矛盾しているかどうかを認識することができる。
  論文  参考訳（メタデータ） (2021-06-04T03:04:13Z)
• Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn Chatbot Responding with Intention [55.77218465471519]
  本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。 我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。 本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
  論文  参考訳（メタデータ） (2021-03-30T15:24:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。