論文の概要: SocialDial: A Benchmark for Socially-Aware Dialogue Systems

• arxiv url: http://arxiv.org/abs/2304.12026v1
• Date: Mon, 24 Apr 2023 11:55:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 15:02:46.766883
• Title: SocialDial: A Benchmark for Socially-Aware Dialogue Systems
• Title（参考訳）: SocialDial: ソーシャルな対話システムのためのベンチマーク
• Authors: Haolan Zhan and Zhuang Li and Yufei Wang and Linhao Luo and Tao Feng and Xiaoxi Kang and Yuncheng Hua and Lizhen Qu and Lay-Ki Soon and Suraj Sharma and Ingrid Zukerman and Zhaleh Semnani-Azad and Gholamreza Haffari
• Abstract要約: 中国社会文化を基盤とした初の社会認識対話コーパス「SocialDial」を提示する。 SocialDialは2つの部分から構成される:2人の話者間の1,563のマルチターン対話と、ChatGPTによって生成された4,870の合成会話である。 人間のコーパスには5つの社会的規範があり、合計で14のサブカテゴリがある。
• 参考スコア（独自算出の注目度）: 45.3266270265532
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dialogue systems have been widely applied in many scenarios and are now more powerful and ubiquitous than ever before. With large neural models and massive available data, current dialogue systems have access to more knowledge than any people in their life. However, current dialogue systems still do not perform at a human level. One major gap between conversational agents and humans lies in their abilities to be aware of social norms. The development of socially-aware dialogue systems is impeded due to the lack of resources. In this paper, we present the first socially-aware dialogue corpus - SocialDial, based on Chinese social culture. SocialDial consists of two parts: 1,563 multi-turn dialogues between two human speakers with fine-grained labels, and 4,870 synthetic conversations generated by ChatGPT. The human corpus covers five categories of social norms, which have 14 sub-categories in total. Specifically, it contains social factor annotations including social relation, context, social distance, and social norms. However, collecting sufficient socially-aware dialogues is costly. Thus, we harness the power of ChatGPT and devise an ontology-based synthetic data generation framework. This framework is able to generate synthetic data at scale. To ensure the quality of synthetic dialogues, we design several mechanisms for quality control during data collection. Finally, we evaluate our dataset using several pre-trained models, such as BERT and RoBERTa. Comprehensive empirical results based on state-of-the-art neural models demonstrate that modeling of social norms for dialogue systems is a promising research direction. To the best of our knowledge, SocialDial is the first socially-aware dialogue dataset that covers multiple social factors and has fine-grained labels.
• Abstract（参考訳）: 対話システムは様々なシナリオで広く適用されており、現在ではこれまで以上に強力でユビキタスである。 大規模なニューラルモデルと膨大なデータによって、現在の対話システムは、人生で誰よりも多くの知識にアクセスできる。 しかし、現在の対話システムは人間レベルでは機能しない。 会話エージェントと人間の間の大きなギャップの1つは、社会的規範を認識する能力にある。 社会的に認識された対話システムの開発は資源不足により妨げられている。 本稿では,中国社会文化に基づく最初の社会認識対話コーパスであるsocialdialを提案する。 SocialDialは2つの部分から構成される:2人の話者間の1,563のマルチターン対話と、ChatGPTによって生成された4,870の合成会話である。 人間のコーパスには5つの社会的規範があり、合計14のサブカテゴリがある。 具体的には、社会的関係、文脈、社会的距離、社会的規範を含む社会的要因のアノテーションを含む。 しかし、十分な社会的な対話の収集には費用がかかる。 そこで我々はchatgptのパワーを活用し,オントロジベースの合成データ生成フレームワークを考案する。 このフレームワークは大規模に合成データを生成することができる。 合成対話の品質を確保するために,データ収集中の品質制御機構をいくつか設計する。 最後に,BERTやRoBERTaなどの事前学習モデルを用いて,データセットの評価を行った。 最先端のニューラルモデルに基づく包括的実証結果は、対話システムのための社会規範のモデリングが有望な研究方向であることを示している。 私たちの知る限りでは、socialdialは、複数の社会的要因をカバーし、きめ細かいラベルを持つ、社会的に認識された最初の対話データセットです。

関連論文リスト

• Social Orientation: A New Feature for Dialogue Analysis [15.192659799728181]
  ソーシャル指向タグをラベル付けした対話音声のデータセットを新たに導入する。 ソーシャル・オリエンテーション・タグは特に低リソース環境においてタスク・パフォーマンスを向上させることを示す。 また、ニューラルモデルにおける社会的相互作用の結果を説明する上で、ソーシャルオリエンテーションタグがどのように役立つかを実証する。
  論文  参考訳（メタデータ） (2024-02-26T01:55:45Z)
• SOTOPIA: Interactive Evaluation for Social Intelligence in Language Agents [107.4138224020773]
  人工エージェントと人間との複雑な社会的相互作用をシミュレートするオープンエンド環境であるSOTOPIAを提案する。 エージェントは、複雑な社会的目標を達成するために協調し、協力し、交換し、互いに競い合う。 GPT-4は,人間よりも目標達成率が著しく低く,社会的常識的推論や戦略的コミュニケーション能力の発揮に苦慮していることがわかった。
  論文  参考訳（メタデータ） (2023-10-18T02:27:01Z)
• PLACES: Prompting Language Models for Social Conversation Synthesis [103.94325597273316]
  我々は、プロンプトを用いてソーシャルな会話データセットを合成するために、専門家による会話の小さなセットをコンテキスト内例として使用します。 人工会話の徹底的な評価を,人間による会話と比較して行った。
  論文  参考訳（メタデータ） (2023-02-07T05:48:16Z)
• SODA: Million-scale Dialogue Distillation with Social Commonsense Contextualization [129.1927527781751]
  初となる,100万規模の社会対話データセットであるSODAを提示する。 知識グラフから社会的コモンセンス知識を文脈化することにより、社会的相互作用の非常に幅広いスペクトルを蒸留することができる。 人間による評価は、SODAにおける会話は、以前の人間によるデータセットよりも一貫性があり、特異であり、そして(当然のことながら)自然であることを示している。
  論文  参考訳（メタデータ） (2022-12-20T17:38:47Z)
• ProsocialDialog: A Prosocial Backbone for Conversational Agents [104.92776607564583]
  ProsocialDialogは、対話エージェントに社会規範に従って問題コンテンツに応答するように教える最初の大規模対話データセットである。 ProsocialDialogは、人間とAIのコラボレーションフレームワークで作られ、58Kの対話と331Kの発話、160KのRoT、および497Kの対話安全ラベルで構成されている。 本データセットでは,対話型安全性検出モジュールであるCanaryを導入し,会話コンテキストを指定したRoTを生成するとともに,社会的にインフォームドされた対話エージェントであるProstを導入する。
  論文  参考訳（メタデータ） (2022-05-25T11:48:47Z)
• A Review of Dialogue Systems: From Trained Monkeys to Stochastic Parrots [0.0]
  人工知能をデプロイして、人間と会話できる自動対話エージェントを構築することを目指している。 本稿では,長年にわたって対話システムを構築するために開発された手法について概説する。
  論文  参考訳（メタデータ） (2021-11-02T08:07:55Z)
• SocialAI: Benchmarking Socio-Cognitive Abilities in Deep Reinforcement Learning Agents [23.719833581321033]
  人間との社会的相互作用に参加することができる、具体化された自律エージェントを構築することは、AIの主要な課題の1つだ。 人間レベルのAIを目指すためには、より広範な社会的スキルが必要である、と私たちは主張する。 DRLエージェントの社会的スキル獲得を評価するためのベンチマークであるSocialAIを提案する。
  論文  参考訳（メタデータ） (2021-07-02T10:39:18Z)
• Can You be More Social? Injecting Politeness and Positivity into Task-Oriented Conversational Agents [60.27066549589362]
  人間エージェントが使用する社会言語は、ユーザーの応答性の向上とタスク完了に関連しています。 このモデルは、ソーシャル言語理解要素で拡張されたシーケンスからシーケンスまでのディープラーニングアーキテクチャを使用する。 人的判断と自動言語尺度の両方を用いたコンテンツ保存と社会言語レベルの評価は,エージェントがより社会的に適切な方法でユーザの問題に対処できる応答を生成できることを示している。
  論文  参考訳（メタデータ） (2020-12-29T08:22:48Z)
• Building A User-Centric and Content-Driven Socialbot [2.072266782237039]
  我々は,ソーシャルボット会話用に設計した対話戦略を収容できるシステムアーキテクチャを開発した。 このアーキテクチャは、ユーザ発話を分析するための多次元言語理解モジュールで構成されている。 様々な情報源からソーシャルチャットコンテンツを収集し,ソーシャルボットを支える新しい知識基盤を構築した。
  論文  参考訳（メタデータ） (2020-05-06T07:11:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。