論文の概要: LLM Roleplay: Simulating Human-Chatbot Interaction

• arxiv url: http://arxiv.org/abs/2407.03974v1
• Date: Thu, 4 Jul 2024 14:49:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 17:33:44.128792
• Title: LLM Roleplay: Simulating Human-Chatbot Interaction
• Title（参考訳）: LLMロールプレイ:人間-チャットボットインタラクションのシミュレーション
• Authors: Hovhannes Tamoyan, Hendrik Schuff, Iryna Gurevych,
• Abstract要約: LLM-Roleplayは、人間とチャットボットの相互作用をシミュレートする多様なマルチターン対話を自動的に生成する、目標指向のペルソナベースの手法である。 我々は、異なる社会デマログラフグループから自然な人間-チャットボット対話を収集し、実際の人間-チャットボット対話と生成された対話を比較し、人間の評価を行う。
• 参考スコア（独自算出の注目度）: 52.03241266241294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The development of chatbots requires collecting a large number of human-chatbot dialogues to reflect the breadth of users' sociodemographic backgrounds and conversational goals. However, the resource requirements to conduct the respective user studies can be prohibitively high and often only allow for a narrow analysis of specific dialogue goals and participant demographics. In this paper, we propose LLM-Roleplay: a goal-oriented, persona-based method to automatically generate diverse multi-turn dialogues simulating human-chatbot interaction. LLM-Roleplay can be applied to generate dialogues with any type of chatbot and uses large language models (LLMs) to play the role of textually described personas. To validate our method we collect natural human-chatbot dialogues from different sociodemographic groups and conduct a human evaluation to compare real human-chatbot dialogues with our generated dialogues. We compare the abilities of state-of-the-art LLMs in embodying personas and holding a conversation and find that our method can simulate human-chatbot dialogues with a high indistinguishability rate.
• Abstract（参考訳）: チャットボットの開発には、ユーザの社会的な背景と会話目標の広さを反映するために、多数の人間とチャットボットの対話を収集する必要がある。 しかし、各ユーザスタディを実施するためのリソース要件は違法に高くなり、特定の対話目標と参加者人口層を狭く分析することしかできないことが多い。 本稿では,人間とチャットボットのインタラクションをシミュレートした多ターン対話を自動生成する,目標指向のペルソナに基づくLLM-Roleplayを提案する。 LLM-Roleplayは、あらゆる種類のチャットボットと対話し、大きな言語モデル(LLM)を使用してテキストで記述されたペルソナの役割を果たす。 提案手法を検証するため,異なる社会デマログラフ群から自然な人間-チャットボット対話を収集し,実際の人間-チャットボット対話と生成された対話との比較を行う。 我々は,ペルソナを具現化して会話を行う上での最先端のLLMの能力を比較し,人間のチャットボット対話を高い識別可能性でシミュレートできることを見出した。

関連論文リスト

• DiverseDialogue: A Methodology for Designing Chatbots with Human-Like Diversity [5.388338680646657]
  また, GPT-4o miniは, 複数の言語的特徴にまたがって, 実際の人間と系統的に異なることを示す。 本研究では,実際の人的インタラクションから派生した特徴を取り入れたユーザシミュレーションのプロンプトを自動生成する手法を提案する。 本手法は,特定の言語的特徴を対象とするように最適化され,大幅な改善が見られた。
  論文  参考訳（メタデータ） (2024-08-30T21:33:58Z)
• Self-Directed Turing Test for Large Language Models [56.64615470513102]
  チューリングテストは、自然言語の会話においてAIが人間のような振る舞いを示すことができるかどうかを調べる。 従来のチューリングテストでは、各参加者が1回に1つのメッセージだけを送信する厳格な対話形式を採用している。 本稿では,バーストダイアログ形式を用いた自己指示チューリングテストを提案する。
  論文  参考訳（メタデータ） (2024-08-19T09:57:28Z)
• Ain't Misbehavin' -- Using LLMs to Generate Expressive Robot Behavior in Conversations with the Tabletop Robot Haru [9.2526849536751]
  本稿では,大規模言語モデル(LLM)を利用して,表現行動を伴うロボット応答を生成する,完全自動会話システムを提案する。 提案したシステムを用いて,ボランティアが社会ロボットとチャットし,そのフィードバックを分析し,チャットテキストの厳密な誤り解析を行う。 最も否定的なフィードバックは、会話に限られた影響を及ぼす自動音声認識(ASR)エラーによるものだった。
  論文  参考訳（メタデータ） (2024-02-18T12:35:52Z)
• Zero-Shot Goal-Directed Dialogue via RL on Imagined Conversations [70.7884839812069]
  大規模言語モデル(LLM)は、多くの自然言語タスクに対する強力で一般的な解決策として登場した。 しかしながら、言語生成の最も重要なアプリケーションの多くは対話的であり、エージェントは望ましい結果に達するために相手と話し合わなければならない。 本研究では,そのような目標指向対話に対して,RLでLLMを適応させる新しい手法について検討する。
  論文  参考訳（メタデータ） (2023-11-09T18:45:16Z)
• BotChat: Evaluating LLMs' Capabilities of Having Multi-Turn Dialogues [72.65163468440434]
  本報告では,人間型マルチターンチャットのための既存大規模言語モデルの予備的評価を行う。 そこで我々は,ChatSEEDに基づくマルチターン対話を発話によって生成する大規模言語モデル(LLM)を提案する。 GPT-4は優れた品質の人型多元対話を生成できるが、その性能は著しく上回っている。
  論文  参考訳（メタデータ） (2023-10-20T16:53:51Z)
• PlatoLM: Teaching LLMs in Multi-Round Dialogue via a User Simulator [39.40718009289621]
  本研究では,人間の行動をより良くシミュレートするパラダイムを提案し,マルチターン会話に人間的な質問を組み込むことのメリットを探求する。 具体的には、真の人間と機械の会話から抽出した人間の質問を学習目標とし、ソクラティックと呼ばれる新しいユーザシミュレータを提供する。 MT-Bench における LLaMA ベースの 7B モデル間でのSoTA 性能について検討した。
  論文  参考訳（メタデータ） (2023-08-21T06:51:56Z)
• CHAI: A CHatbot AI for Task-Oriented Dialogue with Offline Reinforcement Learning [85.3987745097806]
  オフライン強化学習は、人間の話者から収集された静的データセットを使用して、対話エージェントをトレーニングするために使用することができる。 実験により,最近開発されたオフラインRL手法と言語モデルを組み合わせることで,現実的な対話エージェントが得られることが示された。
  論文  参考訳（メタデータ） (2022-04-18T17:43:21Z)
• Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn Chatbot Responding with Intention [55.77218465471519]
  本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。 我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。 本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
  論文  参考訳（メタデータ） (2021-03-30T15:24:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。