論文の概要: PlatoLM: Teaching LLMs in Multi-Round Dialogue via a User Simulator

• arxiv url: http://arxiv.org/abs/2308.11534v5
• Date: Mon, 27 May 2024 16:32:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 12:08:44.366452
• Title: PlatoLM: Teaching LLMs in Multi-Round Dialogue via a User Simulator
• Title（参考訳）: PlatoLM:ユーザシミュレータによる多言語対話におけるLLM教育
• Authors: Chuyi Kong, Yaxin Fan, Xiang Wan, Feng Jiang, Benyou Wang,
• Abstract要約: 本研究では,人間の行動をより良くシミュレートするパラダイムを提案し,マルチターン会話に人間的な質問を組み込むことのメリットを探求する。 具体的には、真の人間と機械の会話から抽出した人間の質問を学習目標とし、ソクラティックと呼ばれる新しいユーザシミュレータを提供する。 MT-Bench における LLaMA ベースの 7B モデル間でのSoTA 性能について検討した。
• 参考スコア（独自算出の注目度）: 39.40718009289621
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The unparalleled performance of closed-sourced ChatGPT has sparked efforts towards its democratization, with notable strides made by leveraging real user and ChatGPT dialogues, as evidenced by Vicuna. However, due to challenges in gathering dialogues involving human participation, current endeavors like Baize and UltraChat rely on ChatGPT conducting roleplay to simulate humans based on instructions, resulting in overdependence on seeds, diminished human-likeness, limited topic diversity, and an absence of genuine multi-round conversational dynamics. To address the above issues, we propose a paradigm to simulate human behavior better and explore the benefits of incorporating more human-like questions in multi-turn conversations. Specifically, we directly target human questions extracted from genuine human-machine conversations as a learning goal and provide a novel user simulator called `Socratic'. The experimental results show our response model, `PlatoLM', achieves SoTA performance among LLaMA-based 7B models in MT-Bench. Our findings further demonstrate that our method introduces highly human-like questioning patterns and rich topic structures, which can teach the response model better than previous works in multi-round conversations.
• Abstract（参考訳）: クローズドソースのChatGPTのパフォーマンスは、Vicunaが証明したように、実際のユーザとChatGPTの対話を活用することで、その民主化への努力を喚起している。 しかし、人間の参加に関わる対話を集める上での課題により、現在のBaizeやUltraChatのような取り組みは、指示に基づいて人間をシミュレートするChatGPTに頼っている。 上記の課題に対処するため、我々は、人間の行動をより良くシミュレートするパラダイムを提案し、マルチターン会話に、より人間らしい質問を組み込むことの利点を探求する。 具体的には、実際の人間と機械の会話から抽出した人間の質問を直接学習目標とし、「ソクラティック」と呼ばれる新しいユーザシミュレータを提供する。 実験結果から, MT-Bench における LLaMA ベース 7B モデル間での PlatoLM' のSoTA 性能が得られた。 さらに,本手法は,従来のマルチラウンド会話よりも優れた応答モデルを学習できるような,人間的な質問パターンやリッチな話題構造を導入していることを示す。

関連論文リスト

• LLM Roleplay: Simulating Human-Chatbot Interaction [52.03241266241294]
  LLM-Roleplayは、人間とチャットボットの相互作用をシミュレートする多様なマルチターン対話を自動的に生成する、目標指向のペルソナベースの手法である。 我々は、異なる社会デマログラフグループから自然な人間-チャットボット対話を収集し、実際の人間-チャットボット対話と生成された対話を比較し、人間の評価を行う。
  論文  参考訳（メタデータ） (2024-07-04T14:49:46Z)
• Designing and Evaluating Multi-Chatbot Interface for Human-AI Communication: Preliminary Findings from a Persuasion Task [1.360607903399872]
  本研究では, 特定の説得環境におけるマルチチャットボットコミュニケーションの効果について検討した。 マルチチャットボット通信が可能なオンライン環境を開発し,パイロット実験を行った。 本稿では,マルチチャットボットインタフェースの開発プロセスとパイロット実験による予備的な結果について述べる。
  論文  参考訳（メタデータ） (2024-06-28T04:33:41Z)
• ChatGPT Role-play Dataset: Analysis of User Motives and Model Naturalness [4.564433526993029]
  本研究は,ChatGPTの会話における動作を,通常とロールプレイの両方で分析することにより,異なる環境での会話においてどのように振る舞うかを検討する。 本研究は,ChatGPTと対話する際のユーザのモチベーションの多様性を強調し,人間とAIの自然な会話の微妙なダイナミクスだけでなく,人間とAIのコミュニケーションの有効性向上のための新たな手段を提供する。
  論文  参考訳（メタデータ） (2024-03-26T22:01:13Z)
• BotChat: Evaluating LLMs' Capabilities of Having Multi-Turn Dialogues [72.65163468440434]
  本報告では,人間型マルチターンチャットのための既存大規模言語モデルの予備的評価を行う。 そこで我々は,ChatSEEDに基づくマルチターン対話を発話によって生成する大規模言語モデル(LLM)を提案する。 GPT-4は優れた品質の人型多元対話を生成できるが、その性能は著しく上回っている。
  論文  参考訳（メタデータ） (2023-10-20T16:53:51Z)
• SMILE: Single-turn to Multi-turn Inclusive Language Expansion via ChatGPT for Mental Health Support [28.370263099251638]
  SMILEは、ChatGPTが公開のシングルターン対話をマルチターン言語に書き換えるよう促すマルチターン包括的言語拡張技術である。 我々は55,165の対話からなる大規模で多種多様な高品質な対話データセットSmileChatを作成し、対話毎に平均10.4回転する。 SmileChatの全体的な品質を評価するために,82のカウンセリング対話からなる実生活チャットデータセットをモデル評価のために収集した。
  論文  参考訳（メタデータ） (2023-04-30T11:26:10Z)
• TikTalk: A Video-Based Dialogue Dataset for Multi-Modal Chitchat in Real World [97.58623810402563]
  我々はTikTalkと呼ばれるビデオベースのマルチモーダル対話データセットを導入する。 人気ビデオ共有プラットフォームから38Kのビデオを収集し、その下のユーザーから367Kの会話を投稿した。 ユーザーはビデオのマルチモーダルな体験に基づいて自発的な会話をし、現実世界のchitchatコンテキストを再現する。
  論文  参考訳（メタデータ） (2023-01-14T10:18:22Z)
• Learning to Listen: Modeling Non-Deterministic Dyadic Facial Motion [89.01668641930206]
  本稿では,対話における対話コミュニケーションをモデル化するための枠組みを提案する。 我々は、対応するリスナー動作の複数の可能性を自動回帰的に出力する。 本手法は,非言語的ダイアド相互作用の多モーダルおよび非決定論的性質を有機的に捕捉する。
  論文  参考訳（メタデータ） (2022-04-18T17:58:04Z)
• Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn Chatbot Responding with Intention [55.77218465471519]
  本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。 我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。 本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
  論文  参考訳（メタデータ） (2021-03-30T15:24:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。