論文の概要: Simulating User Diversity in Task-Oriented Dialogue Systems using Large Language Models

• arxiv url: http://arxiv.org/abs/2502.12813v1
• Date: Tue, 18 Feb 2025 12:20:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:02:50.783031
• Title: Simulating User Diversity in Task-Oriented Dialogue Systems using Large Language Models
• Title（参考訳）: 大規模言語モデルを用いたタスク指向対話システムにおけるユーザ多様性のシミュレーション
• Authors: Adnan Ahmad, Stefan Hillmann, Sebastian Möller,
• Abstract要約: 我々は、ユーザプロファイルの不均一なベースを生成するために、2つのプロプライエタリなLarge Language Model(LLM)を採用している。 これらのシミュレーションに固有の多様性,一貫性,潜在的なバイアスを評価するために,LLMが生成したユーザプロファイルを詳細に解析する。 GPT-o1は、多くのユーザ属性に対してより異質なユーザ分布を生成するのに対し、GPT-4oはより歪んだユーザ属性を生成する。
• 参考スコア（独自算出の注目度）: 11.708400514900053
• License:
• Abstract: In this study, we explore the application of Large Language Models (LLMs) for generating synthetic users and simulating user conversations with a task-oriented dialogue system and present detailed results and their analysis. We propose a comprehensive novel approach to user simulation technique that uses LLMs to create diverse user profiles, set goals, engage in multi-turn dialogues, and evaluate the conversation success. We employ two proprietary LLMs, namely GPT-4o and GPT-o1 (Achiam et al., 2023), to generate a heterogeneous base of user profiles, characterized by varied demographics, multiple user goals, different conversational styles, initial knowledge levels, interests, and conversational objectives. We perform a detailed analysis of the user profiles generated by LLMs to assess the diversity, consistency, and potential biases inherent in these LLM-generated user simulations. We find that GPT-o1 generates more heterogeneous user distribution across most user attributes, while GPT-4o generates more skewed user attributes. The generated set of user profiles are then utilized to simulate dialogue sessions by interacting with a task-oriented dialogue system.
• Abstract（参考訳）: 本研究では,大規模言語モデル(LLM)を用いて,タスク指向対話システムを用いたユーザ会話をシミュレーションし,詳細な結果とその分析を行う。 本稿では,LLMを用いて多様なユーザプロファイルを作成し,目標を設定し,マルチターン対話を行い,会話の成功を評価する,ユーザシミュレーション手法に関する包括的アプローチを提案する。 GPT-4o と GPT-o1 (Achiam et al , 2023) という2つのプロプライエタリな LLM を用いて, 多様な人口動態, 複数のユーザ目標, 異なる会話スタイル, 初期知識レベル, 関心, 会話目的を特徴とする, ユーザプロファイルの不均一なベースを生成する。 LLMが生成したユーザプロファイルの詳細な分析を行い、これらのLCM生成ユーザシミュレーションに固有の多様性、一貫性、潜在的なバイアスを評価する。 GPT-o1は、多くのユーザ属性間でより異質なユーザ分布を生成するのに対し、GPT-4oはより歪んだユーザ属性を生成する。 次に、生成されたユーザプロファイルのセットを使用して、タスク指向の対話システムと対話することで対話セッションをシミュレートする。

関連論文リスト

• Multi-trait User Simulation with Adaptive Decoding for Conversational Task Assistants [11.092533523906834]
  本稿では,デコード時に多様なユーザプロファイルを生成する手法であるMulti-Trait Adaptive Decoding (mTAD)を提案する。 Conversational Task Assistantドメインから現実世界の対話を解析することにより、重要な対話特性を識別する。 我々は、会話の多様性を高めるプロファイル認識対話を生成するフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-10-16T09:40:34Z)
• Aligning LLMs with Individual Preferences via Interaction [51.72200436159636]
  調整可能な大きな言語モデル(LLM)をトレーニングします。 木構造における3K以上の多ターン会話を含む多ターン嗜好データセットを開発した。 評価のために、慎重に選択された100のサンプルと、会話中にカスタマイズされたアライメント性能を測定するために適切に設計されたメトリクスからなるALOEベンチマークを確立する。
  論文  参考訳（メタデータ） (2024-10-04T17:48:29Z)
• LLMs + Persona-Plug = Personalized LLMs [41.60364110693824]
  パーソナライゼーションは多くの言語タスクやアプリケーションにおいて重要な役割を担っている。 これにより、大きな言語モデル(LLM)を適用して、ユーザの好みに合わせてカスタマイズされたアウトプットを生成する、さまざまなパーソナライズされたアプローチが開発された。 そこで我々は,LLMモデルを提案する。軽量なプラグインユーザ埋め込みモジュールを用いて,過去の状況をすべてモデル化し,個人毎のユーザ固有の埋め込みを構築する。
  論文  参考訳（メタデータ） (2024-09-18T11:54:45Z)
• SimulBench: Evaluating Language Models with Creative Simulation Tasks [20.233111652638637]
  我々は,大規模言語モデル(LLM)を評価するためのベンチマークであるSimulBenchを紹介した。 大きな課題は、ユーザとAI間のシミュレーションタスクのマルチラウンドインタラクティブな性質を保ちながら、異なるLLMを公平にテストするための評価フレームワークを開発することである。
  論文  参考訳（メタデータ） (2024-09-11T21:53:20Z)
• DuetSim: Building User Simulator with Dual Large Language Models for Task-Oriented Dialogues [7.765092134290888]
  本稿では,大規模言語モデルを活用することで,タスク指向対話の複雑な要求に対処する新しいフレームワークであるDuetSimを紹介する。 DuetSim は2つの LLM をタンデムで採用することで従来の手法とは異なっている。 提案手法の有効性を,MultiWOZデータセットを用いた広範囲な実験により検証し,応答品質と正しさの向上を強調した。
  論文  参考訳（メタデータ） (2024-05-16T06:24:31Z)
• Doing Personal LAPS: LLM-Augmented Dialogue Construction for Personalized Multi-Session Conversational Search [9.243535345193711]
  提案手法は,大規模言語モデルを用いて,個人化された対話を生成するために,一人の人間労働者を誘導する。 LAPSは大規模、人書き、マルチセッション、マルチドメインの会話を収集できる。 その結果,抽出された嗜好を用いて明示的に生成した応答は,ユーザの実際の嗜好と一致していることがわかった。
  論文  参考訳（メタデータ） (2024-05-06T13:53:03Z)
• DialCLIP: Empowering CLIP as Multi-Modal Dialog Retriever [83.33209603041013]
  マルチモーダルダイアログ検索のためのパラメータ効率の高いプロンプトチューニング手法であるDialCLIPを提案する。 提案手法では,事前学習された視覚言語モデルCLIP内のプロンプトに抽出された文脈特徴を学習するためのマルチモーダルコンテキスト生成手法を提案する。 様々なタイプの検索を容易にするために,CLIP出力からマルチモーダル表現空間へのマッピングを学習するために,複数の専門家を設計する。
  論文  参考訳（メタデータ） (2024-01-02T07:40:12Z)
• Interpreting User Requests in the Context of Natural Language Standing Instructions [89.12540932734476]
  我々は17のドメインにまたがる2.4K以上の対話からなる言語とプログラムのデータセットであるNLSIを開発した。 NLSIの鍵となる課題は、ある対話に適用可能なスタンディング命令のサブセットを特定することである。
  論文  参考訳（メタデータ） (2023-11-16T11:19:26Z)
• Multi-User MultiWOZ: Task-Oriented Dialogues among Multiple Users [51.34484827552774]
  マルチユーザMulti-User MultiWOZデータセットを2つのユーザと1つのエージェント間のタスク指向対話としてリリースする。 これらの対話は、タスク指向のシナリオにおける協調的な意思決定の興味深いダイナミクスを反映している。 本稿では,複数ユーザ間のタスク指向のチャットを簡潔なタスク指向のクエリとして書き換える,マルチユーザコンテキストクエリ書き換えの新しいタスクを提案する。
  論文  参考訳（メタデータ） (2023-10-31T14:12:07Z)
• Dialogue History Matters! Personalized Response Selectionin Multi-turn Retrieval-based Chatbots [62.295373408415365]
  本稿では,コンテキスト応答マッチングのためのパーソナライズドハイブリッドマッチングネットワーク(phmn)を提案する。 1) ユーザ固有の対話履歴からパーソナライズされた発話行動を付加的なマッチング情報として抽出する。 ユーザ識別による2つの大規模データセット,すなわちパーソナライズされた対話 Corpus Ubuntu (P-Ubuntu) とパーソナライズされたWeiboデータセット (P-Weibo) のモデルを評価する。
  論文  参考訳（メタデータ） (2021-03-17T09:42:11Z)
• Multi-Agent Task-Oriented Dialog Policy Learning with Role-Aware Reward Decomposition [64.06167416127386]
  本稿では,システムとユーザの両方をダイアログエージェントとみなすマルチエージェントダイアログポリシー学習を提案する。 2人のエージェントが互いに相互作用し、同時に一緒に学習されます。 その結果,本手法がシステムポリシとユーザポリシを同時に構築できることが示唆された。
  論文  参考訳（メタデータ） (2020-04-08T04:51:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。