論文の概要: Profile-Driven User Simulation via Reinforcement Learning with Hierarchical Rewards for Task-Oriented Dialogues

• arxiv url: http://arxiv.org/abs/2610.32435v1
• Date: Fri, 23 Oct 2026 10:01:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.488799
• Title: Profile-Driven User Simulation via Reinforcement Learning with Hierarchical Rewards for Task-Oriented Dialogues
• Title（参考訳）: タスク指向対話のための階層的リワードを用いた強化学習によるプロファイル駆動型ユーザシミュレーション
• Abstract要約: ProfileSimは、ファイナンシャルマーケティングアウトバウンドコールのためのプロファイル駆動のユーザーシミュレーションフレームワークである。 口語的自然度が最も高く、ユーザプロファイルの定着度が最も高く、長い尾の意図に対するエージェントスコアが最も低い。 生成された対話データは、意図認識トレーニング、エージェント評価、迅速なコールドスタート展開をサポートするように設計されている。
• 参考スコア（独自算出の注目度）: 3.2363627136313187
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Building Task-Oriented Dialogue (TOD) systems for high-value scenarios such as financial marketing requires large volumes of domain-specific dialogue data, which privacy regulations, annotation costs, and the need for expert labor make hard to obtain. User simulation offers a remedy, but existing methods target general-domain dialogue and exhibit two key limitations: insufficient modeling of domain-specific business processes and compliance constraints, and inadequate capture of the colloquial, spoken-language character of voice interactions. We propose ProfileSim, a profile-driven user simulation framework for financial marketing outbound calls. It jointly models user profiles---demographics and Big Five personality traits---and business profiles---intents reverse-engineered from real call logs---enabling fine-grained control over simulated behavior. The base model is fine-tuned on real voice dialogue data and refined by Group Relative Policy Optimization (GRPO) with hierarchical rewards at the dialogue and utterance levels. Paired with a customer service agent integrating Standard Operating Procedure (SOP) constraints and Retrieval-Augmented Generation (RAG), ProfileSim achieves the highest colloquial naturalness, the strongest user profile adherence and the lowest agent score on long-tail intents among all evaluated user generators, while producing substantially shorter user utterances at comparable business compliance. The generated dialogue data is designed to support intent recognition training, agent evaluation, and rapid cold-start deployment.
• Abstract（参考訳）: 金融マーケティングのような高価値シナリオのためのタスク指向対話(TOD)システムを構築するには、プライバシ規制やアノテーションコスト、専門家の労働力の必要性といったドメイン固有の対話データが多く必要となる。 ユーザシミュレーションは、改善を提供するが、既存の手法は汎用ドメイン対話をターゲットとし、ドメイン固有のビジネスプロセスの不十分なモデリングとコンプライアンス制約と、音声対話の口語的・話し言葉的特性の不十分なキャプチャの2つの重要な制限を示す。 ファイナンシャル・マーケティング・アウトバウンド・コールのためのプロファイル駆動型ユーザ・シミュレーション・フレームワークであるProfileSimを提案する。 ユーザプロファイル-デコグラフィーとビッグファイブのパーソナリティ特性-およびビジネスプロファイル--実際のコールログからリバースエンジニアリングされたインテント--シミュレートされた振る舞いに対するきめ細かい制御を誘発する。 ベースモデルは、実際の音声対話データに基づいて微調整され、グループ相対ポリシー最適化(GRPO)によって洗練され、対話レベルと発話レベルにおいて階層的な報酬が与えられる。 Standard Operating Procedure(SOP)制約とRetrieval-Augmented Generation(RAG)を統合したカスタマーサービスエージェントによって、ProfileSimは、すべての評価されたユーザジェネレータの中で、最高の口語自然性、最強のユーザプロファイルアテンデンス、最低のエージェントスコアを達成すると同時に、同等のビジネスコンプライアンスで実質的に短いユーザ発話を生成する。 生成された対話データは、意図認識トレーニング、エージェント評価、迅速なコールドスタート展開をサポートするように設計されている。

関連論文リスト

• From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents [56.187590188698955]
  大規模言語モデルは、ますます有能な自律エージェントを可能にしてきたが、そのようなエージェントを実用的に有効にするためには、パーソナライズが不可欠である。 最近のベンチマークではエージェントのパーソナライゼーションの評価が始まっているが、それらは主に静的な選好スナップショット、固定されたインタラクションログ、あるいは事前に定義されたユーザプロファイルに対する質問応答に依存している。 縦断的相互作用履歴から構築した暗黙的行動アライメントのベンチマークであるIBA-Benchを紹介する。 IBA-Agentは、広範囲な検索と軌道レベルのアライメントを通じて競合する優先順位を調整するエージェントフレームワークである。
  論文  参考訳（メタデータ） (2026-08-03T12:52:04Z)
• SalesSim: Benchmarking and Aligning Multimodal Language Models as Retail User Simulators [63.68151307455963]
  本稿では,マルチモーダル大規模言語モデル(MLLM)の現実的,ペルソナ主導の顧客行動のシミュレート能力を評価するためのフレームワークとテストベッドであるSalesSimを紹介する。 我々は,シミュレータの動作とペルソナ仕様との整合性,および会話品質を測定する。 実験により,UserGRPOは,会話品質を改善しつつ,ベースラインモデルの整合性を13.8%向上させることを示した。
  論文  参考訳（メタデータ） (2026-05-08T17:59:23Z)
• Synthetic Interaction Data for Scalable Personalization in Large Language Models [67.31884245564086]
  本稿ではPersonaGymという高忠実な合成データ生成フレームワークを紹介する。 パーソナライゼーションを静的なペルソナ-参照ペアとして扱う以前の作業とは異なり、PersonaGymは動的な選好プロセスをモデル化する。 我々は,高忠実度マルチターンパーソナライズされたインタラクショントラジェクトリの大規模かつ高品質で多様な合成データセットであるPersonaAtlasをリリースする。
  論文  参考訳（メタデータ） (2026-02-12T20:41:22Z)
• Towards Personalized Conversational Sales Agents: Contextual User Profiling for Strategic Action [12.637812936971049]
  本稿では,一貫した会話の枠組みの中で,嗜好の誘惑,推薦,説得を統合する新しいタスクである会話販売(CSALES)について紹介する。 また,文脈的ユーザプロファイルを積極的に推測し,会話を通じて戦略的に行動を選択する対話販売エージェントであるCSIを提案する。
  論文  参考訳（メタデータ） (2025-03-28T15:49:52Z)
• Know You First and Be You Better: Modeling Human-Like User Simulators via Implicit Profiles [37.43150003866563]
  我々は,人間と機械のインタラクションから暗黙のユーザプロファイルを推論し,パーソナライズされたリアルな対話をシミュレートする,インプリシットプロファイル付きユーザシミュレータ(USP)を紹介する。 USPは、同等の一貫性を維持しながら、信頼性と多様性の点で、強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2025-02-26T09:26:54Z)
• ChatSOP: An SOP-Guided MCTS Planning Framework for Controllable LLM Dialogue Agents [52.7201882529976]
  対話エージェントの制御性を高めるため,SOP誘導モンテカルロ木探索(MCTS)計画フレームワークを提案する。 これを実現するために、GPT-4oを用いた半自動ロールプレイシステムを用いて、SOPアノテーション付きマルチシナリオ対話からなるデータセットをキュレートする。 また、SOP予測のための教師付き微調整と思考の連鎖推論を統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T12:23:02Z)
• Leveraging Explicit Procedural Instructions for Data-Efficient Action Prediction [5.448684866061922]
  タスク指向の対話は、しばしばエージェントがユーザ要求を満たすために複雑で多段階の手順を実行する必要がある。 大規模言語モデルは、制約のある環境でこれらの対話を自動化することに成功したが、その広範な展開は、トレーニングに必要なタスク固有の大量のデータによって制限されている。 本稿では,エージェントガイドラインから導出した明示的な指示を利用して対話システムを構築するための,データ効率のよいソリューションを提案する。
  論文  参考訳（メタデータ） (2023-06-06T18:42:08Z)
• GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
  ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。 GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。 評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
  論文  参考訳（メタデータ） (2022-06-22T18:19:32Z)
• Action-Based Conversations Dataset: A Corpus for Building More In-Depth Task-Oriented Dialogue Systems [47.45333978381135]
  55の異なるユーザインテントを含む10K以上の人間と人間の対話を持つAction-Based Conversationsデータセットを紹介します。 アクションステートトラッキングとカスケーディングダイアログサクセスという2つの追加のダイアログタスクを提案し、一連のベースラインを確立します。 実験の結果、より洗練されたネットワークはより単純なモデルよりも優れているが、abcdの人間レベルの性能に到達するためのかなりのギャップ(絶対精度50.8%)が存在することが示されている。
  論文  参考訳（メタデータ） (2021-04-01T22:04:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。