論文の概要: PersonaForge: Realistic Multi-Turn User Simulation for Agentic Systems
- arxiv url: http://arxiv.org/abs/2608.28378v1
- Date: Fri, 28 Aug 2026 14:33:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.353115
- Title: PersonaForge: Realistic Multi-Turn User Simulation for Agentic Systems
- Title（参考訳）: PersonaForge:エージェントシステムのための現実的なマルチターンユーザシミュレーション
- Abstract要約: 我々は,現実的なマルチターンユーザ-エージェントインタラクションを合成するユーザシミュレーションフレームワークであるtextbfPersonaForgeを紹介した。
PersonaForgeを使って、6.3Kレコードのトレーニングデータセットと、手動で注釈付き138タスクベンチマークである textbfPersonaForge-Benchを構築します。
実験の結果、PersonaForgeのトレーニングでは、合成スコアが+4.1%向上し、4次元すべてで利得が得られた。
- 参考スコア（独自算出の注目度）: 53.65117408512214
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models are increasingly used as agentic workflow executors, yet existing training data and benchmarks largely assume informationally complete, single-turn queries. Our analysis of 16K real-world sessions shows that 75.9% of interactions are multi-turn, revealing a substantial gap between how users interact with agents and how such systems are trained and evaluated. We introduce \textbf{PersonaForge}, a user simulation framework for synthesizing realistic multi-turn user--agent interactions. PersonaForge combines a four-dimensional persona space, SOUL-driven behavioral control calibrated to real-user statistics, and Reverse Deep Construction grounded in authentic seed queries. Using PersonaForge, we construct a 6.3K-record training dataset and \textbf{PersonaForge-Bench}, a manually annotated 138-task benchmark spanning over 20 professional domains with four-dimensional scoring. Experiments on Qwen3.5-27B show that PersonaForge training improves the composite score by +4.1%, with gains across all four dimensions and the largest improvements in Task Completion (+6.0%) and Response Quality (+6.8%). Further analyses show that PersonaForge-trained agents use fewer turns and tool calls, suggesting improved interaction efficiency, while ablations confirm the contribution of SOUL components and adaptive simulation. Together, PersonaForge and PersonaForge-Bench establish a foundation for training and evaluating agents under realistic multi-turn user interaction.
- Abstract（参考訳）: 大規模言語モデルはエージェントワークフローの実行元としてますます使われていますが、既存のトレーニングデータとベンチマークは、情報的に完全なシングルターンクエリを前提としています。
16Kの実世界のセッションを分析してみると、75.9%のインタラクションがマルチターンであり、ユーザがエージェントと対話する方法と、そのようなシステムがどのようにトレーニングされ、評価されるかの間に大きなギャップがあることが分かる。
本稿では,現実的なマルチターンユーザ-エージェントインタラクションを合成するユーザシミュレーションフレームワークである \textbf{PersonaForge} を紹介する。
PersonaForgeは4次元のペルソナ空間と、実際のユーザ統計に調整されたSOUL駆動の行動制御と、真正なシードクエリに基づくリバース・ディープ・コンストラクションを組み合わせたものだ。
PersonaForgeを使って、6.3Kレコードのトレーニングデータセットと、手動で注釈付き138タスクのベンチマークである‘textbf{PersonaForge-Bench} を構築し、4次元のスコアリングで20以上の専門ドメインにまたがる。
Qwen3.5-27Bの実験では、PersonaForgeのトレーニングでは、合成スコアが+4.1%向上し、全4次元で向上し、タスク完了(+6.0%)とレスポンス品質(+6.8%)が最大の改善となった。
さらに分析した結果,PersonaForgeで訓練したエージェントはターンやツールコールを減らし,インタラクション効率の向上を示唆する一方,AblationsはSOULコンポーネントの寄与と適応シミュレーションを確認している。
PersonaForgeとPersonaForge-Benchは共に、現実的なマルチターンユーザーインタラクションの下でエージェントをトレーニングし評価するための基盤を確立している。
関連論文リスト
- A Three-Tier Persona Vector for Controllable User Simulation in Agentic Evaluation [0.9918136378822991]
23の操作次元を持つ3層ペルソナベクトルを提案する。
我々は64,698件の会話で合成データ生成パイプライン内のペルソナモデルを評価する。
論文 参考訳（メタデータ） (2026-09-08T11:28:02Z) - Efficient Test-Time Adaptation through Human-AI Interaction [112.5131603022122]
我々は,ヒト-エージェント間相互作用(TAHI)によるテスト時間適応を提案する。
エージェントを2つの高ユーティリティドメイン(書き込みと視覚的創造)の30人に適応させ、合計600のタスクをこなします。
エージェントは10タスク以内の単独作業の成功率を4.5-20.9%向上させる。
論文 参考訳（メタデータ） (2026-09-03T17:33:18Z) - OdysSim: Building Foundation Models for Human Behavior Simulation [70.35265860287608]
大規模言語モデルは、対話的評価と社会シミュレーションのための人間のシミュレータとして、ますます多くデプロイされている。
しかし、有益性駆動のポストトレーニングは、それらを同質で過度に同意できるアシスタントレジスタへと引き寄せる。
OdysSimは行動基礎モデルに関する最大のオープン・システマティック・リサーチである。
論文 参考訳（メタデータ） (2026-06-12T07:31:55Z) - EgoBench: An Interactive Egocentric Multimodal Benchmark for Tool-Using Agents [17.727481701114556]
ツール使用エージェントのための対話型マルチモーダルベンチマークであるEgoBenchを紹介する。
我々は3段階の相乗的パイプラインを実装し、各タスクは視覚知覚とツール強化マルチホップ推論の併用を強制的に行うように設計されている。
また,エージェントのインタラクション能力を評価するために,EgoBench内のマルチエージェントシミュレーションユーザを開発した。
論文 参考訳（メタデータ） (2026-05-27T01:28:15Z) - One Battle After Another: Probing LLMs' Limits on Multi-Turn Instruction Following with a Benchmark Evolving Framework [51.50565654314582]
大規模言語モデルは、複数のトピックにまたがる対話を通して、ユーザの指示に従うことができる。
既存のベンチマークは、しばしば一定回数のターンに制限されるため、飽和の影響を受けにくく、ユーザのインタラクティブなエクスペリエンスを考慮できない。
マルチターン命令追従能力を評価するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2025-11-05T14:39:59Z) - One Model to Critique Them All: Rewarding Agentic Tool-Use via Efficient Reasoning [54.580646706013965]
リワードモデル(RM)は、大きな言語モデルと人間の嗜好の整合において重要な役割を果たす。
一般的なツール使用シナリオに適した軽量な生成型RMのファミリーであるToolRMを紹介する。
これらのモデルを構築するために,ルールベースのスコアリングと多次元サンプリングを用いたペアワイズ選好データを構築するパイプラインを提案する。
論文 参考訳（メタデータ） (2025-10-30T06:08:27Z) - PersonaX: A Recommendation Agent Oriented User Modeling Framework for Long Behavior Sequence [8.557534799079956]
PersonaX はエージェントに依存しない LLM-UM フレームワークであり、これらの課題に対処する。
より優れたレコメンデーションパフォーマンスと推論効率を達成するために、下流のレコメンデーションエージェントを拡張する。
論文 参考訳（メタデータ） (2025-03-04T08:41:40Z) - Know You First and Be You Better: Modeling Human-Like User Simulators via Implicit Profiles [37.43150003866563]
我々は,人間と機械のインタラクションから暗黙のユーザプロファイルを推論し,パーソナライズされたリアルな対話をシミュレートする,インプリシットプロファイル付きユーザシミュレータ(USP)を紹介する。
USPは、同等の一貫性を維持しながら、信頼性と多様性の点で、強力なベースラインを上回ります。
論文 参考訳（メタデータ） (2025-02-26T09:26:54Z) - Simulating User Agents for Embodied Conversational-AI [9.402740034754455]
我々は,エンボディエージェントとのインタラクション中にユーザ動作をシミュレート可能な,LLMベースのユーザエージェントを構築した。
シミュレーション対話をTEAChデータセットと比較することにより,ユーザエージェントの人間的行動生成能力を評価する。
論文 参考訳（メタデータ） (2024-10-31T00:56:08Z) - Tool-Augmented Reward Modeling [58.381678612409]
本稿では,外部環境へのアクセスによるRMの強化により,制約に対処するツール拡張された嗜好モデリング手法であるThemisを提案する。
我々の研究は、外部ツールをRMに統合し、様々な外部ソースとの相互作用を可能にすることを目的としている。
人間の評価では、テミスで訓練されたRLHFはベースラインと比較して平均32%の勝利率を得る。
論文 参考訳（メタデータ） (2023-10-02T09:47:40Z) - MUG: Interactive Multimodal Grounding on User Interfaces [12.035123646959669]
本稿では,ユーザとエージェントがインタフェース画面上で協調作業を行うマルチモーダルグラウンドのための対話型タスクMUGを提案する。
ユーザがコマンドを与え、エージェントがコマンドに応答する。MUGはエージェントの応答を見る際に、エージェントがそのアクションを洗練または修正するための追加コマンドを与えるように、複数のラウンドのインタラクションを可能にする。
論文 参考訳（メタデータ） (2022-09-29T21:08:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。