論文の概要: SimInter: Evidence-Grounded User Simulation with Interview-Based Profile Enrichment for Conversational Recommender Systems
- arxiv url: http://arxiv.org/abs/2610.18308v1
- Date: Tue, 13 Oct 2026 12:52:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.614829
- Title: SimInter: Evidence-Grounded User Simulation with Interview-Based Profile Enrichment for Conversational Recommender Systems
- Title(参考訳): SimInter:対話型レコメンダシステムのためのインタビューベースプロファイル強化によるエビデンスを考慮したユーザシミュレーション
- Abstract要約: Conversational Recommender Systems (CRS) は費用対効果評価のために信頼性の高いユーザシミュレータを必要とする。
提案するSimInterは,2つのエージェント間の合成インタビューによって属性を抽出するパイプラインである。
我々は300人のReDialユーザをシミュレートし、100人のユーザと一致したサブセットで、SimInterと統計のみのベースラインを比較した。
- 参考スコア(独自算出の注目度): 1.2318802337789416
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Conversational Recommender Systems (CRSs) require reliable user simulators for cost-effective evaluation. LLM-based simulators have made realistic simulation possible but typically condition on profiles derived from explicit ratings, demographics, and static sources capturing surface preferences while omitting implicit behavioral characteristics such as decision-making style, aspect-level preferences, and domain expertise. We propose SimInter, a pipeline that elicits these attributes via synthetic interviews between two LLM agents, grounded in the user's statistical profile and historical conversational evidence. Before profile enrichment, an audit agent explicitly flags potential fabrication and stereotyping at the turn level. We instantiate and evaluate SimInter on movie recommendation. We simulate 300 ReDial users and, on a matched subset of 100 users, compare SimInter with a statistics-only baseline: SimInter significantly increases the diversity of expressed preference aspects (filtered aspect entropy: 1.619 vs. 0.859; paired d = 0.96, Holm-adjusted p < 0.001). This gain persists when the simulator converses with two trained recommenders, KBRD and UniCRS, under two independent evaluation judges (+0.28 to +0.56 nats; all p < 0.001). Human evaluation finds 94.3% of enriched-attribute claims supported or partially supported, while human judgments agree with 95.2% of the auditor's binary filtering decisions on a stratified sample.
- Abstract(参考訳): Conversational Recommender Systems (CRS) は費用対効果評価のために信頼性の高いユーザシミュレータを必要とする。
LLMベースのシミュレータは、現実的なシミュレーションを可能にするが、通常、表面的嗜好を捉える明示的な評価、人口統計、静的ソースから派生したプロファイルに条件を定め、意思決定スタイル、アスペクトレベルの嗜好、ドメインの専門性といった暗黙的な行動特性を省略する。
ユーザの統計的プロファイルと過去の会話的証拠に基づいて,2つのLLMエージェント間の合成インタビューを通じてこれらの属性を抽出するパイプラインSimInterを提案する。
プロファイルの強化の前に、監査エージェントは、ターンレベルで潜在的作成とステレオタイピングを明示的にフラグ付けする。
映画レコメンデーションにおけるSimInterのインスタンス化と評価を行う。
我々は300人のReDialユーザをシミュレートし、100人の一致したサブセットにおいて、SimInterと統計のみのベースラインを比較した。 SimInterは、表現された嗜好面の多様性を著しく増大させます(フィルタリングアスペクトエントロピー:1.619 vs. 0.859;ペアd = 0.96, Holm-adjusted p < 0.001)。
この利得は、シミュレータがKBRDとUniCRSの2つの独立した評価審査員(+0.28から+0.56ナット、全てp < 0.001)の下で訓練された推奨者と会話する場合に持続する。
人間の評価では、富裕な属性の主張の94.3%が支持され、部分的に支持されている一方、人間による判断は、成層試料上での監査人の2次フィルタリング決定の95.2%と一致している。
関連論文リスト
- RealUserSim: Bridging the Reality Gap in Agent Benchmarking via Grounded User Simulation [43.758401022409465]
RealUserSimは、実際の行動データに基づく最初のユーザーシミュレーションフレームワークである。
14,000以上の人間とLLMの会話(WildChat)から、7,275の行動プロファイルを抽出する。
71以上のドメインをまたいだ600の会話に対する信頼度ベンチマーク(PT3)は、基底シミュレーションが一致率を24.2%から45.3%に引き上げていることを示している。
論文 参考訳(メタデータ) (2026-04-07T19:42:36Z) - Mind the Sim2Real Gap in User Simulation for Agentic Tasks [101.69142591891234]
ユーザシミュレーションにおけるSim2Realのギャップを形式化し、実際の人間に対して$$$-benchプロトコルを実行する最初の研究を示す。
LLMシミュレータは過度に協調的であり、スタイリスティックに均一であり、現実的なフラストレーションや曖昧さを欠いている。
これらの知見は, LLMベースのユーザシミュレータをエージェント開発サイクルで使用する際の人間による検証の重要性を強調した。
論文 参考訳(メタデータ) (2026-03-11T19:12:31Z) - SimulatorArena: Are User Simulators Reliable Proxies for Multi-Turn Evaluation of AI Assistants? [61.07963107032645]
大規模言語モデル(LLM)は、対話型アプリケーションでますます使われている。
人間の評価は、マルチターン会話におけるパフォーマンスを評価するためのゴールドスタンダードのままである。
我々は、909の注釈付き人間とLLMの会話を2つの対話タスクで行うベンチマークであるSimulatorArenaを紹介した。
論文 参考訳(メタデータ) (2025-10-06T23:17:44Z) - Know You First and Be You Better: Modeling Human-Like User Simulators via Implicit Profiles [37.43150003866563]
我々は,人間と機械のインタラクションから暗黙のユーザプロファイルを推論し,パーソナライズされたリアルな対話をシミュレートする,インプリシットプロファイル付きユーザシミュレータ(USP)を紹介する。
USPは、同等の一貫性を維持しながら、信頼性と多様性の点で、強力なベースラインを上回ります。
論文 参考訳(メタデータ) (2025-02-26T09:26:54Z) - Metaphorical User Simulators for Evaluating Task-oriented Dialogue
Systems [80.77917437785773]
タスク指向対話システム(TDS)は、主にオフラインまたは人間による評価によって評価される。
本稿では,エンド・ツー・エンドのTDS評価のためのメタファ型ユーザシミュレータを提案する。
また,異なる機能を持つ対話システムなどの変種を生成するためのテスタベースの評価フレームワークを提案する。
論文 参考訳(メタデータ) (2022-04-02T05:11:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。