論文の概要: Analyzing Repetition and Interference Effects in Memory-Constrained User Simulators

• arxiv url: http://arxiv.org/abs/2610.24232v1
• Date: Fri, 16 Oct 2026 20:56:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-26 10:04:48.277748
• Title: Analyzing Repetition and Interference Effects in Memory-Constrained User Simulators
• Title（参考訳）: メモリ制約型ユーザシミュレータにおける繰り返しと干渉効果の解析
• Abstract要約: メモリ制限されたユーザシミュレータが、人間の情報保持に影響を与えることが知られている2つの要因に敏感であるかどうかを評価する。 いくつかのシミュレーターは人間のような全体的な精度を達成し、繰り返しや干渉効果の程度を再現するが、特定の質問に対する人々の正確さと一致しない。
• 参考スコア（独自算出の注目度）: 16.45079688550011
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: User simulators can help evaluate and train AI systems to interact with humans at scale. To do so, evaluation of user simulators must measure behavioral parity with people. We evaluate whether memory-constrained user simulators are sensitive to two factors known to affect human information retention: repetition of a fact and interference from competing information. We find that some simulators achieve human-like overall accuracy, and replicate the magnitude of repetition and interference effects, but none match people's accuracy on particular questions: while humans misremember facts, models forget them, leading to different error patterns. We release this data as a challenge benchmark for future work on user simulators.
• Abstract（参考訳）: ユーザーシミュレーターは、人間と大規模に対話するためにAIシステムを評価し、訓練するのに役立つ。 そのため、ユーザシミュレータの評価は、人との行動パリティを測定する必要がある。 記憶に制約のあるユーザシミュレータが、人間の情報保持に影響を与えることが知られている2つの要因に敏感であるかどうかを評価する。 いくつかのシミュレーターは人間のような全体的な精度を達成し、繰り返しや干渉効果の程度を再現するが、特定の質問に対する人々の正確さには一致しない。 我々はこのデータを,将来のユーザシミュレータ開発のための課題ベンチマークとしてリリースする。

関連論文リスト

• CUEing User Simulators: Calibrated User Embeddings for Multi-Turn Benchmarking [5.827387573634597]
  Calibrated User Embeddings (CUE)は、観察されたセッションをエンコードし、継続的な表現をサンプルし、それらをペルソナコマンドにデコードするフレームワークである。 2ドルのBenchでは、CUEdシミュレータは、シミュレータが分散したエラーが少なく、より忠実に実ユーザエージェントのエラーモードを再現する。 主にカスタマーサポートのインタラクションに適合した後、同じCUEdシミュレータはドキュメント作成、数学の学習、カジュアルな会話に一般化する。
  論文  参考訳（メタデータ） (2026-10-01T20:34:16Z)
• Quantifying the Utility of User Simulators for Building Collaborative LLM Assistants [7.523995265564992]
  下流ユーティリティの観点からシミュレータの品質を定量化する方法を示す。 我々は、シミュレータのスペクトルに対して強化学習によってLLMアシスタントを訓練する。 評価として,283名を対象にしたユーザスタディにおいて,ペアワイズ勝利率を測定した。
  論文  参考訳（メタデータ） (2026-05-10T23:06:24Z)
• Measuring and Mitigating the Distributional Gap Between Real and Simulated User Behaviors [61.610957638373826]
  本研究では,実際のユーザ行動とシミュレーションユーザ行動の分布ギャップを計測する手法を提案する。 実会話とシミュレーション会話のデータセットが与えられた場合,本手法は各会話からユーザ行動の表現を抽出する。 ほとんどのシミュレータも同様に振る舞うが、いくつかは独立している。
  論文  参考訳（メタデータ） (2026-05-08T15:09:25Z)
• SimulatorArena: Are User Simulators Reliable Proxies for Multi-Turn Evaluation of AI Assistants? [61.07963107032645]
  大規模言語モデル(LLM)は、対話型アプリケーションでますます使われている。 人間の評価は、マルチターン会話におけるパフォーマンスを評価するためのゴールドスタンダードのままである。 我々は、909の注釈付き人間とLLMの会話を2つの対話タスクで行うベンチマークであるSimulatorArenaを紹介した。
  論文  参考訳（メタデータ） (2025-10-06T23:17:44Z)
• User Behavior Simulation with Large Language Model based Agents [116.74368915420065]
  LLMベースのエージェントフレームワークを提案し,実際のユーザ動作をシミュレートするサンドボックス環境を設計する。 実験結果から,本手法のシミュレーション行動は実人の行動に非常に近いことが判明した。
  論文  参考訳（メタデータ） (2023-06-05T02:58:35Z)
• Metaphorical User Simulators for Evaluating Task-oriented Dialogue Systems [80.77917437785773]
  タスク指向対話システム(TDS)は、主にオフラインまたは人間による評価によって評価される。 本稿では,エンド・ツー・エンドのTDS評価のためのメタファ型ユーザシミュレータを提案する。 また,異なる機能を持つ対話システムなどの変種を生成するためのテスタベースの評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-02T05:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。