論文の概要: Learning User Simulators with Turing Rewards

• arxiv url: http://arxiv.org/abs/2606.19336v1
• Date: Wed, 17 Jun 2026 17:58:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:51.305154
• Title: Learning User Simulators with Turing Rewards
• Title（参考訳）: チューリングリワードを用いたユーザシミュレータの学習
• Authors: Yingshan Susan Wang, Cedegao E. Zhang, Linlu Qiu, Zexue He, Pengyuan Li, Alex Pentland, Roger P. Levy, Yoon Kim,
• Abstract要約: 対話的な環境でのユーザをシミュレートする学習は、エージェントアシスタントのトレーニング、パーソナライズシステムの評価などを促進する可能性がある。 本研究では,ユーザシミュレータモデルをトレーニングするためのチューリングテストに基づく強化学習手法であるチューリング-RLを提案する。
• 参考スコア（独自算出の注目度）: 32.70383881352914
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Learning to simulate human users in interactive settings could advance the training of agent assistants, evaluation of personalization systems, research in the social sciences, and more. Existing approaches generally do so by training a large language model (LLM) to match a single ground truth response, either by maximizing the log probability or by using a similarity reward. We instead propose {Turing-RL}: a Turing-Test-based reinforcement learning approach for training user simulator models. {Turing-RL} uses a discriminative Turing reward with an LLM judge to score how indistinguishable a generated response is from the real user's given the user's history, and the user simulator LLM learns to produce responses indistinguishable from what the user could have said with such rewards. Across two different domains--conversational chat and Reddit forum discussion--we find that {Turing-RL} consistently outperforms baseline methods on both LLM and human evaluation metrics. Our study suggests that optimizing for indistinguishability, rather than response matching, is effective for learning user simulators.
• Abstract（参考訳）: 対話的な環境でのユーザをシミュレートする学習は、エージェントアシスタントの訓練、パーソナライズシステムの評価、社会科学の研究などを進めることができる。 既存のアプローチは、ログ確率を最大化するか、類似性報酬を使用することで、単一の真実応答に対応するために、大きな言語モデル(LLM)をトレーニングすることで、一般的にそうする。 そこで本研究では,チューリングテストに基づく強化学習手法であるTuring-RLを提案する。 Turing-RL} は LLM の審査員と差別的なチューリング報酬を用いて、生成した応答が実際のユーザの履歴とどのように異なるかをスコアし、ユーザシミュレータ LLM は、ユーザがそのような報酬で言ったものと区別できない応答を生成することを学習する。 会話チャットとRedditフォーラムの議論という2つの異なる領域で, {Turing-RL} は LLM と人間評価の両指標のベースライン手法を一貫して上回っていることがわかった。 本研究は, ユーザシミュレータの学習において, 応答マッチングよりも不明瞭性を最適化することが有効であることが示唆された。

関連論文リスト

• Quantifying the Utility of User Simulators for Building Collaborative LLM Assistants [7.523995265564992]
  下流ユーティリティの観点からシミュレータの品質を定量化する方法を示す。 我々は、シミュレータのスペクトルに対して強化学習によってLLMアシスタントを訓練する。 評価として,283名を対象にしたユーザスタディにおいて,ペアワイズ勝利率を測定した。
  論文  参考訳（メタデータ） (2026-05-10T23:06:24Z)
• Measuring and Mitigating the Distributional Gap Between Real and Simulated User Behaviors [61.610957638373826]
  本研究では,実際のユーザ行動とシミュレーションユーザ行動の分布ギャップを計測する手法を提案する。 実会話とシミュレーション会話のデータセットが与えられた場合,本手法は各会話からユーザ行動の表現を抽出する。 ほとんどのシミュレータも同様に振る舞うが、いくつかは独立している。
  論文  参考訳（メタデータ） (2026-05-08T15:09:25Z)
• Mind the Sim2Real Gap in User Simulation for Agentic Tasks [101.69142591891234]
  ユーザシミュレーションにおけるSim2Realのギャップを形式化し、実際の人間に対して$$$-benchプロトコルを実行する最初の研究を示す。 LLMシミュレータは過度に協調的であり、スタイリスティックに均一であり、現実的なフラストレーションや曖昧さを欠いている。 これらの知見は, LLMベースのユーザシミュレータをエージェント開発サイクルで使用する際の人間による検証の重要性を強調した。
  論文  参考訳（メタデータ） (2026-03-11T19:12:31Z)
• Individual Turing Test: A Case Study of LLM-based Simulation Using Longitudinal Personal Data [54.145424717168794]
  大きな言語モデル(LLM)は、目覚ましい人間のような能力を示しているが、特定の個人を複製する能力は未発見のままである。 本稿では,10年以上にわたるプライベートメッセージ履歴のボランティア配信アーカイブを用いて,LSMに基づく個人シミュレーションのケーススタディを提案する。 本研究は,ボランティアの知人が,最も有望な多候補プール内の応答を正確に識別できるかどうかを評価するための「個別チューリングテスト」を提案する。
  論文  参考訳（メタデータ） (2026-03-01T21:46:27Z)
• HumanLM: Simulating Users with State Alignment Beats Response Imitation [84.89761487596844]
  本稿では,実際のユーザを正確に反映したユーザシミュレータを構築する新しいトレーニングフレームワークHumanLMを提案する。 HumanLMは、強化学習を通じて、地道的な応答に一致した自然言語の潜伏状態を生成する。 本研究では,公開データに基づく実ユーザシミュレーションのための総合的なベンチマークであるHumanualを開発する。
  論文  参考訳（メタデータ） (2026-02-07T20:26:28Z)
• SimulatorArena: Are User Simulators Reliable Proxies for Multi-Turn Evaluation of AI Assistants? [61.07963107032645]
  大規模言語モデル(LLM)は、対話型アプリケーションでますます使われている。 人間の評価は、マルチターン会話におけるパフォーマンスを評価するためのゴールドスタンダードのままである。 我々は、909の注釈付き人間とLLMの会話を2つの対話タスクで行うベンチマークであるSimulatorArenaを紹介した。
  論文  参考訳（メタデータ） (2025-10-06T23:17:44Z)
• How Reliable is Your Simulator? Analysis on the Limitations of Current LLM-based User Simulators for Conversational Recommendation [14.646529557978512]
  本稿では,対話型レコメンダシステムのためのユーザシミュレータ構築におけるLarge Language Modelsの使用制限について分析する。 会話履歴やユーザシミュレータの応答で発生するデータ漏洩は,評価結果を膨らませる結果となる。 そこで我々はSimpleUserSimを提案する。
  論文  参考訳（メタデータ） (2024-03-25T04:21:06Z)
• USimAgent: Large Language Models for Simulating Search Users [33.17004578463697]
  本稿では,大規模言語モデルに基づくユーザ検索行動シミュレータUSimAgentを紹介する。 シミュレータは、検索中のユーザのクエリ、クリック、動作の停止をシミュレートすることができる。 実ユーザ行動データセットに関する実証調査では、シミュレータがクエリ生成において既存のメソッドよりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-14T07:40:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。