論文の概要: InterviewPlayground: A Validated Simulation Environment for Evaluating AI Interviewers

• arxiv url: http://arxiv.org/abs/2610.12023v2
• Date: Fri, 09 Oct 2026 12:49:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.207834
• Title: InterviewPlayground: A Validated Simulation Environment for Evaluating AI Interviewers
• Title（参考訳）: InterviewPlayground:AIインタビュアーを評価するための検証済みのシミュレーション環境
• Abstract要約: 社会理論を基礎としたシミュレーション研究の参加者を用いて,AIインタビュアーの評価を行うシミュレーション環境を開発する。 InterviewPlaygroundは、AIインタビュアーのパフォーマンスを評価するInterviewReportCardを生成する。 インタビュープレイグラウンドにおけるAIインタビュアーのパフォーマンスは、12項目の平均パーソン相関が0.86である人間の研究におけるパフォーマンスを予測する。
• 参考スコア（独自算出の注目度）: 9.472017573679068
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Increasingly, AI interviewers are being developed to elicit open-ended responses in applications like market research, public polling, preference elicitation, and social science research. However, evaluating AI interviewers is challenging because they function in extended, multi-turn interactions where they must adapt to participant behaviors. To address this need, we develop InterviewPlayground, a simulation environment for evaluating AI interviewers using simulated study participants whose behaviors are grounded in social theory. Simulated studies in InterviewPlayground produce an InterviewReportCard, which assesses the performance of AI interviewers using a suite of validated measures. To test whether our simulation-based evaluations predict performance with human participants, we conduct 15 real qualitative studies with five AI interviewers, three interview topics, and 450 human participants and compare them to simulated studies in InterviewPlayground. We find that AI interviewer performance in InterviewPlayground predicts performance in human studies with an average Pearson correlation of 0.86 across 12 measures, and the simulated interactions from InterviewPlayground reproduce key findings from behavioral analysis of AI interviewers in the human studies. Together, these findings support the validity of InterviewPlayground in assessing AI interviewer performance and examining potential failure modes. Our work contributes a simulation environment for AI interviewers supported with empirical validation, and more broadly, a roadmap for future work to develop validated, simulation-based evaluations of conversational AI systems.
• Abstract（参考訳）: AIインタビュアーは、市場調査、世論調査、嗜好の誘惑、社会科学研究などの応用において、オープンエンドの回答を引き出すために、ますます開発されている。 しかし、AIインタビュアーの評価は、参加者の行動に適応しなければならない、拡張されたマルチターンインタラクションで機能するため、難しい。 そこで我々は,AIインタビュアー評価のためのシミュレーション環境であるInterviewPlaygroundを開発した。 InterviewPlaygroundでのシミュレーション研究は、AIインタビュアーのパフォーマンスを評価するInterviewReportCardを作成する。 シミュレーションに基づく評価では,5人のAIインタビュアー,3人のインタビュートピック,450人の被験者を対象に,15人の質的研究を行い,それらをInterviewPlaygroundのシミュレーション研究と比較した。 インタビュープレイグラウンドにおけるAIインタビュアーのパフォーマンスは,12尺度間で平均パーソン相関が0.86であり,人間の研究におけるAIインタビュアーの行動分析から,インタビュアーのシミュレーションインタラクションが重要な結果を再現することがわかった。 これらの知見は、AIインタビュアーのパフォーマンスを評価し、潜在的な障害モードを調べる上で、InterviewPlaygroundの有効性を支持する。 我々の研究は、実証的検証をサポートするAIインタビュアーのためのシミュレーション環境に寄与し、より広範に、会話型AIシステムの検証、シミュレーションに基づく評価を開発するための今後の研究のロードマップを提供する。

関連論文リスト

• AI-assisted Script Management for Requirements Elicitation Interviews [0.4376619220604389]
  本稿では、ビジネス目標に根ざした理論誘導型スクリプト生成とトピックカバレッジトラッキングとオンデマンドフォローアップ質問生成のライブサポートを組み合わせたAI支援型推論ワークフローを提案する。 Elicitationのベストプラクティスから派生したルーリックに基づいて、AI生成スクリプトは、トレーニング専用のスクリプトよりも高いスコアを得る。
  論文  参考訳（メタデータ） (2026-08-03T03:22:37Z)
• SparkMe: Adaptive Semi-Structured Interviewing for Qualitative Insight Discovery [55.50580661343875]
  本稿では,対話のロールアウトをシミュレートして検討計画を実行するマルチエージェントインタビュアーSparkMeを紹介する。 LLMベースの面接者による制御実験を通じてSparkMeを評価し,より高い面接性を実現することを示す。 7つの専門職の70人の参加者が、AIが専門職に与える影響について、SparkMeをユーザスタディで検証しています。
  論文  参考訳（メタデータ） (2026-02-24T17:33:02Z)
• Modular AI-Powered Interviewer with Dynamic Question Generation and Expertise Profiling [0.7349727826230863]
  本研究では、文脈的に適切で専門性に整合した質問を動的に生成するAIを利用したインタビュアーを提案する。 インタビュアーは、データプライバシを保持しながらコヒーレントな対話を生成する、ローカルにホストされた大規模言語モデル(LLM)上に構築されている。 提案されたインタビュアーは、スケーラブルでプライバシを重視したソリューションで、AIによる定性的データ収集を前進させる。
  論文  参考訳（メタデータ） (2025-11-21T18:25:26Z)
• SimulatorArena: Are User Simulators Reliable Proxies for Multi-Turn Evaluation of AI Assistants? [61.07963107032645]
  大規模言語モデル(LLM)は、対話型アプリケーションでますます使われている。 人間の評価は、マルチターン会話におけるパフォーマンスを評価するためのゴールドスタンダードのままである。 我々は、909の注釈付き人間とLLMの会話を2つの対話タスクで行うベンチマークであるSimulatorArenaを紹介した。
  論文  参考訳（メタデータ） (2025-10-06T23:17:44Z)
• MimiTalk: Revolutionizing Qualitative Research with Dual-Agent AI [1.8219577154655007]
  我々は、社会科学研究におけるスケーラブルで倫理的な会話データ収集のために設計された、二重エージェントの立憲AIフレームワークであるMimiTalkを紹介する。 研究1では,20名の被験者によるユーザビリティの評価を行い,研究2では121名のAIインタビューをメディアサムデータセットからの1271名の人間インタビューと比較した。 その結果,MimiTalkはインタビューの不安を軽減し,会話のコヒーレンスを維持し,情報豊かさ,コヒーレンス,安定性において人間のインタビューを上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-09-27T16:02:50Z)
• YuLan-OneSim: Towards the Next Generation of Social Simulator with Large Language Models [50.35333054932747]
  本稿では,YuLan-OneSimというソーシャルシミュレータを紹介する。 ユーザは、シミュレータとの自然言語インタラクションを通じて、シミュレーションシナリオを記述し、洗練することができます。 我々は、経済学、社会学、政治、心理学、組織、人口統計学、法律、コミュニケーションを含む8つの領域にまたがる50のデフォルトシミュレーションシナリオを実装した。
  論文  参考訳（メタデータ） (2025-05-12T14:05:17Z)
• AI Conversational Interviewing: Transforming Surveys with LLMs as Adaptive Interviewers [40.80290002598963]
  本研究では,人間のインタビュアーを大規模言語モデル (LLM) に置き換えて,スケーラブルな対話型インタビュアーを実現する可能性について検討する。 大学生を対象に,AIやヒューマンインタビュアーによる会話面接にランダムに割り当てられた,小規模かつ詳細な調査を行った。 様々な量的・質的な尺度は, インタビュアーのガイドライン, 応答品質, 参加者参加率, 総合的な面接効果に順応した。
  論文  参考訳（メタデータ） (2024-09-16T16:03:08Z)
• "GAN I hire you?" -- A System for Personalized Virtual Job Interview Training [49.201250723083]
  本研究では,GAN(Generative Adversarial Network)に基づく対話型面接訓練システムを開発した。 その結果,GANをベースとした行動フィードバックが有用であることが示唆された。
  論文  参考訳（メタデータ） (2022-06-08T13:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。