論文の概要: Telephone Surveys Meet Conversational AI: Evaluating a LLM-Based Telephone Survey System at Scale

• arxiv url: http://arxiv.org/abs/2502.20140v1
• Date: Thu, 27 Feb 2025 14:31:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:56:51.984012
• Title: Telephone Surveys Meet Conversational AI: Evaluating a LLM-Based Telephone Survey System at Scale
• Title（参考訳）: 会話型AIと電話調査:LLMベースの電話サーベイシステムを大規模に評価する
• Authors: Max M. Lang, Sol Eskenazi,
• Abstract要約: 本研究では,テキスト音声(TTS),大言語モデル(LLM),音声音声(STT)を統合したAIによる電話調査システムを提案する。 米国におけるパイロットスタディ (n = 75) とペルーにおける大規模展開 (n = 2,739) の2つの集団でテストを行った。 以上の結果から,AIシステムの質的深度探索は人間のインタビュアーよりも限定的であったが,全体的なデータ品質は構造化項目の人間主導の基準に近づいた。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Telephone surveys remain a valuable tool for gathering insights but typically require substantial resources in training and coordinating human interviewers. This work presents an AI-driven telephone survey system integrating text-to-speech (TTS), a large language model (LLM), and speech-to-text (STT) that mimics the versatility of human-led interviews on scale. We tested the system across two populations, a pilot study in the United States (n = 75) and a large-scale deployment in Peru (n = 2,739), inviting participants via web-based links and contacting them via direct phone calls. The AI agent successfully administered open-ended and closed-ended questions, handled basic clarifications, and dynamically navigated branching logic, allowing fast large-scale survey deployment without interviewer recruitment or training. Our findings demonstrate that while the AI system's probing for qualitative depth was more limited than human interviewers, overall data quality approached human-led standards for structured items. This study represents one of the first successful large-scale deployments of an LLM-based telephone interviewer in a real-world survey context. The AI-powered telephone survey system has the potential for expanding scalable, consistent data collecting across market research, social science, and public opinion studies, thus improving operational efficiency while maintaining appropriate data quality for research.
• Abstract（参考訳）: 電話調査は、洞察を集めるための貴重なツールであり続けているが、典型的には、人間のインタビュアーの訓練と調整にかなりのリソースを必要としている。 本研究は,テキスト音声(TTS),大言語モデル(LLM),音声テキスト(STT)を統合したAIによる電話調査システムを提案する。 米国におけるパイロットスタディ(n = 75)とペルーでの大規模展開(n = 2,739)の2つの集団でテストを行い、Webベースのリンクを通じて参加者を招待し、直接電話で連絡を取りました。 このAIエージェントは、オープンエンドとクローズドエンドの質問をうまく管理し、基本的な明確化を処理し、動的に分岐ロジックをナビゲートし、インタビュアーの募集やトレーニングなしに、大規模な調査展開を迅速に行えるようにした。 以上の結果から,AIシステムの質的深度探索は人間のインタビュアーよりも限定的であったが,全体的なデータ品質は構造化項目の人間主導の基準に近づいた。 本研究は,LLMを用いた電話インタビュアーの大規模展開に成功した最初の事例の一つである。 AIを利用した電話調査システムは、市場調査、社会科学、世論調査にまたがって、スケーラブルで一貫性のあるデータ収集を拡大し、研究に適切なデータ品質を維持しながら、運用効率を向上させる可能性を秘めている。

関連論文リスト

• NewsInterview: a Dataset and a Playground to Evaluate LLMs' Ground Gap via Informational Interviews [65.35458530702442]
  我々はジャーナリストのインタビューに焦点をあて、コミュニケーションの基盤と豊富なデータに富んだドメインに焦点をあてる。 我々はNPRとCNNから4万人の2人によるインフォメーションインタビューのデータセットをキュレートする。 LLMは、人間のインタビュアーよりも、認識を使い、より高いレベルの質問に目を向ける可能性がはるかに低い。
  論文  参考訳（メタデータ） (2024-11-21T01:37:38Z)
• Foundations and Recent Trends in Multimodal Mobile Agents: A Survey [57.677161006710065]
  モバイルエージェントは、複雑で動的なモバイル環境におけるタスクの自動化に不可欠である。 近年の進歩により、リアルタイム適応性とマルチモーダルインタラクションが向上している。 これらの進歩は、プロンプトベースの方法とトレーニングベースの方法の2つの主要なアプローチに分類する。
  論文  参考訳（メタデータ） (2024-11-04T11:50:58Z)
• AI Conversational Interviewing: Transforming Surveys with LLMs as Adaptive Interviewers [40.80290002598963]
  本研究では,人間のインタビュアーを大規模言語モデル (LLM) に置き換えて,スケーラブルな対話型インタビュアーを実現する可能性について検討する。 大学生を対象に,AIとヒューマンインタビュアーの双方にランダムにインタビューを依頼された学生を対象に,小規模で詳細な調査を行った。 様々な量的・質的な尺度は, インタビュアーのガイドライン, 応答品質, 参加者参加率, 総合的な面接効果に順応した。
  論文  参考訳（メタデータ） (2024-09-16T16:03:08Z)
• Towards Robust Evaluation: A Comprehensive Taxonomy of Datasets and Metrics for Open Domain Question Answering in the Era of Large Language Models [0.0]
  自然言語処理におけるオープンドメイン質問回答(ODQA)は,大規模知識コーパスを用いて,事実質問に回答するシステムを構築する。 高品質なデータセットは、現実的なシナリオでモデルをトレーニングするために使用されます。 標準化されたメトリクスは、異なるODQAシステム間の比較を容易にする。
  論文  参考訳（メタデータ） (2024-06-19T05:43:02Z)
• SurveyAgent: A Conversational System for Personalized and Efficient Research Survey [50.04283471107001]
  本稿では,研究者にパーソナライズされた効率的な調査支援を目的とした会話システムであるSurveyAgentを紹介する。 SurveyAgentは3つの重要なモジュールを統合している。文書を整理するための知識管理、関連する文献を発見するための勧告、より深いレベルでコンテンツを扱うためのクエリ回答だ。 本評価は,研究活動の合理化におけるSurveyAgentの有効性を実証し,研究者の科学文献との交流を促進する能力を示すものである。
  論文  参考訳（メタデータ） (2024-04-09T15:01:51Z)
• Can AI Serve as a Substitute for Human Subjects in Software Engineering Research? [24.39463126056733]
  本稿では,人工知能(AI)の能力を活用したソフトウェア工学研究における定性データ収集手法を提案する。 定性的データの代替源としてAI生成合成テキストの可能性を探る。 観察研究とユーザ評価における人間の行動のエミュレートを目的とした新しい基礎モデルの開発について論じる。
  論文  参考訳（メタデータ） (2023-11-18T14:05:52Z)
• AutoConv: Automatically Generating Information-seeking Conversations with Large Language Models [74.10293412011455]
  合成会話生成のためのAutoConvを提案する。 具体的には,会話生成問題を言語モデリングタスクとして定式化する。 我々は、情報探索プロセスの特徴を捉えるために、人間同士の会話でLLMを微調整する。
  論文  参考訳（メタデータ） (2023-08-12T08:52:40Z)
• Information Extraction and Human-Robot Dialogue towards Real-life Tasks: A Baseline Study with the MobileCS Dataset [52.22314870976088]
  SereTODチャレンジは、実際のユーザとChina Mobileのカスタマーサービススタッフの実際のダイアログ書き起こしで構成されるMobileCSデータセットを編成してリリースする。 MobileCSデータセットに基づいて、SereTODチャレンジには2つのタスクがあり、対話システム自体の構築を評価するだけでなく、ダイアログの書き起こしからの情報も抽出する。 本稿では主に,MobileCSデータセットを用いた2つのタスクのベースラインスタディを示す。
  論文  参考訳（メタデータ） (2022-09-27T15:30:43Z)
• End-to-end Spoken Conversational Question Answering: Task, Dataset and Model [92.18621726802726]
  音声による質問応答では、システムは関連する音声書き起こしの中に連続したテキストスパンからの質問に答えるように設計されている。 本稿では,複雑な対話フローをモデル化することを目的とした音声対話型質問応答タスク(SCQA)を提案する。 本研究の目的は,音声記録に基づく対話型質問に対処するシステムを構築することであり,情報収集システムによる様々なモダリティからより多くの手がかりを提供する可能性を探ることである。
  論文  参考訳（メタデータ） (2022-04-29T17:56:59Z)
• Evaluating Mixed-initiative Conversational Search Systems via User Simulation [9.066817876491053]
  このような検索システムの自動評価のための対話型ユーザシミュレータUSiを提案する。 Ui が生成した応答は,その基盤となる情報要求と同等であり,人間による回答に匹敵するものであることを示す。
  論文  参考訳（メタデータ） (2022-04-17T16:27:33Z)
• Conversational Question Answering: A Survey [18.447856993867788]
  本調査は,会話質問回答(CQA)の最先端研究動向を包括的に概観する試みである。 この結果から,会話型AIの分野をさまざまな観点から活性化する一ターンから多ターンQAへの傾向が示唆された。
  論文  参考訳（メタデータ） (2021-06-02T01:06:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。