論文の概要: Telephone Surveys Meet Conversational AI: Evaluating a LLM-Based Telephone Survey System at Scale

• arxiv url: http://arxiv.org/abs/2502.20140v2
• Date: Wed, 12 Mar 2025 00:52:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 16:44:44.077141
• Title: Telephone Surveys Meet Conversational AI: Evaluating a LLM-Based Telephone Survey System at Scale
• Title（参考訳）: 会話型AIと電話調査:LLMベースの電話サーベイシステムを大規模に評価する
• Authors: Max M. Lang, Sol Eskenazi,
• Abstract要約: テキスト音声(TTS)、大言語モデル(LLM)、音声音声(STT)を統合したAIによる電話調査システムを提案する。 米国におけるパイロットスタディ (n = 75) とペルーにおける大規模展開 (n = 2,739) の2つの集団でテストを行った。 以上の結果から,AIシステムの質的深度探索は人間のインタビュアーよりも限定的であったが,全体的なデータ品質は構造化項目の人間主導の基準に近づいた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Telephone surveys remain a valuable tool for gathering insights but typically require substantial resources in training and coordinating human interviewers. This work presents an AI-driven telephone survey system integrating text-to-speech (TTS), a large language model (LLM), and speech-to-text (STT) that mimics the versatility of human-led interviews (full-duplex dialogues) at scale. We tested the system across two populations, a pilot study in the United States (n = 75) and a large-scale deployment in Peru (n = 2,739), inviting participants via web-based links and contacting them via direct phone calls. The AI agent successfully administered open-ended and closed-ended questions, handled basic clarifications, and dynamically navigated branching logic, allowing fast large-scale survey deployment without interviewer recruitment or training. Our findings demonstrate that while the AI system's probing for qualitative depth was more limited than human interviewers, overall data quality approached human-led standards for structured items. This study represents one of the first successful large-scale deployments of an LLM-based telephone interviewer in a real-world survey context. The AI-powered telephone survey system has the potential for expanding scalable, consistent data collecting across market research, social science, and public opinion studies, thus improving operational efficiency while maintaining appropriate data quality for research.
• Abstract（参考訳）: 電話調査は、洞察を集めるための貴重なツールであり続けているが、典型的には、人間のインタビュアーの訓練と調整にかなりのリソースを必要としている。 本研究は,テキスト音声(TTS)と大規模言語モデル(LLM)と,人間主導インタビュー(フル二重対話)の汎用性を模倣した音声音声(STT)を統合したAIによる電話調査システムを提案する。 米国におけるパイロットスタディ(n = 75)とペルーでの大規模展開(n = 2,739)の2つの集団でテストを行い、Webベースのリンクを通じて参加者を招待し、直接電話で連絡を取りました。 このAIエージェントは、オープンエンドとクローズドエンドの質問をうまく管理し、基本的な明確化を処理し、動的に分岐ロジックをナビゲートし、インタビュアーの募集やトレーニングなしに、大規模な調査展開を迅速に行えるようにした。 以上の結果から,AIシステムの質的深度探索は人間のインタビュアーよりも限定的であったが,全体的なデータ品質は構造化項目の人間主導の基準に近づいた。 本研究は,LLMを用いた電話インタビュアーの大規模展開に成功した最初の事例の一つである。 AIを利用した電話調査システムは、市場調査、社会科学、世論調査にまたがって、スケーラブルで一貫性のあるデータ収集を拡大し、研究に適切なデータ品質を維持しながら、運用効率を向上させる可能性を秘めている。

関連論文リスト

• Automated Survey Collection with LLM-based Conversational Agents [1.9915268274949234]
  従来の電話ベースの調査は、バイオメディカルおよび医療データを収集するための最もアクセスしやすく広く使われている方法の1つである。 対話型大規模言語モデル(LLM)によるエンドツーエンド調査収集フレームワークを提案する。 本フレームワークは,調査参加者を設計・募集する研究者と,参加者を呼び出して実施するLLMを利用した会話電話エージェントと,調査中に生成された会話の書き起こしを解析する第2のLLMと,結果を保存・整理するデータベースから構成される。
  論文  参考訳（メタデータ） (2025-04-02T18:10:19Z)
• Towards Anthropomorphic Conversational AI Part I: A Practical Framework [49.62013440962072]
  会話に関わる人間の知性の重要な側面を再現するために設計されたマルチモジュールフレームワークを導入する。 アプローチの第2段階では、これらの会話データは、フィルタリングとラベル付けの後に、強化学習のためのトレーニングおよびテストデータとして機能する。
  論文  参考訳（メタデータ） (2025-02-28T03:18:39Z)
• Toward Agentic AI: Generative Information Retrieval Inspired Intelligent Communications and Networking [87.82985288731489]
  Agentic AIは、インテリジェントなコミュニケーションとネットワークのための重要なパラダイムとして登場した。 本稿では,通信システムにおけるエージェントAIにおける知識獲得,処理,検索の役割を強調する。
  論文  参考訳（メタデータ） (2025-02-24T06:02:25Z)
• Are Large Language Models Ready for Business Integration? A Study on Generative AI Adoption [0.6144680854063939]
  本研究では,Google Geminiのような他の大規模言語モデル(LLM)のビジネスアプリケーションへの適用性について検討する。 ディズニーランドの異なる支店からの42,654件のレビューデータセットが採用された。 その結果、75%の成功率、25%のエラー、モデル自己参照の事例など、反応のスペクトルが示された。
  論文  参考訳（メタデータ） (2025-01-28T21:01:22Z)
• NewsInterview: a Dataset and a Playground to Evaluate LLMs' Ground Gap via Informational Interviews [65.35458530702442]
  我々はジャーナリストのインタビューに焦点をあて、コミュニケーションの基盤と豊富なデータに富んだドメインに焦点をあてる。 我々はNPRとCNNから4万人の2人によるインフォメーションインタビューのデータセットをキュレートする。 LLMは、人間のインタビュアーよりも、認識を使い、より高いレベルの質問に目を向ける可能性がはるかに低い。
  論文  参考訳（メタデータ） (2024-11-21T01:37:38Z)
• AI Conversational Interviewing: Transforming Surveys with LLMs as Adaptive Interviewers [40.80290002598963]
  本研究では,人間のインタビュアーを大規模言語モデル (LLM) に置き換えて,スケーラブルな対話型インタビュアーを実現する可能性について検討する。 大学生を対象に,AIとヒューマンインタビュアーの双方にランダムにインタビューを依頼された学生を対象に,小規模で詳細な調査を行った。 様々な量的・質的な尺度は, インタビュアーのガイドライン, 応答品質, 参加者参加率, 総合的な面接効果に順応した。
  論文  参考訳（メタデータ） (2024-09-16T16:03:08Z)
• Making Task-Oriented Dialogue Datasets More Natural by Synthetically Generating Indirect User Requests [6.33281463741573]
  間接ユーザ要求(IUR)は、ヒューマン・ヒューマン・タスク指向の対話において一般的であり、聞き手からの世界的知識と実践的推論を必要とする。 大きな言語モデル(LLM)はこれらの要求を効果的に処理できるが、仮想アシスタントにデプロイされる小さなモデルはリソースの制約のためにしばしば苦労する。
  論文  参考訳（メタデータ） (2024-06-12T01:18:04Z)
• SurveyAgent: A Conversational System for Personalized and Efficient Research Survey [50.04283471107001]
  本稿では,研究者にパーソナライズされた効率的な調査支援を目的とした会話システムであるSurveyAgentを紹介する。 SurveyAgentは3つの重要なモジュールを統合している。文書を整理するための知識管理、関連する文献を発見するための勧告、より深いレベルでコンテンツを扱うためのクエリ回答だ。 本評価は,研究活動の合理化におけるSurveyAgentの有効性を実証し,研究者の科学文献との交流を促進する能力を示すものである。
  論文  参考訳（メタデータ） (2024-04-09T15:01:51Z)
• Can AI Serve as a Substitute for Human Subjects in Software Engineering Research? [24.39463126056733]
  本稿では,人工知能(AI)の能力を活用したソフトウェア工学研究における定性データ収集手法を提案する。 定性的データの代替源としてAI生成合成テキストの可能性を探る。 観察研究とユーザ評価における人間の行動のエミュレートを目的とした新しい基礎モデルの開発について論じる。
  論文  参考訳（メタデータ） (2023-11-18T14:05:52Z)
• A Survey on Large Language Model based Autonomous Agents [105.2509166861984]
  大規模言語モデル(LLM)は、人間レベルの知性を達成する上で、顕著な可能性を示している。 本稿では,LLMに基づく自律エージェントの分野を総合的な観点から体系的に検討する。 本稿では、社会科学、自然科学、工学の分野におけるLLMベースの自律エージェントの多様な応用について概観する。
  論文  参考訳（メタデータ） (2023-08-22T13:30:37Z)
• AutoConv: Automatically Generating Information-seeking Conversations with Large Language Models [74.10293412011455]
  合成会話生成のためのAutoConvを提案する。 具体的には,会話生成問題を言語モデリングタスクとして定式化する。 我々は、情報探索プロセスの特徴を捉えるために、人間同士の会話でLLMを微調整する。
  論文  参考訳（メタデータ） (2023-08-12T08:52:40Z)
• Information Extraction and Human-Robot Dialogue towards Real-life Tasks: A Baseline Study with the MobileCS Dataset [52.22314870976088]
  SereTODチャレンジは、実際のユーザとChina Mobileのカスタマーサービススタッフの実際のダイアログ書き起こしで構成されるMobileCSデータセットを編成してリリースする。 MobileCSデータセットに基づいて、SereTODチャレンジには2つのタスクがあり、対話システム自体の構築を評価するだけでなく、ダイアログの書き起こしからの情報も抽出する。 本稿では主に,MobileCSデータセットを用いた2つのタスクのベースラインスタディを示す。
  論文  参考訳（メタデータ） (2022-09-27T15:30:43Z)
• INSCIT: Information-Seeking Conversations with Mixed-Initiative Interactions [47.90088587508672]
  InSCItは、混合開始型インタラクションによる情報探索会話のためのデータセットである。 ユーザーエージェントは805対人会話から4.7Kである。 対話型知識認識とオープンドメイン質問応答の最先端モデルに基づく2つのシステムの結果を報告する。
  論文  参考訳（メタデータ） (2022-07-02T06:18:12Z)
• End-to-end Spoken Conversational Question Answering: Task, Dataset and Model [92.18621726802726]
  音声による質問応答では、システムは関連する音声書き起こしの中に連続したテキストスパンからの質問に答えるように設計されている。 本稿では,複雑な対話フローをモデル化することを目的とした音声対話型質問応答タスク(SCQA)を提案する。 本研究の目的は,音声記録に基づく対話型質問に対処するシステムを構築することであり,情報収集システムによる様々なモダリティからより多くの手がかりを提供する可能性を探ることである。
  論文  参考訳（メタデータ） (2022-04-29T17:56:59Z)
• Evaluating Mixed-initiative Conversational Search Systems via User Simulation [9.066817876491053]
  このような検索システムの自動評価のための対話型ユーザシミュレータUSiを提案する。 Ui が生成した応答は,その基盤となる情報要求と同等であり,人間による回答に匹敵するものであることを示す。
  論文  参考訳（メタデータ） (2022-04-17T16:27:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。