論文の概要: AI-Assisted Conversational Interviewing: Effects on Data Quality and User Experience

• arxiv url: http://arxiv.org/abs/2504.13908v2
• Date: Fri, 08 Aug 2025 17:43:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-11 14:17:29.296507
• Title: AI-Assisted Conversational Interviewing: Effects on Data Quality and User Experience
• Title（参考訳）: AIによる会話インタビュー:データ品質とユーザエクスペリエンスへの影響
• Authors: Soubhik Barari, Jarret Angbazo, Natalie Wang, Leah M. Christian, Elizabeth Dean, Zoe Slowinski, Brandon Sepulvado,
• Abstract要約: 本研究では,AIによる対話型面接の枠組みを紹介する。 我々は1,800人の参加者をランダムにAI 'チャットボット'に割り当てるウェブサーベイ実験を行った。 この結果から,チャットボットなどのAI手法を用いて,Webサーベイにおけるオープンエンドデータ収集を向上する可能性が示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standardized surveys scale efficiently but sacrifice depth, while conversational interviews improve response quality at the cost of scalability and consistency. This study bridges the gap between these methods by introducing a framework for AI-assisted conversational interviewing. To evaluate this framework, we conducted a web survey experiment where 1,800 participants were randomly assigned to AI 'chatbots' which use large language models (LLMs) to dynamically probe respondents for elaboration and interactively code open-ended responses to fixed questions developed by human researchers. We assessed the AI chatbot's performance in terms of coding accuracy, response quality, and respondent experience. Our findings reveal that AI chatbots perform moderately well in live coding even without survey-specific fine-tuning, despite slightly inflated false positive errors due to respondent acquiescence bias. Open-ended responses were more detailed and informative, but this came at a slight cost to respondent experience. Our findings highlight the feasibility of using AI methods such as chatbots enhanced by LLMs to enhance open-ended data collection in web surveys.
• Abstract（参考訳）: 標準化された調査は効率よくスケールするが、深みを犠牲にする。 本研究は,AIを用いた会話面接のための枠組みを導入することにより,これらの手法のギャップを埋めるものである。 この枠組みを評価するために、我々は1,800人の参加者が大規模言語モデル(LLM)を用いたAI 'チャットボット' にランダムに割り当てられたWebサーベイ実験を行った。 我々は,AIチャットボットの性能を,コーディング精度,応答品質,応答経験の観点から評価した。 以上の結果から,AIチャットボットは,応答性獲得バイアスによる偽陽性誤りがわずかに膨らんだにもかかわらず,調査特異的な微調整がなくても,ライブコーディングにおいて適度に機能することが判明した。 オープンエンドの回答はより詳細で情報的なものだったが、これには少しのコストがかかった。 LLMによって強化されたチャットボットのようなAI手法によるWebサーベイにおけるオープンエンドデータ収集の実現可能性を強調した。

関連論文リスト

• AI Telephone Surveying: Automating Quantitative Data Collection with an AI Interviewer [1.8929175690169533]
  我々は、大規模言語モデル(LLM)、自動音声認識(ASR)、音声合成技術に基づく定量的調査を行うAIシステムを構築し、テストした。 このシステムは定量的研究のために特別に設計され、質問順のランダム化、回答順のランダム化、正確な単語化といった研究のベストプラクティスに厳格に固執した。 以上の結果から,より短い計器とより応答性の高いAIインタビュアーが,研究対象の3つの指標にまたがる改善に寄与する可能性が示唆された。
  論文  参考訳（メタデータ） (2025-07-23T17:30:14Z)
• TestAgent: An Adaptive and Intelligent Expert for Human Assessment [62.060118490577366]
  対話型エンゲージメントによる適応テストを強化するために,大規模言語モデル(LLM)を利用したエージェントであるTestAgentを提案する。 TestAgentは、パーソナライズされた質問の選択をサポートし、テストテイカーの応答と異常をキャプチャし、動的で対話的なインタラクションを通じて正確な結果を提供する。
  論文  参考訳（メタデータ） (2025-06-03T16:07:54Z)
• ELOQ: Resources for Enhancing LLM Detection of Out-of-Scope Questions [52.33835101586687]
  大規模言語モデル(LLM)は、会話型AIシステムにおいて、ユーザの問い合わせに対する応答を生成するために広く使われている。 本研究では,文書コーパスから多様なスコープ外質問を効率的に生成する誘導幻覚に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-10-18T16:11:29Z)
• AI Conversational Interviewing: Transforming Surveys with LLMs as Adaptive Interviewers [40.80290002598963]
  本研究では,人間のインタビュアーを大規模言語モデル (LLM) に置き換えて,スケーラブルな対話型インタビュアーを実現する可能性について検討する。 大学生を対象に,AIやヒューマンインタビュアーによる会話面接にランダムに割り当てられた,小規模かつ詳細な調査を行った。 様々な量的・質的な尺度は, インタビュアーのガイドライン, 応答品質, 参加者参加率, 総合的な面接効果に順応した。
  論文  参考訳（メタデータ） (2024-09-16T16:03:08Z)
• PICK: Polished & Informed Candidate Scoring for Knowledge-Grounded Dialogue Systems [59.1250765143521]
  現在の知識接地対話システムは、生成された応答を人間に好まれる品質に合わせるのに失敗することが多い。 我々は,世代別再描画フレームワークであるPolseed & Informed Candidate Scoring (PICK)を提案する。 対話履歴に関連性を維持しつつ,より忠実な応答を生成するためのPICKの有効性を示す。
  論文  参考訳（メタデータ） (2023-09-19T08:27:09Z)
• FCC: Fusing Conversation History and Candidate Provenance for Contextual Response Ranking in Dialogue Systems [53.89014188309486]
  複数のチャネルからコンテキスト情報を統合できるフレキシブルなニューラルネットワークフレームワークを提案する。 会話応答ランキングタスクの評価に広く用いられているMSDialogデータセット上で,本モデルの評価を行った。
  論文  参考訳（メタデータ） (2023-03-31T23:58:28Z)
• Collaboration with Conversational AI Assistants for UX Evaluation: Questions and How to Ask them (Voice vs. Text) [18.884080068561843]
  We performed a Wizard-of-Oz design probe study with 20 participants who interacted simulated AI assistants via text or voice。 参加者は、ユーザアクション、ユーザメンタルモデル、AIアシスタントからのヘルプ、製品とタスク情報、ユーザ人口統計の5つのカテゴリについて質問した。 テキストアシスタントの効率は著しく向上したが,満足度と信頼度は同等であった。
  論文  参考訳（メタデータ） (2023-03-07T03:59:14Z)
• Connecting Humanities and Social Sciences: Applying Language and Speech Technology to Online Panel Surveys [2.0646127669654835]
  オランダのパネル調査において,言語と音声技術のオープンエンド質問への適用について検討した。 実験波では、回答者は音声やキーボードを使ってオープンな質問に答えることができた。 本稿では,ASRシステムが生成した誤りを報告し,これらの誤りが下流解析に与える影響について検討する。
  論文  参考訳（メタデータ） (2023-02-21T10:52:15Z)
• Conversational QA Dataset Generation with Answer Revision [2.5838973036257458]
  本稿では,一節から質問に値するフレーズを抽出し,過去の会話を考慮し,それに対応する質問を生成する新しい枠組みを提案する。 本フレームワークでは,抽出した回答を質問生成後に修正し,その回答が一致した質問に正確に一致するようにした。
  論文  参考訳（メタデータ） (2022-09-23T04:05:38Z)
• What should I Ask: A Knowledge-driven Approach for Follow-up Questions Generation in Conversational Surveys [63.51903260461746]
  対話型調査における知識駆動型フォローアップ質問生成のための新しい課題を提案する。 そこで我々は,対話履歴とラベル付き知識を用いた人手によるフォローアップ質問の新しいデータセットを構築した。 次に,その課題に対する2段階の知識駆動モデルを提案する。
  論文  参考訳（メタデータ） (2022-05-23T00:57:33Z)
• Training Conversational Agents with Generative Conversational Networks [74.9941330874663]
  我々は、生成会話ネットワークを使用して、自動的にデータを生成し、社会的会話エージェントを訓練する。 自動メトリクスと人的評価器を用いてTopicalChatのアプローチを評価し、10%のシードデータで100%のデータを使用するベースラインに近いパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-15T21:46:39Z)
• Partner Matters! An Empirical Study on Fusing Personas for Personalized Response Selection in Retrieval-Based Chatbots [51.091235903442715]
  本稿では,自己とパートナーの話者が応答選択の課題に与える影響について検討する。 4つのペルソナ融合戦略が設計されており、異なる方法でペルソナがコンテキストや応答と相互作用することを前提としている。 Persona-Chatデータセットに関する実証研究は、パートナーペルソナが応答選択の精度を向上させることができることを示している。
  論文  参考訳（メタデータ） (2021-05-19T10:32:30Z)
• Predicting respondent difficulty in web surveys: A machine-learning approach based on mouse movement features [3.6944296923226316]
  本稿では,マウス追跡データの予測値について,回答者の難易度について検討する。 我々は、回答者の就業履歴と人口統計情報に関する調査データを用いている。 そこで,本研究では,基本マウスの行動を調整するパーソナライズ手法を開発し,その性能を評価する。
  論文  参考訳（メタデータ） (2020-11-05T10:54:33Z)
• Towards Data Distillation for End-to-end Spoken Conversational Question Answering [65.124088336738]
  音声対話型質問応答タスク(SCQA)を提案する。 SCQAは,音声発話とテキストコーパスから複雑な対話の流れをモデル化することを目的としている。 我々の主な目的は、音声とテキストの両方で会話的な質問に対処するQAシステムを構築することである。
  論文  参考訳（メタデータ） (2020-10-18T05:53:39Z)
• Exploiting Unsupervised Data for Emotion Recognition in Conversations [76.01690906995286]
  会話における感情認識(Emotion Recognition in Conversations:ERC)は、会話における話者の感情状態を予測することを目的としている。 ERCタスクの教師付きデータは限られている。 教師なし会話データを活用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-02T13:28:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。