論文の概要: SparkMe: Adaptive Semi-Structured Interviewing for Qualitative Insight Discovery
- arxiv url: http://arxiv.org/abs/2602.21136v1
- Date: Tue, 24 Feb 2026 17:33:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-25 17:34:53.864452
- Title: SparkMe: Adaptive Semi-Structured Interviewing for Qualitative Insight Discovery
- Title(参考訳): SparkMe: 質的な洞察発見のための適応的な半構造化インタビュー
- Authors: David Anugraha, Vishakh Padmakumar, Diyi Yang,
- Abstract要約: 本稿では,対話のロールアウトをシミュレートして検討計画を実行するマルチエージェントインタビュアーSparkMeを紹介する。
LLMベースの面接者による制御実験を通じてSparkMeを評価し,より高い面接性を実現することを示す。
7つの専門職の70人の参加者が、AIが専門職に与える影響について、SparkMeをユーザスタディで検証しています。
- 参考スコア(独自算出の注目度): 55.50580661343875
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Qualitative insights from user experiences are critical for informing product and policy decisions, but collecting such data at scale is constrained by the time and availability of experts to conduct semi-structured interviews. Recent work has explored using large language models (LLMs) to automate interviewing, yet existing systems lack a principled mechanism for balancing systematic coverage of predefined topics with adaptive exploration, or the ability to pursue follow-ups, deep dives, and emergent themes that arise organically during conversation. In this work, we formulate adaptive semi-structured interviewing as an optimization problem over the interviewer's behavior. We define interview utility as a trade-off between coverage of a predefined interview topic guide, discovery of relevant emergent themes, and interview cost measured by length. Based on this formulation, we introduce SparkMe, a multi-agent LLM interviewer that performs deliberative planning via simulated conversation rollouts to select questions with high expected utility. We evaluate SparkMe through controlled experiments with LLM-based interviewees, showing that it achieves higher interview utility, improving topic guide coverage (+4.7% over the best baseline) and eliciting richer emergent insights while using fewer conversational turns than prior LLM interviewing approaches. We further validate SparkMe in a user study with 70 participants across 7 professions on the impact of AI on their workflows. Domain experts rate SparkMe as producing high-quality adaptive interviews that surface helpful profession-specific insights not captured by prior approaches. The code, datasets, and evaluation protocols for SparkMe are available as open-source at https://github.com/SALT-NLP/SparkMe.
- Abstract(参考訳): ユーザエクスペリエンスからの質的な洞察は、製品やポリシーの決定を伝える上で重要であるが、そのようなデータを大規模に収集することは、専門家が半構造化されたインタビューを行うための時間と可用性によって制約される。
最近の研究では、面接の自動化に大規模言語モデル(LLM)を用いることを検討したが、既存のシステムでは、事前定義されたトピックの体系的なカバレッジを適応探索や、フォローアップ、ディープダイブ、会話中に有機的に発生する創発的なテーマによってバランスをとるメカニズムが欠如している。
本研究では, 適応型半構造化面接を, インタビュアーの行動に対する最適化問題として定式化する。
我々は,インタビューユーティリティを,事前に定義されたインタビュートピックガイドのカバレッジ,関連する創発的テーマの発見,およびインタビューコストの長期化のトレードオフとして定義する。
この定式化に基づき,多エージェントLLMインタビュアーであるSparkMeを紹介した。
LLMベースの面接者による制御実験を通じてSparkMeを評価し、より高い面接性、トピックガイドのカバレッジの改善(最高のベースラインよりも4.7%以上)、より豊かな創発的な洞察を導きながら、従来のLLMの面接手法よりも会話のターンが少ないことを実証した。
7つの専門職の70人の参加者が、AIがワークフローに与える影響について、SparkMeをユーザスタディで検証しています。
ドメインの専門家はSparkMeを高品質なアダプティブインタヴューとして評価し、それまでのアプローチでは捉えられなかった専門職特有の洞察に役立ちます。
SparkMeのコード、データセット、評価プロトコルはhttps://github.com/SALT-NLP/SparkMeでオープンソースとして公開されている。
関連論文リスト
- A Multi-To-One Interview Paradigm for Efficient MLLM Evaluation [63.76972456980632]
効率的なMLLM評価のためのマルチツーワンインタビューパラダイムを提案する。
本フレームワークは, (i) 事前面接と形式面接の2段階面接戦略, (ii) 公平性を確保するための重みの動的調整, (iii) 質問難度選択のための適応的メカニズムから構成される。
論文 参考訳(メタデータ) (2025-09-18T12:07:40Z) - Requirements Elicitation Follow-Up Question Generation [0.5120567378386615]
大規模言語モデル(LLM)は、複数の自然言語処理タスクにおいて最先端のパフォーマンスを示す。
本研究は,GPT-4oを要件適用時のフォローアップインタビューに応用することを検討した。
論文 参考訳(メタデータ) (2025-07-03T17:59:04Z) - GuideLLM: Exploring LLM-Guided Conversation with Applications in Autobiography Interviewing [73.8469700907927]
大規模言語モデル(LLM)は、指示の追従や質問応答といった人間の指導による会話に成功している。
本研究では, LLM誘導会話を, ゴールナビゲーション, (ii) コンテキストマネジメント, (iii) 共感エンゲージメントの3つの基本要素に分類した。
GPT-4o や Llama-3-70b-Instruct のような6つの最先端 LLM と比較し, 面接品質, 自伝生成品質の観点から検討した。
論文 参考訳(メタデータ) (2025-02-10T14:11:32Z) - LLM-as-an-Interviewer: Beyond Static Testing Through Dynamic LLM Evaluation [24.103034843158717]
LLM-as-an-Interviewerは,大規模言語モデル(LLM)を評価するための新しいパラダイムである。
このアプローチはマルチターンインタラクションを活用し、インタビュアーは応答に対するフィードバックを積極的に提供し、評価されたLCMにフォローアップ質問を提示する。
このフレームワークを用いてMATHとDepthQAタスクの6つのモデルを評価する。
論文 参考訳(メタデータ) (2024-12-10T15:00:32Z) - NewsInterview: a Dataset and a Playground to Evaluate LLMs' Ground Gap via Informational Interviews [65.35458530702442]
我々はジャーナリストのインタビューに焦点をあて、コミュニケーションの基盤と豊富なデータに富んだドメインに焦点をあてる。
我々はNPRとCNNから4万人の2人によるインフォメーションインタビューのデータセットをキュレートする。
LLMは、人間のインタビュアーよりも、認識を使い、より高いレベルの質問に目を向ける可能性がはるかに低い。
論文 参考訳(メタデータ) (2024-11-21T01:37:38Z) - AI Conversational Interviewing: Transforming Surveys with LLMs as Adaptive Interviewers [40.80290002598963]
本研究では,人間のインタビュアーを大規模言語モデル (LLM) に置き換えて,スケーラブルな対話型インタビュアーを実現する可能性について検討する。
大学生を対象に,AIやヒューマンインタビュアーによる会話面接にランダムに割り当てられた,小規模かつ詳細な調査を行った。
様々な量的・質的な尺度は, インタビュアーのガイドライン, 応答品質, 参加者参加率, 総合的な面接効果に順応した。
論文 参考訳(メタデータ) (2024-09-16T16:03:08Z) - MockLLM: A Multi-Agent Behavior Collaboration Framework for Online Job Seeking and Recruiting [29.676163697160945]
モックインタビューインタラクションの生成と評価を行う新しいフレームワークである textbfMockLLM を提案する。
インタビュアーと候補の両方の役割をシミュレートすることで、MockLLMはリアルタイムと双方向のマッチングのための一貫性のある協調的なインタラクションを可能にする。
我々は、中国の主要な採用プラットフォームであるBoss Zhipinの実際のデータに基づいて、MockLLMを評価した。
論文 参考訳(メタデータ) (2024-05-28T12:23:16Z) - What should I Ask: A Knowledge-driven Approach for Follow-up Questions
Generation in Conversational Surveys [63.51903260461746]
対話型調査における知識駆動型フォローアップ質問生成のための新しい課題を提案する。
そこで我々は,対話履歴とラベル付き知識を用いた人手によるフォローアップ質問の新しいデータセットを構築した。
次に,その課題に対する2段階の知識駆動モデルを提案する。
論文 参考訳(メタデータ) (2022-05-23T00:57:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。