論文の概要: Keeping Users Engaged During Repeated Administration of the Same Questionnaire: Using Large Language Models to Reliably Diversify Questions
- arxiv url: http://arxiv.org/abs/2311.12707v2
- Date: Sat, 6 Jul 2024 22:38:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-10 03:18:28.498332
- Title: Keeping Users Engaged During Repeated Administration of the Same Questionnaire: Using Large Language Models to Reliably Diversify Questions
- Title（参考訳）: 同じ質問紙の繰り返し実施時における利用者の意識維持--大規模言語モデルを用いて質問を確実に多様化させる
- Authors: Hye Sun Yun, Mehdi Arjmand, Phillip Sherlock, Michael K. Paasche-Orlow, James W. Griffith, Timothy Bickmore,
- Abstract要約: 仮想エージェント管理アンケートの繰り返し使用は、応答性疲労を引き起こす可能性がある。
本研究では,大規模言語モデル (LLM) を用いて多様なアンケートモデルを作成することを提案する。
- 参考スコア（独自算出の注目度）: 2.657841934326794
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Standardized, validated questionnaires are vital tools in research and healthcare, offering dependable self-report data. Prior work has revealed that virtual agent-administered questionnaires are almost equivalent to self-administered ones in an electronic form. Despite being an engaging method, repeated use of virtual agent-administered questionnaires in longitudinal or pre-post studies can induce respondent fatigue, impacting data quality via response biases and decreased response rates. We propose using large language models (LLMs) to generate diverse questionnaire versions while retaining good psychometric properties. In a longitudinal study, participants interacted with our agent system and responded daily for two weeks to one of the following questionnaires: a standardized depression questionnaire, question variants generated by LLMs, or question variants accompanied by LLM-generated small talk. The responses were compared to a validated depression questionnaire. Psychometric testing revealed consistent covariation between the external criterion and focal measure administered across the three conditions, demonstrating the reliability and validity of the LLM-generated variants. Participants found that the variants were significantly less repetitive than repeated administrations of the same standardized questionnaire. Our findings highlight the potential of LLM-generated variants to invigorate agent-administered questionnaires and foster engagement and interest, without compromising their validity.
- Abstract（参考訳）: 標準化された、検証されたアンケートは、研究と医療において重要なツールであり、信頼できる自己申告データを提供する。
先行研究により、仮想エージェント管理アンケートは電子形式で自己管理アンケートとほぼ同等であることが判明した。
エンゲージメント手法であるにもかかわらず、縦・前後研究における仮想エージェント管理アンケートの繰り返し使用は、応答疲労を誘発し、応答バイアスによるデータ品質に影響を及ぼし、応答率を低下させる可能性がある。
本研究では,大規模言語モデル (LLMs) を用いて,優れた心理指標特性を維持しつつ,多様なアンケートバージョンを生成することを提案する。
縦断的研究では,参加者はエージェントシステムと対話し,標準化された抑うつアンケート,LSMによる質問変量,LSMによる質問変量,LSMによる小さな話を伴う質問変量のいずれかに2週間回答した。
回答は、評価された抑うつアンケートと比較された。
心理測定では, 外部基準と焦点測定との間に一貫した相違がみられ, LLM産生変異体の信頼性と妥当性が示された。
参加者は、この変種が、同じ基準化されたアンケートの繰り返し投与よりも、かなり少ないことを見出した。
以上の結果から, LLM生成型は, 有効性を損なうことなく, エージェント管理型質問紙を活性化し, エンゲージメントと関心を高めることができる可能性が示唆された。
関連論文リスト
- AGENT-CQ: Automatic Generation and Evaluation of Clarifying Questions for Conversational Search with LLMs [53.6200736559742]
エージェント-CQは、世代ステージと評価ステージの2つのステージから構成される。
CrowdLLMは、人間のクラウドソーシング判断をシミュレートして、生成された質問や回答を評価する。
ClariQデータセットの実験では、質問と回答の品質を評価するCrowdLLMの有効性が示されている。
論文 参考訳（メタデータ） (2024-10-25T17:06:27Z) - RAG-ConfusionQA: A Benchmark for Evaluating LLMs on Confusing Questions [52.33835101586687]
会話AIエージェントはRetrieval Augmented Generation(RAG)を使用して、ユーザからの問い合わせに対して検証可能なドキュメント地上応答を提供する。
本稿では,与えられた文書コーパスから,文脈に乱れた多様な質問を効率的に生成する,新しい合成データ生成手法を提案する。
論文 参考訳（メタデータ） (2024-10-18T16:11:29Z) - Multi-LLM QA with Embodied Exploration [55.581423861790945]
未知環境における質問応答におけるマルチエンボディードLEMエクスプローラ(MELE)の利用について検討する。
複数のLSMベースのエージェントが独立して家庭用環境に関する質問を探索し、回答する。
各問合せに対して1つの最終回答を生成するために,異なるアグリゲーション手法を解析する。
論文 参考訳（メタデータ） (2024-06-16T12:46:40Z) - LLM Questionnaire Completion for Automatic Psychiatric Assessment [49.1574468325115]
大規模言語モデル(LLM)を用いて、非構造的心理面接を、様々な精神科領域と人格領域にまたがる構造化された質問票に変換する。
得られた回答は、うつ病の標準化された精神医学的指標(PHQ-8)とPTSD(PCL-C)の予測に使用される特徴として符号化される。
論文 参考訳（メタデータ） (2024-06-09T09:03:11Z) - Don't Just Say "I don't know"! Self-aligning Large Language Models for Responding to Unknown Questions with Explanations [70.6395572287422]
自己調整法は,回答を拒否するだけでなく,未知の質問の解答不能を説明できる。
我々は, LLM自体を微調整し, 未知の質問に対する応答を所望の通りに調整するために, 偏差駆動による自己計算を行い, 有資格データを選択する。
論文 参考訳（メタデータ） (2024-02-23T02:24:36Z) - You don't need a personality test to know these models are unreliable: Assessing the Reliability of Large Language Models on Psychometric Instruments [37.03210795084276]
本稿では, 大規模言語モデルが応答を一貫した, 頑健な方法で引き起こすかどうかを考察する。
17種類のLDM実験により,単純な摂動でさえモデルの問合せ能力を大幅に低下させることが判明した。
その結果,現在広く普及しているプロンプトは,モデル知覚を正確にかつ確実に捉えるには不十分であることが示唆された。
論文 参考訳（メタデータ） (2023-11-16T09:50:53Z) - Federated Prompting and Chain-of-Thought Reasoning for Improving LLMs
Answering [13.735277588793997]
クラウドベースLarge Language Models (LLMs) を用いた分散ユーザによる質問に対する回答精度の向上について検討する。
本研究は,同じ数学的推論ステップと問題解決手順を含む類似のクエリをユーザが質問する典型的な状況に焦点を当てる。
本稿では,自己整合性(SC)とCoT(Chain-of-Thought)技術を用いて,分散同義語質問を改善することを提案する。
論文 参考訳（メタデータ） (2023-04-27T01:48:03Z) - When Respondents Don't Care Anymore: Identifying the Onset of Careless Responding [0.0]
本稿では,各参加者に対する不注意応答の開始を同定する新しい手法を提案する。
これは、不注意が現れる可能性のある複数の次元の複合的な測定に基づいている。
非常に柔軟で、機械学習に基づいており、その性能に関する統計的保証を提供する。
論文 参考訳（メタデータ） (2023-03-13T15:10:30Z) - Open vs Closed-ended questions in attitudinal surveys -- comparing,
combining, and interpreting using natural language processing [3.867363075280544]
トピックモデリングは、オープンな応答から情報を抽出する時間を著しく短縮する可能性がある。
本研究はトピックモデリングを用いて,オープンエンド質問から情報を抽出し,その性能をクローズドエンド応答と比較する。
論文 参考訳（メタデータ） (2022-05-03T06:01:03Z) - MS-Ranker: Accumulating Evidence from Potentially Correct Candidates for
Answer Selection [59.95429407899612]
そこで我々は,MS-Ranker という,新しい強化学習に基づくマルチステップランキングモデルを提案する。
我々は、候補の潜在的な正しさを明示的に考慮し、ゲーティング機構で証拠を更新する。
我々のモデルは、外部リソースに依存しない既存の手法を著しく上回ります。
論文 参考訳（メタデータ） (2020-10-10T10:36:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。