論文の概要: RACER: An LLM-powered Methodology for Scalable Analysis of
Semi-structured Mental Health Interviews
- arxiv url: http://arxiv.org/abs/2402.02656v1
- Date: Mon, 5 Feb 2024 00:56:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 18:10:37.140252
- Title: RACER: An LLM-powered Methodology for Scalable Analysis of
Semi-structured Mental Health Interviews
- Title(参考訳): RACER:半構造化メンタルヘルスインタビューのスケーラブル分析のためのLLMを利用した方法論
- Authors: Satpreet Harcharan Singh, Kevin Jiang, Kanchan Bhasin, Ashutosh
Sabharwal, Nidal Moukaddam, Ankit B Patel
- Abstract要約: 我々は,専門家が指導する自動パイプラインであるRACERを開発し,生のインタビュー書き起こしをドメイン関連テーマやサブテーマに効率的に変換する。
RACERは、人間間の合意に近づいた2人の評価者と、適度に高い合意を達成している。
本研究は、LSMを用いた研究効率向上の機会と課題を強調し、医療研究におけるSSIのスケーラブルな分析のための新たな道を開く。
- 参考スコア(独自算出の注目度): 8.706825633594487
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Semi-structured interviews (SSIs) are a commonly employed data-collection
method in healthcare research, offering in-depth qualitative insights into
subject experiences. Despite their value, the manual analysis of SSIs is
notoriously time-consuming and labor-intensive, in part due to the difficulty
of extracting and categorizing emotional responses, and challenges in scaling
human evaluation for large populations. In this study, we develop RACER, a
Large Language Model (LLM) based expert-guided automated pipeline that
efficiently converts raw interview transcripts into insightful domain-relevant
themes and sub-themes. We used RACER to analyze SSIs conducted with 93
healthcare professionals and trainees to assess the broad personal and
professional mental health impacts of the COVID-19 crisis. RACER achieves
moderately high agreement with two human evaluators (72%), which approaches the
human inter-rater agreement (77%). Interestingly, LLMs and humans struggle with
similar content involving nuanced emotional, ambivalent/dialectical, and
psychological statements. Our study highlights the opportunities and challenges
in using LLMs to improve research efficiency and opens new avenues for scalable
analysis of SSIs in healthcare research.
- Abstract(参考訳): 半構造化面接(SSI)は、医療研究において一般的に用いられるデータ収集手法であり、被験者の体験に関する詳細な質的な洞察を提供する。
その価値にもかかわらず、SSIのマニュアル分析は、感情的な反応を抽出し分類することの難しさや、大集団に対する人間の評価をスケールすることの難しさから、時間と労働集約性で悪名高い。
本研究では,大規模言語モデル (llm) をベースとする専門家主導の自動化パイプラインであるracerを開発した。
我々はRACERを用いて、93人の医療専門家と研修生によるSSIを分析し、COVID-19危機における幅広い個人的・専門的なメンタルヘルスへの影響を評価する。
レーサーは2人の人間蒸発者(72%)と適度に高い合意に達し、人間間利回り協定(77%)に接近する。
興味深いことに、llmと人間は、ニュアンス的感情的、曖昧/弁別的、心理的ステートメントを含む同様のコンテンツに苦しむ。
本研究は、LSMを用いた研究効率向上の機会と課題を強調し、医療研究におけるSSIのスケーラブルな分析のための新たな道を開く。
関連論文リスト
- A Dual-Prompting for Interpretable Mental Health Language Models [11.33857985668663]
CLPsych 2024 Shared Taskは、Large Language Models (LLMs)の解釈可能性を高めることを目的としている。
i) 専門的アイデンティティと自殺辞書をメンタルヘルスに特有なLSMと組み合わせた知識認識型エビデンス抽出法と,(ii) LLMに基づく一貫性評価器を用いた要約手法を提案する。
論文 参考訳(メタデータ) (2024-02-20T06:18:02Z) - LLM Agents for Psychology: A Study on Gamified Assessments [71.08193163042107]
心理的な測定は、精神健康、自己理解、そして個人の発達に不可欠である。
心理学ゲームAgenT(サイコガト)は、信頼性、収束妥当性、差別的妥当性などの心理学的指標において統計的に有意な卓越性を達成している。
論文 参考訳(メタデータ) (2024-02-19T18:00:30Z) - From Classification to Clinical Insights: Towards Analyzing and
Reasoning About Mobile and Behavioral Health Data With Large Language Models [22.140953523632724]
我々は,多センサデータから臨床的に有用な知見を合成するために,大規模言語モデルを活用する新しいアプローチを採っている。
うつ病や不安などの症状とデータの傾向がどのように関連しているかを,LSMを用いて推論する思考促進手法の連鎖を構築した。
GPT-4のようなモデルでは数値データの75%を正確に参照しており、臨床参加者は、この手法を用いて自己追跡データを解釈することへの強い関心を表明している。
論文 参考訳(メタデータ) (2023-11-21T23:53:27Z) - Evaluating the Efficacy of Interactive Language Therapy Based on LLM for
High-Functioning Autistic Adolescent Psychological Counseling [1.1780706927049207]
本研究では,高機能自閉症青年に対する対話型言語治療におけるLarge Language Models(LLMs)の有効性について検討した。
LLMは、従来の心理学的カウンセリング手法を強化する新しい機会を提供する。
論文 参考訳(メタデータ) (2023-11-12T07:55:39Z) - Collaborative Evaluation: Exploring the Synergy of Large Language Models
and Humans for Open-ended Generation Evaluation [71.76872586182981]
大規模言語モデル(LLM)は、人間の評価に代わるスケーラブルで費用対効果の高い代替品として登場した。
本稿では,タスク固有の基準のチェックリストとテキストの詳細な評価を含む協調評価パイプラインCoEvalを提案する。
論文 参考訳(メタデータ) (2023-10-30T17:04:35Z) - Towards Mitigating Hallucination in Large Language Models via
Self-Reflection [63.2543947174318]
大規模言語モデル(LLM)は、質問応答(QA)タスクを含む生成的および知識集約的なタスクを約束している。
本稿では,広範に採用されているLCMとデータセットを用いた医療再生QAシステムにおける幻覚現象を解析する。
論文 参考訳(メタデータ) (2023-10-10T03:05:44Z) - Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。
26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
論文 参考訳(メタデータ) (2023-05-24T10:45:25Z) - Towards Interpretable Mental Health Analysis with Large Language Models [27.776003210275608]
大規模言語モデル(LLM)のメンタルヘルス分析と感情的推論能力は,5つのタスクにまたがる11のデータセット上で評価した。
本研究は, 精神保健分析のためのLCMについて, それぞれの意思決定に関する説明を提示するように指示することで, 解釈可能な精神保健分析を行う。
得られた説明の質を評価するために、厳密な人的評価を伝達し、163の人的評価による新しいデータセットを作成する。
論文 参考訳(メタデータ) (2023-04-06T19:53:59Z) - Large Language Models for Healthcare Data Augmentation: An Example on
Patient-Trial Matching [49.78442796596806]
患者-心電図マッチング(LLM-PTM)のための革新的なプライバシ対応データ拡張手法を提案する。
本実験では, LLM-PTM法を用いて平均性能を7.32%向上させ, 新しいデータへの一般化性を12.12%向上させた。
論文 参考訳(メタデータ) (2023-03-24T03:14:00Z) - MET: Multimodal Perception of Engagement for Telehealth [52.54282887530756]
ビデオから人間のエンゲージメントレベルを知覚する学習ベースアルゴリズムMETを提案する。
我々はメンタルヘルス患者のエンゲージメント検出のための新しいデータセットMEDICAをリリースした。
論文 参考訳(メタデータ) (2020-11-17T15:18:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。