論文の概要: RACER: An LLM-powered Methodology for Scalable Analysis of
Semi-structured Mental Health Interviews
- arxiv url: http://arxiv.org/abs/2402.02656v1
- Date: Mon, 5 Feb 2024 00:56:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 18:10:37.140252
- Title: RACER: An LLM-powered Methodology for Scalable Analysis of
Semi-structured Mental Health Interviews
- Title（参考訳）: RACER:半構造化メンタルヘルスインタビューのスケーラブル分析のためのLLMを利用した方法論
- Authors: Satpreet Harcharan Singh, Kevin Jiang, Kanchan Bhasin, Ashutosh
Sabharwal, Nidal Moukaddam, Ankit B Patel
- Abstract要約: 我々は,専門家が指導する自動パイプラインであるRACERを開発し,生のインタビュー書き起こしをドメイン関連テーマやサブテーマに効率的に変換する。
RACERは、人間間の合意に近づいた2人の評価者と、適度に高い合意を達成している。
本研究は、LSMを用いた研究効率向上の機会と課題を強調し、医療研究におけるSSIのスケーラブルな分析のための新たな道を開く。
- 参考スコア（独自算出の注目度）: 8.706825633594487
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Semi-structured interviews (SSIs) are a commonly employed data-collection
method in healthcare research, offering in-depth qualitative insights into
subject experiences. Despite their value, the manual analysis of SSIs is
notoriously time-consuming and labor-intensive, in part due to the difficulty
of extracting and categorizing emotional responses, and challenges in scaling
human evaluation for large populations. In this study, we develop RACER, a
Large Language Model (LLM) based expert-guided automated pipeline that
efficiently converts raw interview transcripts into insightful domain-relevant
themes and sub-themes. We used RACER to analyze SSIs conducted with 93
healthcare professionals and trainees to assess the broad personal and
professional mental health impacts of the COVID-19 crisis. RACER achieves
moderately high agreement with two human evaluators (72%), which approaches the
human inter-rater agreement (77%). Interestingly, LLMs and humans struggle with
similar content involving nuanced emotional, ambivalent/dialectical, and
psychological statements. Our study highlights the opportunities and challenges
in using LLMs to improve research efficiency and opens new avenues for scalable
analysis of SSIs in healthcare research.
- Abstract（参考訳）: 半構造化面接(SSI)は、医療研究において一般的に用いられるデータ収集手法であり、被験者の体験に関する詳細な質的な洞察を提供する。
その価値にもかかわらず、SSIのマニュアル分析は、感情的な反応を抽出し分類することの難しさや、大集団に対する人間の評価をスケールすることの難しさから、時間と労働集約性で悪名高い。
本研究では,大規模言語モデル (llm) をベースとする専門家主導の自動化パイプラインであるracerを開発した。
我々はRACERを用いて、93人の医療専門家と研修生によるSSIを分析し、COVID-19危機における幅広い個人的・専門的なメンタルヘルスへの影響を評価する。
レーサーは2人の人間蒸発者(72%)と適度に高い合意に達し、人間間利回り協定(77%)に接近する。
興味深いことに、llmと人間は、ニュアンス的感情的、曖昧/弁別的、心理的ステートメントを含む同様のコンテンツに苦しむ。
本研究は、LSMを用いた研究効率向上の機会と課題を強調し、医療研究におけるSSIのスケーラブルな分析のための新たな道を開く。
関連論文リスト
- Lived Experience Not Found: LLMs Struggle to Align with Experts on Addressing Adverse Drug Reactions from Psychiatric Medication Use [12.20196937316912]
精神医学薬の副作用薬物反応(英: Adverse Drug Reactions, ADRs)は、精神疾患患者の入院の主要な原因である。
ADRに関連する問題を解決するための制限に直面している医療システムでは、LLM(Large Language Models)がこのギャップを埋める可能性がある。
我々の研究は、リスクの高いドメイン内の戦略駆動タスクにおけるLCMを評価するための総合的なベンチマークと評価フレームワークを提供する。
論文 参考訳（メタデータ） (2024-10-24T20:49:22Z) - The LLM Effect: Are Humans Truly Using LLMs, or Are They Being Influenced By Them Instead? [60.01746782465275]
大規模言語モデル(LLM)は、様々な分析タスクにおいて、人間のパフォーマンスに近い能力を示している。
本稿では,Human-LLMパートナーシップに着目した構造化ユーザスタディにより,特殊作業におけるLLMの効率と精度について検討する。
論文 参考訳（メタデータ） (2024-10-07T02:30:18Z) - Depression Detection and Analysis using Large Language Models on Textual and Audio-Visual Modalities [25.305909441170993]
うつ病は公衆衛生上の重大な問題であり、個人の心理的健康に大きな影響を与えている。
診断されていない場合、うつ病は重篤な健康問題を引き起こし、身体的に現れて自殺に至る。
論文 参考訳（メタデータ） (2024-07-08T17:00:51Z) - Unveiling the Achilles' Heel of NLG Evaluators: A Unified Adversarial Framework Driven by Large Language Models [52.368110271614285]
我々は,NLG評価器に対する新しいブラックボックス対逆フレームワークであるAdvEvalを紹介する。
AdvEvalは、人間と被害者の評価者との強い意見の相違をもたらすデータを生成するために特別に調整されている。
我々は,12名の被害者評価者と11名のNLGデータセットを用いて,対話,要約,質問評価などのタスクを分散した実験を行った。
論文 参考訳（メタデータ） (2024-05-23T14:48:15Z) - From Classification to Clinical Insights: Towards Analyzing and Reasoning About Mobile and Behavioral Health Data With Large Language Models [21.427976533706737]
我々は,多センサデータから臨床的に有用な知見を合成するために,大規模言語モデルを活用する新しいアプローチを採っている。
うつ病や不安などの症状とデータの傾向がどのように関連しているかを,LSMを用いて推論する思考促進手法の連鎖を構築した。
GPT-4のようなモデルでは数値データの75%を正確に参照しており、臨床参加者は、この手法を用いて自己追跡データを解釈することへの強い関心を表明している。
論文 参考訳（メタデータ） (2023-11-21T23:53:27Z) - Evaluating the Efficacy of Interactive Language Therapy Based on LLM for
High-Functioning Autistic Adolescent Psychological Counseling [1.1780706927049207]
本研究では,高機能自閉症青年に対する対話型言語治療におけるLarge Language Models(LLMs)の有効性について検討した。
LLMは、従来の心理学的カウンセリング手法を強化する新しい機会を提供する。
論文 参考訳（メタデータ） (2023-11-12T07:55:39Z) - Collaborative Evaluation: Exploring the Synergy of Large Language Models
and Humans for Open-ended Generation Evaluation [71.76872586182981]
大規模言語モデル(LLM)は、人間の評価に代わるスケーラブルで費用対効果の高い代替品として登場した。
本稿では,タスク固有の基準のチェックリストとテキストの詳細な評価を含む協調評価パイプラインCoEvalを提案する。
論文 参考訳（メタデータ） (2023-10-30T17:04:35Z) - Towards Mitigating Hallucination in Large Language Models via
Self-Reflection [63.2543947174318]
大規模言語モデル(LLM)は、質問応答(QA)タスクを含む生成的および知識集約的なタスクを約束している。
本稿では,広範に採用されているLCMとデータセットを用いた医療再生QAシステムにおける幻覚現象を解析する。
論文 参考訳（メタデータ） (2023-10-10T03:05:44Z) - Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。
26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
論文 参考訳（メタデータ） (2023-05-24T10:45:25Z) - Towards Interpretable Mental Health Analysis with Large Language Models [27.776003210275608]
大規模言語モデル(LLM)のメンタルヘルス分析と感情的推論能力は,5つのタスクにまたがる11のデータセット上で評価した。
本研究は, 精神保健分析のためのLCMについて, それぞれの意思決定に関する説明を提示するように指示することで, 解釈可能な精神保健分析を行う。
得られた説明の質を評価するために、厳密な人的評価を伝達し、163の人的評価による新しいデータセットを作成する。
論文 参考訳（メタデータ） (2023-04-06T19:53:59Z) - Large Language Models for Healthcare Data Augmentation: An Example on
Patient-Trial Matching [49.78442796596806]
患者-心電図マッチング(LLM-PTM)のための革新的なプライバシ対応データ拡張手法を提案する。
本実験では, LLM-PTM法を用いて平均性能を7.32%向上させ, 新しいデータへの一般化性を12.12%向上させた。
論文 参考訳（メタデータ） (2023-03-24T03:14:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。