論文の概要: A Systematic Evaluation of LLM Strategies for Mental Health Text Analysis: Fine-tuning vs. Prompt Engineering vs. RAG
- arxiv url: http://arxiv.org/abs/2503.24307v1
- Date: Mon, 31 Mar 2025 16:54:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-01 14:40:03.748749
- Title: A Systematic Evaluation of LLM Strategies for Mental Health Text Analysis: Fine-tuning vs. Prompt Engineering vs. RAG
- Title(参考訳): メンタルヘルステキスト分析のためのLCM戦略の体系的評価:微調整対プロンプトエンジニアリング対RAG
- Authors: Arshia Kermani, Veronica Perez-Rosas, Vangelis Metsis,
- Abstract要約: 本研究では,大規模言語モデル(LLM)を用いたメンタルヘルステキスト分析における3つのアプローチの体系的比較を行った。
感情分類と精神状態検出タスクを2つのデータセットに分けて評価した。
- 参考スコア(独自算出の注目度): 2.498836880652668
- License:
- Abstract: This study presents a systematic comparison of three approaches for the analysis of mental health text using large language models (LLMs): prompt engineering, retrieval augmented generation (RAG), and fine-tuning. Using LLaMA 3, we evaluate these approaches on emotion classification and mental health condition detection tasks across two datasets. Fine-tuning achieves the highest accuracy (91% for emotion classification, 80% for mental health conditions) but requires substantial computational resources and large training sets, while prompt engineering and RAG offer more flexible deployment with moderate performance (40-68% accuracy). Our findings provide practical insights for implementing LLM-based solutions in mental health applications, highlighting the trade-offs between accuracy, computational requirements, and deployment flexibility.
- Abstract(参考訳): 本研究では,大規模言語モデル(LLM)を用いたメンタルヘルステキスト分析における3つのアプローチの体系的比較を行った。
LLaMA3を用いて,2つのデータセットの感情分類と精神状態検出タスクの評価を行った。
微調整は、感情分類では91%、精神状態では80%)最も精度が高いが、かなりの計算資源と大規模なトレーニングセットを必要とする。
本研究は,メンタルヘルスアプリケーションにおけるLCMベースのソリューションの実装に関する実践的知見を提供し,精度,計算要求,デプロイメントの柔軟性のトレードオフを強調した。
関連論文リスト
- FIND: Fine-grained Information Density Guided Adaptive Retrieval-Augmented Generation for Disease Diagnosis [13.806201934732321]
FIND(textbfFine-fine textbfInformation textbfDensity Guided Adaptive RAG)は、疾患診断シナリオにおけるRAGの信頼性を向上させる新しいフレームワークである。
論文 参考訳(メタデータ) (2025-02-20T14:52:36Z) - Conversation AI Dialog for Medicare powered by Finetuning and Retrieval Augmented Generation [0.0]
大きな言語モデル(LLM)は、対話生成を含む自然言語処理タスクにおいて印象的な機能を示している。
本研究の目的は、LoRAによる微調整とRetrieval-Augmented Generationフレームワークという、2つの重要な技術の比較分析を行うことである。
論文 参考訳(メタデータ) (2025-02-04T11:50:40Z) - Evaluating Computational Accuracy of Large Language Models in Numerical Reasoning Tasks for Healthcare Applications [0.0]
医療分野で大きな言語モデル(LLM)が変革的なツールとして登場した。
数値推論の習熟度、特に臨床応用のような高い評価の領域では、未解明のままである。
本研究では,医療現場における数値推論作業におけるLCMの計算精度について検討した。
論文 参考訳(メタデータ) (2025-01-14T04:29:43Z) - LlaMADRS: Prompting Large Language Models for Interview-Based Depression Assessment [75.44934940580112]
LlaMADRSは、オープンソースのLarge Language Models(LLM)を利用して、うつ病の重症度評価を自動化する新しいフレームワークである。
本研究は,クリニカルインタヴューの解釈・スコアリングにおけるモデル指導のために,慎重に設計された手がかりを用いたゼロショットプロンプト戦略を用いている。
実世界における236件のインタビューを対象とし,臨床評価と強い相関性を示した。
論文 参考訳(メタデータ) (2025-01-07T08:49:04Z) - Are LLMs effective psychological assessors? Leveraging adaptive RAG for interpretable mental health screening through psychometric practice [2.9775344067885974]
本稿では,ソーシャルメディアの投稿を分析し,心理的アンケートを補完する適応型検索・拡張生成(RAG)手法を提案する。
本手法は,心理調査において各質問に対する最も関連性の高いユーザ投稿を検索し,ゼロショット環境でのアンケート結果の予測にLarge Language Models (LLMs) を用いる。
論文 参考訳(メタデータ) (2025-01-02T00:01:54Z) - Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering [70.44269982045415]
Retrieval-augmented Generation (RAG) は,大規模言語モデル (LLM) の性能向上のための有望なアプローチとして登場した。
医療用QAデータセットに様々な補助的要素を提供するMedRGB(MedRGB)を導入する。
実験結果から,検索した文書のノイズや誤情報の処理能力に限界があることが判明した。
論文 参考訳(メタデータ) (2024-11-14T06:19:18Z) - SouLLMate: An Application Enhancing Diverse Mental Health Support with Adaptive LLMs, Prompt Engineering, and RAG Techniques [9.146311285410631]
メンタルヘルスの問題は個人の日常生活に大きな影響を及ぼすが、多くの人は利用可能なオンラインリソースでも必要な支援を受けていない。
この研究は、最先端のAI技術を通じて、多様な、アクセス可能な、スティグマのない、パーソナライズされた、リアルタイムのメンタルヘルスサポートを提供することを目的としている。
論文 参考訳(メタデータ) (2024-10-17T22:04:32Z) - MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。
本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。
メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
論文 参考訳(メタデータ) (2024-06-20T03:50:23Z) - NeuralSympCheck: A Symptom Checking and Disease Diagnostic Neural Model
with Logic Regularization [59.15047491202254]
症状検査システムは、患者に症状を問い合わせ、迅速で手頃な価格の医療評価を行う。
本稿では,論理正則化を用いたニューラルネットワークの教師付き学習に基づく新しい手法を提案する。
以上の結果から,本手法は診断回数や症状が大きい場合の診断精度において,最も優れた方法であることがわかった。
論文 参考訳(メタデータ) (2022-06-02T07:57:17Z) - Resource Planning for Hospitals Under Special Consideration of the
COVID-19 Pandemic: Optimization and Sensitivity Analysis [87.31348761201716]
新型コロナウイルス(covid-19)パンデミックのような危機は、医療機関にとって深刻な課題となる。
BaBSim.Hospitalは離散イベントシミュレーションに基づく容量計画ツールである。
BaBSim.Hospitalを改善するためにこれらのパラメータを調査し最適化することを目指しています。
論文 参考訳(メタデータ) (2021-05-16T12:38:35Z) - MET: Multimodal Perception of Engagement for Telehealth [52.54282887530756]
ビデオから人間のエンゲージメントレベルを知覚する学習ベースアルゴリズムMETを提案する。
我々はメンタルヘルス患者のエンゲージメント検出のための新しいデータセットMEDICAをリリースした。
論文 参考訳(メタデータ) (2020-11-17T15:18:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。