論文の概要: Evaluating the Effectiveness of the Foundational Models for Q&A Classification in Mental Health care

• arxiv url: http://arxiv.org/abs/2406.15966v1
• Date: Sun, 23 Jun 2024 00:11:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 19:43:16.042372
• Title: Evaluating the Effectiveness of the Foundational Models for Q&A Classification in Mental Health care
• Title（参考訳）: メンタルヘルスにおけるQ&A分類のための基礎モデルの有効性の評価
• Authors: Hassan Alhuzali, Ashwag Alasmari,
• Abstract要約: プレトレーニング言語モデル(PLM)は、メンタルヘルスを変革する可能性がある。 本研究は,精神保健領域における質問紙と回答紙の分類におけるPLMの有効性を評価するものである。
• 参考スコア（独自算出の注目度）: 0.18416014644193068
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Pre-trained Language Models (PLMs) have the potential to transform mental health support by providing accessible and culturally sensitive resources. However, despite this potential, their effectiveness in mental health care and specifically for the Arabic language has not been extensively explored. To bridge this gap, this study evaluates the effectiveness of foundational models for classification of Questions and Answers (Q&A) in the domain of mental health care. We leverage the MentalQA dataset, an Arabic collection featuring Q&A interactions related to mental health. In this study, we conducted experiments using four different types of learning approaches: traditional feature extraction, PLMs as feature extractors, Fine-tuning PLMs and prompting large language models (GPT-3.5 and GPT-4) in zero-shot and few-shot learning settings. While traditional feature extractors combined with Support Vector Machines (SVM) showed promising performance, PLMs exhibited even better results due to their ability to capture semantic meaning. For example, MARBERT achieved the highest performance with a Jaccard Score of 0.80 for question classification and a Jaccard Score of 0.86 for answer classification. We further conducted an in-depth analysis including examining the effects of fine-tuning versus non-fine-tuning, the impact of varying data size, and conducting error analysis. Our analysis demonstrates that fine-tuning proved to be beneficial for enhancing the performance of PLMs, and the size of the training data played a crucial role in achieving high performance. We also explored prompting, where few-shot learning with GPT-3.5 yielded promising results. There was an improvement of 12% for question and classification and 45% for answer classification. Based on our findings, it can be concluded that PLMs and prompt-based approaches hold promise for mental health support in Arabic.
• Abstract（参考訳）: プレトレーニング言語モデル(PLM)は、アクセス可能で文化的に敏感なリソースを提供することで、メンタルヘルスを変革する可能性がある。 しかし、この可能性にもかかわらず、精神医療におけるその効果、特にアラビア語に対する効果は広く調査されていない。 このギャップを埋めるため,精神保健分野における質問紙・回答紙(Q&A)の分類における基礎モデルの有効性について検討した。 我々は、メンタルヘルスに関連するQ&Aインタラクションを特徴とするアラビア語コレクションであるMentalQAデータセットを活用する。 本研究では,従来の特徴抽出法,特徴抽出法としてのPLM,微調整型PLM,ゼロショットおよび少数ショットの学習環境における大規模言語モデル(GPT-3.5およびGPT-4)の4種類の学習手法を用いて実験を行った。 Support Vector Machines (SVM) と組み合わせた従来の機能抽出器は有望な性能を示したが、PLMは意味的な意味をキャプチャする能力により、さらに優れた結果を示した。 例えば、MARBERTは質問分類で0.80のジャカードスコア、回答分類で0.86のジャカードスコアで最高性能を達成した。 さらに、微調整と非微調整の効果、データサイズの変化の影響、誤り解析の実施など、詳細な分析を行った。 解析の結果, PLMの性能向上には微調整が有用であることが示され, トレーニングデータのサイズは高い性能を達成する上で重要な役割を担った。 また, GPT-3.5による少数ショット学習が有望な結果をもたらすプロンプトについても検討した。 質問紙分類では12%,回答分類では45%の改善があった。 以上の結果から, PLMとプロンプトに基づくアプローチは, アラビア語におけるメンタルヘルス支援を約束していると結論付けることができる。

関連論文リスト

• Large Language Models for Patient Comments Multi-Label Classification [3.670008893193884]
  本研究は,多ラベルテキスト分類(MLTC)におけるLLM(Large Language Models)の活用について検討する。 GPT-4 ターボは分類を行うために利用された。 プロンプトエンジニアリングフレームワークを使用することで、ゼロショット学習、インコンテキスト学習、チェーンオブ思考プロンプトを実験した。
  論文  参考訳（メタデータ） (2024-10-31T00:29:52Z)
• Self-Training with Pseudo-Label Scorer for Aspect Sentiment Quad Prediction [54.23208041792073]
  Aspect Sentiment Quad Prediction (ASQP) は、与えられたレビューに対して全てのクワッド(アスペクト項、アスペクトカテゴリー、意見項、感情極性)を予測することを目的としている。 ASQPタスクにおける重要な課題はラベル付きデータの不足であり、既存のメソッドのパフォーマンスを制限している。 そこで我々は,擬似ラベルスコアラーを用いた自己学習フレームワークを提案し,レビューと擬似ラベルの一致をスコアラーが評価する。
  論文  参考訳（メタデータ） (2024-06-26T05:30:21Z)
• Comparing the Efficacy of GPT-4 and Chat-GPT in Mental Health Care: A Blind Assessment of Large Language Models for Psychological Support [0.0]
  GPT-4とChat-GPTの2つの大きな言語モデルが18種類の心理的刺激に反応して試験された。 GPT-4は10点中8.29点、Chat-GPTは6.52点だった。
  論文  参考訳（メタデータ） (2024-05-15T12:44:54Z)
• Adapting Mental Health Prediction Tasks for Cross-lingual Learning via Meta-Training and In-context Learning with Large Language Model [3.3590922002216193]
  モデルに依存しないメタラーニングと,このギャップに対処するために大規模言語モデル(LLM)を活用する。 まず,自己超越型メタラーニングモデルを適用し,迅速な適応と言語間移動のためのモデル初期化を改良する。 並行して、LLMのインコンテキスト学習機能を用いて、スワヒリのメンタルヘルス予測タスクにおけるパフォーマンスの精度を評価する。
  論文  参考訳（メタデータ） (2024-04-13T17:11:35Z)
• F-Eval: Assessing Fundamental Abilities with Refined Evaluation Methods [102.98899881389211]
  F-Evalは、表現、常識、論理などの基本能力を評価するためのバイリンガル評価ベンチマークである。 参照不要な主観的タスクに対しては,APIモデルによるスコアの代替として,新たな評価手法を考案する。
  論文  参考訳（メタデータ） (2024-01-26T13:55:32Z)
• LLaMA Beyond English: An Empirical Study on Language Capability Transfer [49.298360366468934]
  我々は、言語生成の能力と指示を英語以外の言語に効果的に伝達する方法に焦点をあてる。 本稿では,語彙拡張や事前学習,トランスファーに対する指導指導などの重要な要因が与える影響について分析する。 C-Eval、MMLU、AGI-Eval、GAokao-Benchの4つの広く使われている標準テストベンチマークを採用しています。
  論文  参考訳（メタデータ） (2024-01-02T06:29:02Z)
• Mental-LLM: Leveraging Large Language Models for Mental Health Prediction via Online Text Data [42.965788205842465]
  本稿では,様々なメンタルヘルス予測タスクにおける多言語モデル(LLM)の包括的評価について述べる。 ゼロショットプロンプト、少数ショットプロンプト、微調整を含む実験を行う。 我々の最も精巧なモデルであるMental-AlpacaとMental-FLAN-T5は、バランスの取れた精度でGPT-3.5を10.9%上回り、GPT-4(250倍、150倍)を4.8%上回りました。
  論文  参考訳（メタデータ） (2023-07-26T06:00:50Z)
• Evaluating the Performance of Large Language Models on GAOKAO Benchmark [53.663757126289795]
  本稿では,中国のガオカオ検定の質問をサンプルとして用いた直感的なベンチマークであるガオカオベンチについて紹介する。 人間の評価により, GPT-4, ChatGPT, ERNIE-Botを含むLLMの変換総得点を得た。 また、LLMを用いて主観的質問を格付けし、モデルスコアが人間のスコアと適度な一貫性を達成することを確認する。
  論文  参考訳（メタデータ） (2023-05-21T14:39:28Z)
• Towards Interpretable Mental Health Analysis with Large Language Models [27.776003210275608]
  大規模言語モデル(LLM)のメンタルヘルス分析と感情的推論能力は,5つのタスクにまたがる11のデータセット上で評価した。 本研究は, 精神保健分析のためのLCMについて, それぞれの意思決定に関する説明を提示するように指示することで, 解釈可能な精神保健分析を行う。 得られた説明の質を評価するために、厳密な人的評価を伝達し、163の人的評価による新しいデータセットを作成する。
  論文  参考訳（メタデータ） (2023-04-06T19:53:59Z)
• Estimating and Improving Fairness with Adversarial Learning [65.99330614802388]
  本研究では,深層学習に基づく医療画像解析システムにおけるバイアスの同時緩和と検出を目的としたマルチタスク・トレーニング戦略を提案する。 具体的には,バイアスに対する識別モジュールと,ベース分類モデルにおける不公平性を予測するクリティカルモジュールを追加することを提案する。 大規模で利用可能な皮膚病変データセットのフレームワークを評価します。
  論文  参考訳（メタデータ） (2021-03-07T03:10:32Z)
• MET: Multimodal Perception of Engagement for Telehealth [52.54282887530756]
  ビデオから人間のエンゲージメントレベルを知覚する学習ベースアルゴリズムMETを提案する。 我々はメンタルヘルス患者のエンゲージメント検出のための新しいデータセットMEDICAをリリースした。
  論文  参考訳（メタデータ） (2020-11-17T15:18:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。