論文の概要: MHQA: A Diverse, Knowledge Intensive Mental Health Question Answering Challenge for Language Models

• arxiv url: http://arxiv.org/abs/2502.15418v1
• Date: Fri, 21 Feb 2025 12:37:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:09:50.134061
• Title: MHQA: A Diverse, Knowledge Intensive Mental Health Question Answering Challenge for Language Models
• Title（参考訳）: MHQA: 言語モデルに対する多様な知識集中型メンタルヘルス質問への回答
• Authors: Suraj Racha, Prashant Joshi, Anshika Raman, Nikita Jangid, Mridul Sharma, Ganesh Ramakrishnan, Nirmal Punjabi,
• Abstract要約: メンタルヘルスは、うつ病や不安など、世界中で難しい問題であり続けている。 メンタルヘルスには質問応答(QA)のための標準ベンチマークデータセットが不足している。 我々の研究は、言語モデル(LM)のベンチマークのための新しいマルチ選択データセット、MHQA(Mental Health Question Answering)を提案する。
• 参考スコア（独自算出の注目度）: 14.977595131058132
• License:
• Abstract: Mental health remains a challenging problem all over the world, with issues like depression, anxiety becoming increasingly common. Large Language Models (LLMs) have seen a vast application in healthcare, specifically in answering medical questions. However, there is a lack of standard benchmarking datasets for question answering (QA) in mental health. Our work presents a novel multiple choice dataset, MHQA (Mental Health Question Answering), for benchmarking Language models (LMs). Previous mental health datasets have focused primarily on text classification into specific labels or disorders. MHQA, on the other hand, presents question-answering for mental health focused on four key domains: anxiety, depression, trauma, and obsessive/compulsive issues, with diverse question types, namely, factoid, diagnostic, prognostic, and preventive. We use PubMed abstracts as the primary source for QA. We develop a rigorous pipeline for LLM-based identification of information from abstracts based on various selection criteria and converting it into QA pairs. Further, valid QA pairs are extracted based on post-hoc validation criteria. Overall, our MHQA dataset consists of 2,475 expert-verified gold standard instances called MHQA-gold and ~56.1k pairs pseudo labeled using external medical references. We report F1 scores on different LLMs along with few-shot and supervised fine-tuning experiments, further discussing the insights for the scores.
• Abstract（参考訳）: メンタルヘルスは、うつ病や不安など、世界中で難しい問題であり続けている。 大規模言語モデル(LLM)は医療、特に医学的問題への回答において大きな応用例がある。 しかし、メンタルヘルスには質問応答(QA)のための標準ベンチマークデータセットが不足している。 本稿では,MHQA(Mental Health Question Answering)という,言語モデル(LM)のベンチマークのための新しい選択データセットを提案する。 これまでのメンタルヘルスデータセットは、主に特定のラベルや障害へのテキスト分類に焦点を当ててきた。 一方、MHQAは、不安、抑うつ、トラウマ、強迫的/強迫的な4つの主要な領域、すなわちファクトイド、診断、予後、予防の4つの問題に焦点を当てたメンタルヘルスに対する質問答えを提示している。 当社では、QAの主要なソースとしてPubMedの抽象化を使用します。 我々は,様々な選択基準に基づいて,LLMに基づく情報抽出のための厳密なパイプラインを開発し,それをQAペアに変換する。 さらに、ポストホック検証基準に基づいて有効なQAペアを抽出する。 私たちのMHQAデータセットは、MHQA-goldと呼ばれる2,475人の専門家によって検証された金の標準インスタンスと、外部医療基準を用いて擬似ラベル付けされた56.1kペアで構成されています。 異なるLLMのF1スコアと、いくつかのショットと教師付き微調整実験を報告し、さらにスコアの洞察について考察した。

関連論文リスト

• MedXpertQA: Benchmarking Expert-Level Medical Reasoning and Understanding [20.83722922095852]
  MedXpertQAには17の専門分野と11の身体システムにまたがる4,460の質問が含まれている。 MMは、多様な画像と豊富な臨床情報を備えた専門家レベルの試験問題を導入する。
  論文  参考訳（メタデータ） (2025-01-30T14:07:56Z)
• LlaMADRS: Prompting Large Language Models for Interview-Based Depression Assessment [75.44934940580112]
  LlaMADRSは、オープンソースのLarge Language Models(LLM)を利用して、うつ病の重症度評価を自動化する新しいフレームワークである。 本研究は,クリニカルインタヴューの解釈・スコアリングにおけるモデル指導のために,慎重に設計された手がかりを用いたゼロショットプロンプト戦略を用いている。 実世界における236件のインタビューを対象とし,臨床評価と強い相関性を示した。
  論文  参考訳（メタデータ） (2025-01-07T08:49:04Z)
• MentalArena: Self-play Training of Language Models for Diagnosis and Treatment of Mental Health Disorders [59.515827458631975]
  メンタルヘルス障害は世界で最も深刻な病気の1つである。 プライバシーに関する懸念は、パーソナライズされた治療データのアクセシビリティを制限する。 MentalArenaは、言語モデルをトレーニングするためのセルフプレイフレームワークである。
  論文  参考訳（メタデータ） (2024-10-09T13:06:40Z)
• Depression Detection and Analysis using Large Language Models on Textual and Audio-Visual Modalities [25.305909441170993]
  うつ病は公衆衛生上の重大な問題であり、個人の心理的健康に大きな影響を与えている。 診断されていない場合、うつ病は重篤な健康問題を引き起こし、身体的に現れて自殺に至る。
  論文  参考訳（メタデータ） (2024-07-08T17:00:51Z)
• LLM Questionnaire Completion for Automatic Psychiatric Assessment [49.1574468325115]
  大規模言語モデル(LLM)を用いて、非構造的心理面接を、様々な精神科領域と人格領域にまたがる構造化された質問票に変換する。 得られた回答は、うつ病の標準化された精神医学的指標(PHQ-8)とPTSD(PCL-C)の予測に使用される特徴として符号化される。
  論文  参考訳（メタデータ） (2024-06-09T09:03:11Z)
• MentalQA: An Annotated Arabic Corpus for Questions and Answers of Mental Healthcare [0.1638581561083717]
  MentalQAは、会話型Q&A(QA)インタラクションを特徴とする、アラビア語の新しいデータセットである。 データは質問に答える医療プラットフォームから収集された。 MentalQAは、メンタルヘルスの専門家や情報を求める個人を支援するアラビアのテキストマイニングツールを開発するための貴重な基盤を提供する。
  論文  参考訳（メタデータ） (2024-05-21T09:16:38Z)
• XAIQA: Explainer-Based Data Augmentation for Extractive Question Answering [1.1867812760085572]
  我々は,電子カルテで自然に利用可能なデータから,合成QAペアを大規模に生成するための新しいアプローチであるXAIQAを紹介する。 本手法は、分類モデル説明器の考え方を用いて、医療規範に対応する医療概念に関する質問や回答を生成する。
  論文  参考訳（メタデータ） (2023-12-06T15:59:06Z)
• Med-Flamingo: a Multimodal Medical Few-shot Learner [58.85676013818811]
  医療領域に適応したマルチモーダル・数ショット学習者であるMed-Flamingoを提案する。 OpenFlamingo-9Bに基づいて、出版物や教科書からの医療画像テキストデータのペア化とインターリーブ化を継続する。 本研究は,医療用VQA(ジェネレーティブ医療用VQA)の最初の人間評価である。
  論文  参考訳（メタデータ） (2023-07-27T20:36:02Z)
• Generating multiple-choice questions for medical question answering with distractors and cue-masking [17.837685583005566]
  医学的多重選択質問応答(MCQA)は特に困難である。 標準言語モデリングの事前訓練だけでは、最良の結果を得るには不十分です。
  論文  参考訳（メタデータ） (2023-03-13T12:45:01Z)
• Medical Visual Question Answering: A Survey [55.53205317089564]
  VQA(Medicical Visual Question Answering)は、医療用人工知能と一般的なVQA課題の組み合わせである。 医療用VQAシステムは,医療用画像と自然言語による臨床的に関連性のある質問を前提として,妥当かつ説得力のある回答を予測することが期待されている。
  論文  参考訳（メタデータ） (2021-11-19T05:55:15Z)
• Interpretable Multi-Step Reasoning with Knowledge Extraction on Complex Healthcare Question Answering [89.76059961309453]
  HeadQAデータセットには、公衆医療専門試験で認可された複数の選択質問が含まれている。 これらの質問は、現在のQAシステムにとって最も難しいものです。 知識抽出フレームワーク(MurKe)を用いた多段階推論を提案する。 市販の事前訓練モデルを完全に活用しようと努力しています。
  論文  参考訳（メタデータ） (2020-08-06T02:47:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。