論文の概要: A Gold Standard Dataset and Evaluation Framework for Depression Detection and Explanation in Social Media using LLMs

• arxiv url: http://arxiv.org/abs/2507.19899v1
• Date: Sat, 26 Jul 2025 10:01:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:56.379595
• Title: A Gold Standard Dataset and Evaluation Framework for Depression Detection and Explanation in Social Media using LLMs
• Title（参考訳）: LLMを用いたソーシャルメディアにおける抑うつ検出・説明のためのゴールドスタンダードデータセットと評価フレームワーク
• Authors: Prajval Bolegave, Pushpak Bhattacharya,
• Abstract要約: オンラインソーシャルメディア投稿からうつ病の早期発見は、タイムリーなメンタルヘルス介入を提供するという約束を掲げている。 抑うつ的スパンをラベル付けした1017のソーシャルメディア投稿を,12の抑うつ症状カテゴリにマッピングし,高品質で専門家による注釈付きデータセットを提示する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Early detection of depression from online social media posts holds promise for providing timely mental health interventions. In this work, we present a high-quality, expert-annotated dataset of 1,017 social media posts labeled with depressive spans and mapped to 12 depression symptom categories. Unlike prior datasets that primarily offer coarse post-level labels \cite{cohan-etal-2018-smhd}, our dataset enables fine-grained evaluation of both model predictions and generated explanations. We develop an evaluation framework that leverages this clinically grounded dataset to assess the faithfulness and quality of natural language explanations generated by large language models (LLMs). Through carefully designed prompting strategies, including zero-shot and few-shot approaches with domain-adapted examples, we evaluate state-of-the-art proprietary LLMs including GPT-4.1, Gemini 2.5 Pro, and Claude 3.7 Sonnet. Our comprehensive empirical analysis reveals significant differences in how these models perform on clinical explanation tasks, with zero-shot and few-shot prompting. Our findings underscore the value of human expertise in guiding LLM behavior and offer a step toward safer, more transparent AI systems for psychological well-being.
• Abstract（参考訳）: オンラインソーシャルメディア投稿からうつ病の早期発見は、タイムリーなメンタルヘルス介入を提供するという約束を掲げている。 本研究は,抑うつ性スパンをラベル付けした1017のソーシャルメディア投稿を,12の抑うつ症状カテゴリにマッピングし,高品質で専門家による注釈付きデータセットを提示する。 主に粗いポストレベルラベルを提供する以前のデータセットとは異なり、我々のデータセットはモデル予測と生成された説明の両方のきめ細かい評価を可能にする。 本研究では,この臨床基盤的データセットを利用して,大規模言語モデル(LLM)が生成する自然言語説明の忠実度と品質を評価する。 GPT-4.1、Gemini 2.5 Pro、Claude 3.7 Sonnetなど、最先端のプロプライエタリなLCMの評価を行った。 包括的実証分析により、これらのモデルが臨床的説明課題でどのように機能するかに大きな違いが示され、ゼロショットと少数ショットのプロンプトが示される。 我々の発見は、LLM行動の指導における人間の専門知識の価値を浮き彫りにし、心理的幸福のためにより安全で透明なAIシステムへの一歩を踏み出した。

関連論文リスト

• Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
  MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。 本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。 このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
  論文  参考訳（メタデータ） (2025-03-06T18:35:39Z)
• LlaMADRS: Prompting Large Language Models for Interview-Based Depression Assessment [75.44934940580112]
  LlaMADRSは、オープンソースのLarge Language Models(LLM)を利用して、うつ病の重症度評価を自動化する新しいフレームワークである。 本研究は,クリニカルインタヴューの解釈・スコアリングにおけるモデル指導のために,慎重に設計された手がかりを用いたゼロショットプロンプト戦略を用いている。 実世界における236件のインタビューを対象とし,臨床評価と強い相関性を示した。
  論文  参考訳（メタデータ） (2025-01-07T08:49:04Z)
• A BERT-Based Summarization approach for depression detection [1.7363112470483526]
  うつ病は世界中で流行する精神疾患であり、対処されないと深刻な反感を引き起こす可能性がある。 機械学習と人工知能は、さまざまなデータソースからのうつ病指標を自律的に検出することができる。 本研究では,入力テキストの長さと複雑さを低減させる前処理手法として,テキスト要約を提案する。
  論文  参考訳（メタデータ） (2024-09-13T02:14:34Z)
• WellDunn: On the Robustness and Explainability of Language Models and Large Language Models in Identifying Wellness Dimensions [46.60244609728416]
  言語モデル (LMs) は, 予後不良のリスクが高まれば, 臨床実習におけるモデルの実用性に対するリトマステストにはならない可能性がある, メンタルヘルスの分野では, 言語モデル (LMs) が提案されている。 ウェルネス次元(WD)の同定におけるLMの堅牢性と説明性に着目した評価設計を提案する。 LM/LLMの4つの驚くべき結果が明らかになった。
  論文  参考訳（メタデータ） (2024-06-17T19:50:40Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• Depression Detection on Social Media with Large Language Models [23.075317886505193]
  抑うつ検出は、ソーシャルメディア上の投稿履歴を分析して、個人が抑うつに苦しむかどうかを判断することを目的としている。 本稿では,医学的知識と大規模言語モデルの最近の進歩を融合した,DORISと呼ばれる新規なうつ病検出システムを提案する。
  論文  参考訳（メタデータ） (2024-03-16T01:01:16Z)
• Your Model Is Not Predicting Depression Well And That Is Why: A Case Study of PRIMATE Dataset [0.0]
  ソーシャルメディアのテキストからNLPに基づく抑うつレベル推定に使用されるメンタルヘルスデータセットのアノテーションの品質について検討する。 本研究は,アノテーションの妥当性,特に関心の欠如や快楽症状に対する懸念を明らかにする。 Data Use Agreementの下でリリースされる当社の洗練されたアノテーションは、アンヘドニア検出のための高品質なテストセットを提供します。
  論文  参考訳（メタデータ） (2024-03-01T10:47:02Z)
• A New Benchmark and Reverse Validation Method for Passage-level Hallucination Detection [63.56136319976554]
  大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。 本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。 提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
  論文  参考訳（メタデータ） (2023-10-10T10:14:59Z)
• MentaLLaMA: Interpretable Mental Health Analysis on Social Media with Large Language Models [28.62967557368565]
  ソーシャルメディア上に,最初のマルチタスクおよびマルチソース解釈可能なメンタルヘルスインストラクションデータセットを構築した。 専門家が作成した数発のプロンプトとラベルを収集し,ChatGPTをプロンプトし,その応答から説明を得る。 IMHIデータセットとLLaMA2ファンデーションモデルに基づいて、メンタルヘルス分析のための最初のオープンソースLLMシリーズであるMentalLLaMAを訓練する。
  論文  参考訳（メタデータ） (2023-09-24T06:46:08Z)
• INSTRUCTSCORE: Explainable Text Generation Evaluation with Finegrained Feedback [80.57617091714448]
  テキスト生成のための説明可能な評価指標であるInstructScoreを提案する。 LLaMAに基づいてテキスト評価基準を微調整し、生成されたテキストのスコアと人間の可読性診断レポートを生成する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:22Z)
• MET: Multimodal Perception of Engagement for Telehealth [52.54282887530756]
  ビデオから人間のエンゲージメントレベルを知覚する学習ベースアルゴリズムMETを提案する。 我々はメンタルヘルス患者のエンゲージメント検出のための新しいデータセットMEDICAをリリースした。
  論文  参考訳（メタデータ） (2020-11-17T15:18:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。