論文の概要: PsyEval: A Suite of Mental Health Related Tasks for Evaluating Large Language Models

• arxiv url: http://arxiv.org/abs/2311.09189v2
• Date: Mon, 3 Jun 2024 08:37:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 20:21:27.524693
• Title: PsyEval: A Suite of Mental Health Related Tasks for Evaluating Large Language Models
• Title（参考訳）: PsyEval: 大規模言語モデル評価のためのメンタルヘルス関連タスクスイート
• Authors: Haoan Jin, Siyuan Chen, Dilawaier Dilixiati, Yewei Jiang, Mengyue Wu, Kenny Q. Zhu,
• Abstract要約: 本稿では,大規模言語モデル(LLM)を評価するためのメンタルヘルス関連タスクの包括的スイートであるPsyEvalについて述べる。 この包括的枠組みは、メンタルヘルス関連のタスクの独特な課題と複雑さを徹底的に評価するために設計されている。
• 参考スコア（独自算出の注目度）: 34.09419351705938
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating Large Language Models (LLMs) in the mental health domain poses distinct challenged from other domains, given the subtle and highly subjective nature of symptoms that exhibit significant variability among individuals. This paper presents PsyEval, the first comprehensive suite of mental health-related tasks for evaluating LLMs. PsyEval encompasses five sub-tasks that evaluate three critical dimensions of mental health. This comprehensive framework is designed to thoroughly assess the unique challenges and intricacies of mental health-related tasks, making PsyEval a highly specialized and valuable tool for evaluating LLM performance in this domain. We evaluate twelve advanced LLMs using PsyEval. Experiment results not only demonstrate significant room for improvement in current LLMs concerning mental health but also unveil potential directions for future model optimization.
• Abstract（参考訳）: 精神保健領域における大規模言語モデル(LLM)の評価は、個人間で有意な変動を示す症状の微妙で非常に主観的な性質を考えると、他の領域と異なる課題を生じさせる。 本稿では、LSMを評価するためのメンタルヘルス関連タスクの総合的なスイートであるPsyEvalについて述べる。 PsyEvalは、メンタルヘルスの3つの重要な次元を評価する5つのサブタスクを含んでいる。 この包括的なフレームワークは、メンタルヘルス関連のタスクの固有の課題と複雑さを徹底的に評価するために設計されており、PsyEvalはこの領域でLLMのパフォーマンスを評価するための非常に専門的で価値のあるツールである。 PsyEvalを用いて12種類の高度なLCMを評価した。 実験の結果は、精神保健に関する現在のLCMの改善のための重要な余地を示すだけでなく、将来のモデル最適化のための潜在的方向性も示している。

関連論文リスト

• Severity Prediction in Mental Health: LLM-based Creation, Analysis, Evaluation of a Novel Multilingual Dataset [3.4146360486107987]
  大規模言語モデル(LLM)は、メンタルヘルス支援システムを含む様々な医療分野に統合されつつある。 本稿では、広く使われているメンタルヘルスデータセットを英語から6言語に翻訳した新しい多言語適応法を提案する。 このデータセットは、精神状態を検出し、複数の言語にわたる重症度を評価する上で、LLMのパフォーマンスを総合的に評価することを可能にする。
  論文  参考訳（メタデータ） (2024-09-25T22:14:34Z)
• PsycoLLM: Enhancing LLM for Psychological Understanding and Evaluation [27.575675130769437]
  そこで我々は,PsycoLLM(PsycoLLM)という特殊な心理大言語モデルを提案する。 生成,エビデンス判定,精査を含む3段階のパイプラインを通して,マルチターン対話を構築する。 PsycoLLMと他のLLMの性能を比較するために,中国における権威心理学的カウンセリング試験に基づく総合心理学的ベンチマークを開発した。
  論文  参考訳（メタデータ） (2024-07-08T08:25:56Z)
• Quantifying AI Psychology: A Psychometrics Benchmark for Large Language Models [57.518784855080334]
  大きな言語モデル(LLM)は例外的なタスク解決能力を示しており、人間に似た役割を担っている。 本稿では,LLMにおける心理学的次元を調査するための枠組みとして,心理学的識別,評価データセットのキュレーション,結果検証による評価について述べる。 本研究では,個性,価値観,感情,心の理論,モチベーション,知性の6つの心理学的側面を網羅した総合的心理測定ベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-06-25T16:09:08Z)
• LLM Questionnaire Completion for Automatic Psychiatric Assessment [49.1574468325115]
  大規模言語モデル(LLM)を用いて、非構造的心理面接を、様々な精神科領域と人格領域にまたがる構造化された質問票に変換する。 得られた回答は、うつ病の標準化された精神医学的指標(PHQ-8)とPTSD(PCL-C)の予測に使用される特徴として符号化される。
  論文  参考訳（メタデータ） (2024-06-09T09:03:11Z)
• Exploring the Efficacy of Large Language Models in Summarizing Mental Health Counseling Sessions: A Benchmark Study [17.32433545370711]
  セッションの包括的な要約は、メンタルヘルスカウンセリングにおいて効果的な継続を可能にする。 手動要約は、専門家の注意をコアカウンセリングプロセスから逸脱させ、重要な課題を呈する。 本研究は、治療セッションの様々な構成要素を選択的に要約する上で、最先端の大規模言語モデル(LLM)の有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-29T11:29:47Z)
• F-Eval: Assessing Fundamental Abilities with Refined Evaluation Methods [102.98899881389211]
  F-Evalは、表現、常識、論理などの基本能力を評価するためのバイリンガル評価ベンチマークである。 参照不要な主観的タスクに対しては,APIモデルによるスコアの代替として,新たな評価手法を考案する。
  論文  参考訳（メタデータ） (2024-01-26T13:55:32Z)
• Mental-LLM: Leveraging Large Language Models for Mental Health Prediction via Online Text Data [42.965788205842465]
  本稿では,様々なメンタルヘルス予測タスクにおける多言語モデル(LLM)の包括的評価について述べる。 ゼロショットプロンプト、少数ショットプロンプト、微調整を含む実験を行う。 我々の最も精巧なモデルであるMental-AlpacaとMental-FLAN-T5は、バランスの取れた精度でGPT-3.5を10.9%上回り、GPT-4(250倍、150倍)を4.8%上回りました。
  論文  参考訳（メタデータ） (2023-07-26T06:00:50Z)
• A Survey on Evaluation of Large Language Models [87.60417393701331]
  大規模言語モデル(LLM)は、学術と産業の両方で人気が高まっている。 本稿では,評価方法,評価方法,評価方法の3つの重要な側面に焦点をあてる。
  論文  参考訳（メタデータ） (2023-07-06T16:28:35Z)
• Revisiting the Reliability of Psychological Scales on Large Language Models [62.57981196992073]
  本研究の目的は,大規模言語モデルにパーソナリティアセスメントを適用することの信頼性を明らかにすることである。 GPT-3.5、GPT-4、Gemini-Pro、LLaMA-3.1などのモデル毎の2,500設定の分析により、様々なLCMがビッグファイブインベントリに応答して一貫性を示すことが明らかになった。
  論文  参考訳（メタデータ） (2023-05-31T15:03:28Z)
• Towards Interpretable Mental Health Analysis with Large Language Models [27.776003210275608]
  大規模言語モデル(LLM)のメンタルヘルス分析と感情的推論能力は,5つのタスクにまたがる11のデータセット上で評価した。 本研究は, 精神保健分析のためのLCMについて, それぞれの意思決定に関する説明を提示するように指示することで, 解釈可能な精神保健分析を行う。 得られた説明の質を評価するために、厳密な人的評価を伝達し、163の人的評価による新しいデータセットを作成する。
  論文  参考訳（メタデータ） (2023-04-06T19:53:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。