Fugu-MT 論文翻訳(概要): A Novel Nuanced Conversation Evaluation Framework for Large Language Models in Mental Health

論文の概要: A Novel Nuanced Conversation Evaluation Framework for Large Language Models in Mental Health

arxiv url: http://arxiv.org/abs/2403.09705v1
Date: Fri, 8 Mar 2024 23:46:37 GMT
ステータス: 処理完了
システム内更新日: 2024-03-25 07:56:27.289611
Title: A Novel Nuanced Conversation Evaluation Framework for Large Language Models in Mental Health
Title（参考訳）: メンタルヘルスにおける大規模言語モデルのためのNuanced Conversation Evaluation Framework
Authors: Alexander Marrapese, Basem Suleiman, Imdad Ullah, Juno Kim,
Abstract要約: 大規模言語モデル(LLM)のニュアンス会話能力を評価するための新しい枠組みを提案する。そこで我々は,心理療法の会話分析文献を用いた文献から開発された,一連の定量的指標を開発した。 GPTモデルやLlamaモデルを含むいくつかの人気のあるフロンティアLCMを、検証されたメンタルヘルスデータセットを通じて評価するために、当社のフレームワークを使用します。
参考スコア（独自算出の注目度）: 42.711913023646915
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Understanding the conversation abilities of Large Language Models (LLMs) can help lead to its more cautious and appropriate deployment. This is especially important for safety-critical domains like mental health, where someone's life may depend on the exact wording of a response to an urgent question. In this paper, we propose a novel framework for evaluating the nuanced conversation abilities of LLMs. Within it, we develop a series of quantitative metrics developed from literature on using psychotherapy conversation analysis literature. While we ensure that our framework and metrics are transferable by researchers to relevant adjacent domains, we apply them to the mental health field. We use our framework to evaluate several popular frontier LLMs, including some GPT and Llama models, through a verified mental health dataset. Our results show that GPT4 Turbo can perform significantly more similarly to verified therapists than other selected LLMs. We conduct additional analysis to examine how LLM conversation performance varies across specific mental health topics. Our results indicate that GPT4 Turbo performs well in achieving high correlation with verified therapists in particular topics such as Parenting and Relationships. We believe our contributions will help researchers develop better LLMs that, in turn, will more positively support people's lives.
Abstract（参考訳）: LLM(Large Language Models)の会話能力を理解することは、より慎重で適切なデプロイメントにつながる。これは心の健康のような安全に重要な領域において特に重要であり、誰かの人生は緊急の質問に対する反応の正確な言葉に依存するかもしれない。本稿では,LLMのニュアンスな会話能力を評価するための新しい枠組みを提案する。そこで我々は,心理療法の会話分析文献を用いた文献から開発された,一連の定量的指標を開発した。私たちは、我々のフレームワークとメトリクスが、研究者によって関連するドメインに転送可能であることを保証しますが、それらをメンタルヘルス分野に適用します。 GPTモデルやLlamaモデルを含むいくつかの人気のあるフロンティアLCMを、検証されたメンタルヘルスデータセットを通じて評価するために、当社のフレームワークを使用します。以上の結果から, GPT4 Turbo は他の選択した LLM と比較すると, バリデーションセラピストと非常によく似た性能を示すことが示唆された。我々は、特定のメンタルヘルストピック間でLLMの会話パフォーマンスがどのように異なるかを調べるために、さらなる分析を行う。以上の結果から, GPT4 Turbo は, 保護や関係性といった特定のトピックにおいて, 評価されたセラピストと高い相関性が得られることが示唆された。我々の貢献は、研究者がより良いLCMを開発するのに役立つと信じており、それによって人々の生活をより肯定的に支援できると信じています。

関連論文リスト

Quantifying AI Psychology: A Psychometrics Benchmark for Large Language Models [57.518784855080334]
大きな言語モデル(LLM)は例外的なタスク解決能力を示しており、人間に似た役割を担っている。本稿では,LLMにおける心理学的次元を調査するための枠組みとして,心理学的識別,評価データセットのキュレーション,結果検証による評価について述べる。本研究では,個性,価値観,感情,心の理論,モチベーション,知性の6つの心理学的側面を網羅した総合的心理測定ベンチマークを導入する。
論文参考訳（メタデータ） (2024-06-25T16:09:08Z)
Optimizing Psychological Counseling with Instruction-Tuned Large Language Models [9.19192059750618]
本稿では,心理カウンセリングにおける大規模言語モデル(LLM)の適用について検討する。本稿では,共感的,関連性,支援的な応答を提供することで,特定のプロンプトを持つLLMを指導し,その性能を高める方法を提案する。
論文参考訳（メタデータ） (2024-06-19T15:13:07Z)
LLM Questionnaire Completion for Automatic Psychiatric Assessment [49.1574468325115]
大規模言語モデル(LLM)を用いて、非構造的心理面接を、様々な精神科領域と人格領域にまたがる構造化された質問票に変換する。得られた回答は、うつ病の標準化された精神医学的指標(PHQ-8)とPTSD(PCL-C)の予測に使用される特徴として符号化される。
論文参考訳（メタデータ） (2024-06-09T09:03:11Z)
Can AI Relate: Testing Large Language Model Response for Mental Health Support [23.97212082563385]
大型言語モデル(LLM)はすでにニューヨーク・ラングーン、ダナ・ファーバー、NHSなどの病院システムで臨床使用のために試験されている。精神医療の自動化に向けて, LLM 反応が有効かつ倫理的な道筋であるか否かを評価するための評価枠組みを開発する。
論文参考訳（メタデータ） (2024-05-20T13:42:27Z)
A Computational Framework for Behavioral Assessment of LLM Therapists [8.373981505033864]
ChatGPTや他の大規模言語モデル(LLM)は、LLMをセラピストとして活用することへの関心を大いに高めた。本稿では,セラピストとしてLLMの会話行動を研究するための新しい計算フレームワークBOLTを提案する。我々は, LLM療法士の行動と, 高品質な人的療法の行動を比較し, 高品質な治療で観察される行動をよりよく反映するために, それらの行動をどのように調節するかを検討した。
論文参考訳（メタデータ） (2024-01-01T17:32:28Z)
MAgIC: Investigation of Large Language Model Powered Multi-Agent in Cognition, Adaptability, Rationality and Collaboration [102.41118020705876]
大規模言語モデル(LLM)は自然言語処理の分野で大きな進歩を遂げている。アプリケーションがマルチエージェント環境に拡張されるにつれ、包括的な評価フレームワークの必要性が高まっている。この研究は、マルチエージェント設定内でLLMを評価するために特別に設計された新しいベンチマークフレームワークを導入している。
論文参考訳（メタデータ） (2023-11-14T21:46:27Z)
Evaluating the Efficacy of Interactive Language Therapy Based on LLM for High-Functioning Autistic Adolescent Psychological Counseling [1.1780706927049207]
本研究では,高機能自閉症青年に対する対話型言語治療におけるLarge Language Models(LLMs)の有効性について検討した。 LLMは、従来の心理学的カウンセリング手法を強化する新しい機会を提供する。
論文参考訳（メタデータ） (2023-11-12T07:55:39Z)
PsyCoT: Psychological Questionnaire as Powerful Chain-of-Thought for Personality Detection [50.66968526809069]
PsyCoTと呼ばれる新しい人格検出手法を提案する。これは、個人がマルチターン対話方式で心理的質問を完遂する方法を模倣するものである。実験の結果,PsyCoTは人格検出におけるGPT-3.5の性能とロバスト性を大幅に向上させることがわかった。
論文参考訳（メタデータ） (2023-10-31T08:23:33Z)
Mental-LLM: Leveraging Large Language Models for Mental Health Prediction via Online Text Data [42.965788205842465]
本稿では,様々なメンタルヘルス予測タスクにおける多言語モデル(LLM)の包括的評価について述べる。ゼロショットプロンプト、少数ショットプロンプト、微調整を含む実験を行う。我々の最も精巧なモデルであるMental-AlpacaとMental-FLAN-T5は、バランスの取れた精度でGPT-3.5を10.9%上回り、GPT-4(250倍、150倍)を4.8%上回りました。
論文参考訳（メタデータ） (2023-07-26T06:00:50Z)
Revisiting the Reliability of Psychological Scales on Large Language Models [62.57981196992073]
本研究の目的は,大規模言語モデルにパーソナリティアセスメントを適用することの信頼性を明らかにすることである。 GPT-3.5、GPT-4、Gemini-Pro、LLaMA-3.1などのモデル毎の2,500設定の分析により、様々なLCMがビッグファイブインベントリに応答して一貫性を示すことが明らかになった。
論文参考訳（メタデータ） (2023-05-31T15:03:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。