論文の概要: Evaluation of ChatGPT for NLP-based Mental Health Applications
- arxiv url: http://arxiv.org/abs/2303.15727v1
- Date: Tue, 28 Mar 2023 04:47:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-29 16:32:43.410194
- Title: Evaluation of ChatGPT for NLP-based Mental Health Applications
- Title（参考訳）: NLPを用いたメンタルヘルス応用のためのChatGPTの評価
- Authors: Bishal Lamichhane
- Abstract要約: 大規模言語モデル(LLM)は、いくつかの自然言語理解タスクで成功している。
本研究では,3つのテキストベースのメンタルヘルス分類タスクにおけるLCMベースのChatGPTの性能について報告する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLM) have been successful in several natural language
understanding tasks and could be relevant for natural language processing
(NLP)-based mental health application research. In this work, we report the
performance of LLM-based ChatGPT (with gpt-3.5-turbo backend) in three
text-based mental health classification tasks: stress detection (2-class
classification), depression detection (2-class classification), and suicidality
detection (5-class classification). We obtained annotated social media posts
for the three classification tasks from public datasets. Then ChatGPT API
classified the social media posts with an input prompt for classification. We
obtained F1 scores of 0.73, 0.86, and 0.37 for stress detection, depression
detection, and suicidality detection, respectively. A baseline model that
always predicted the dominant class resulted in F1 scores of 0.35, 0.60, and
0.19. The zero-shot classification accuracy obtained with ChatGPT indicates a
potential use of language models for mental health classification tasks.
- Abstract（参考訳）: 大規模言語モデル(LLM)はいくつかの自然言語理解タスクで成功しており、自然言語処理(NLP)に基づくメンタルヘルスアプリケーション研究に関係している可能性がある。
本研究では、ストレス検出(2クラス分類)、抑うつ検出(2クラス分類)、自殺検出(5クラス分類)の3つのテキストベースのメンタルヘルス分類タスクにおけるLCMベースのChatGPT(gpt-3.5-turboバックエンド)の性能について報告する。
公開データセットから3つの分類タスクの注釈付きソーシャルメディア投稿を得た。
そして、ChatGPT APIは、ソーシャルメディア投稿を分類のための入力プロンプトで分類した。
ストレス検出,抑うつ検出,自殺検出でそれぞれ0.73,0.86,0.37のF1値を得た。
支配的なクラスを常に予測するベースラインモデルでは、f1スコアは0.35、0.60、0.19であった。
ChatGPTで得られたゼロショット分類精度は、メンタルヘルス分類タスクに言語モデルを使用することの可能性を示している。
関連論文リスト
- Evaluating the Effectiveness of the Foundational Models for Q&A Classification in Mental Health care [0.18416014644193068]
プレトレーニング言語モデル(PLM)は、メンタルヘルスを変革する可能性がある。
本研究は,精神保健領域における質問紙と回答紙の分類におけるPLMの有効性を評価するものである。
論文 参考訳（メタデータ） (2024-06-23T00:11:07Z) - ThangDLU at #SMM4H 2024: Encoder-decoder models for classifying text data on social disorders in children and adolescents [49.00494558898933]
本稿では,#SMM4H (Social Media Mining for Health) 2024 Workshopのタスク3とタスク5への参加について述べる。
タスク3は、屋外環境が社会不安の症状に与える影響を議論するツイートを中心にした多クラス分類タスクである。
タスク5は、子供の医学的障害を報告しているツイートに焦点を当てたバイナリ分類タスクを含む。
BART-baseやT5-smallのような事前訓練されたエンコーダデコーダモデルからの転送学習を適用し、与えられたツイートの集合のラベルを同定した。
論文 参考訳（メタデータ） (2024-04-30T17:06:20Z) - Mental Health Diagnosis in the Digital Age: Harnessing Sentiment
Analysis on Social Media Platforms upon Ultra-Sparse Feature Content [3.6195994708545016]
3次元構造を持つ新しい意味的特徴前処理手法を提案する。
強化されたセマンティック機能により、精神障害を予測および分類するために機械学習モデルを訓練する。
提案手法は,7つのベンチマークモデルと比較して,大幅な性能向上を示した。
論文 参考訳（メタデータ） (2023-11-09T00:15:06Z) - PsyCoT: Psychological Questionnaire as Powerful Chain-of-Thought for
Personality Detection [50.66968526809069]
PsyCoTと呼ばれる新しい人格検出手法を提案する。これは、個人がマルチターン対話方式で心理的質問を完遂する方法を模倣するものである。
実験の結果,PsyCoTは人格検出におけるGPT-3.5の性能とロバスト性を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2023-10-31T08:23:33Z) - Supervised Learning and Large Language Model Benchmarks on Mental Health Datasets: Cognitive Distortions and Suicidal Risks in Chinese Social Media [23.49883142003182]
中国のソーシャルメディアから,自殺リスク分類のためのSOS-HL-1Kと,認知歪み検出のためのSocialCD-3Kの2つの新しいデータセットを紹介した。
本稿では,2つの教師付き学習手法と8つの大規模言語モデル(LLM)を用いた総合的な評価を提案する。
論文 参考訳（メタデータ） (2023-09-07T08:50:46Z) - Automatically measuring speech fluency in people with aphasia: first
achievements using read-speech data [55.84746218227712]
本研究の目的は,言語習得の分野で開発された信号処理algorithmの関連性を評価することである。
論文 参考訳（メタデータ） (2023-08-09T07:51:40Z) - Pushing the Limits of ChatGPT on NLP Tasks [79.17291002710517]
ChatGPTの成功にもかかわらず、ほとんどのNLPタスクのパフォーマンスは教師付きベースラインよりかなり低い。
そこで本研究では,原因を調べた結果,以下の要因が原因であることが判明した。
NLPタスクにおけるChatGPTの限界を押し上げるために,これらの問題に対処する汎用モジュールの集合を提案する。
論文 参考訳（メタデータ） (2023-06-16T09:40:05Z) - Systematic Evaluation of GPT-3 for Zero-Shot Personality Estimation [12.777659013330823]
GPT-3は、ユーザのソーシャルメディア投稿からBig 5の性格特性を推定するために使用される。
GPT-3の性能は、広く分類するために既存の訓練済みのSotAに近いことが判明した。
我々は、GPT-3が事前訓練された語彙モデルよりも優れた性能を示し、体系的な誤りを説明できる。
論文 参考訳（メタデータ） (2023-06-01T22:43:37Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z) - Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。
近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。
ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文 参考訳（メタデータ） (2023-02-08T09:44:51Z) - Detecting Reddit Users with Depression Using a Hybrid Neural Network
SBERT-CNN [18.32536789799511]
うつ病は広範なメンタルヘルスの問題であり、世界の人口の3.8%に影響を及ぼしている。
本稿では,事前訓練された文BERT(SBERT)と畳み込みニューラルネットワーク(CNN)を組み合わせたハイブリッドディープラーニングモデルを提案する。
このモデルは精度0.86とF1スコア0.86を達成し、文学における他の機械学習モデルによる最先端の文書化結果(F1スコア0.79)を上回った。
論文 参考訳（メタデータ） (2023-02-03T06:22:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。