論文の概要: ChatGPT for Suicide Risk Assessment on Social Media: Quantitative
Evaluation of Model Performance, Potentials and Limitations
- arxiv url: http://arxiv.org/abs/2306.09390v1
- Date: Thu, 15 Jun 2023 16:01:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-19 16:26:04.239964
- Title: ChatGPT for Suicide Risk Assessment on Social Media: Quantitative
Evaluation of Model Performance, Potentials and Limitations
- Title（参考訳）: ソーシャルメディアにおける自殺リスク評価のためのチャットGPT : モデル性能・可能性・限界の定量的評価
- Authors: Hamideh Ghanadian, Isar Nejadgholi, Hussein Al Osman
- Abstract要約: 本稿では,ソーシャルメディア投稿からの自殺評価の文脈において,対話型ChatGPTモデルを評価するための枠組みを提案する。
我々はZero-ShotとFew-Shot実験を用いてChatGPTの性能の技術的評価を行う。
以上の結果から,ChatGPTの精度は高いが,人間の注釈付きデータセットを微調整したトランスフォーマーモデルの方が優れた性能を示した。
- 参考スコア（独自算出の注目度）: 5.8762433393846045
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a novel framework for quantitatively evaluating the
interactive ChatGPT model in the context of suicidality assessment from social
media posts, utilizing the University of Maryland Reddit suicidality dataset.
We conduct a technical evaluation of ChatGPT's performance on this task using
Zero-Shot and Few-Shot experiments and compare its results with those of two
fine-tuned transformer-based models. Additionally, we investigate the impact of
different temperature parameters on ChatGPT's response generation and discuss
the optimal temperature based on the inconclusiveness rate of ChatGPT. Our
results indicate that while ChatGPT attains considerable accuracy in this task,
transformer-based models fine-tuned on human-annotated datasets exhibit
superior performance. Moreover, our analysis sheds light on how adjusting the
ChatGPT's hyperparameters can improve its ability to assist mental health
professionals in this critical task.
- Abstract（参考訳）: 本稿では,メリーランド大学Reddit自殺データセットを用いて,ソーシャルメディア投稿からの自殺評価の文脈において,対話型ChatGPTモデルを定量的に評価するための新しい枠組みを提案する。
我々はZero-ShotとFew-Shot実験を用いてChatGPTの性能の技術的評価を行い、2つの微調整トランスフォーマーモデルと比較した。
さらに,ChatGPTの応答生成に及ぼす温度パラメータの影響について検討し,ChatGPTの不決定性率に基づく最適温度について考察する。
以上の結果から,ChatGPTの精度は高いが,人間の注釈付きデータセットを微調整した変換器ベースモデルは優れた性能を示した。
さらに,本研究は,chatgptのハイパーパラメータを調整することで,メンタルヘルスの専門家を支援する能力が向上することを示す。
関連論文リスト
- Using ChatGPT to Score Essays and Short-Form Constructed Responses [0.0]
線形回帰、ランダム森林、勾配上昇、隆起など、様々な予測モデルに焦点をあてた調査。
2次重み付きカッパ(QWK)測定値を用いてChatGPTの性能評価を行った。
研究は、ChatGPTは人間のスコアを補完するが、高い評価を得るためにはさらなる開発が必要であると結論付けている。
論文 参考訳（メタデータ） (2024-08-18T16:51:28Z) - A Systematic Study and Comprehensive Evaluation of ChatGPT on Benchmark
Datasets [19.521390684403293]
本稿では,ChatGPTの性能を多種多様な学術データセット上で徹底的に評価する。
具体的には、140タスクにわたるChatGPTを評価し、これらのデータセットで生成される255Kの応答を分析する。
論文 参考訳（メタデータ） (2023-05-29T12:37:21Z) - "HOT" ChatGPT: The promise of ChatGPT in detecting and discriminating
hateful, offensive, and toxic comments on social media [2.105577305992576]
生成AIモデルには、有害なコンテンツを理解し、検出する能力がある。
ChatGPTは人間のアノテーションと比較して約80%の精度が得られる。
論文 参考訳（メタデータ） (2023-04-20T19:40:51Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z) - Can we trust the evaluation on ChatGPT? [7.036744911062111]
大量導入した最初の大規模言語モデル(LLM)であるChatGPTは、多くの自然言語タスクにおいて顕著なパフォーマンスを示している。
様々な問題領域におけるChatGPTの性能評価は、モデルが閉じた性質のため、依然として困難である。
本稿では,ChatGPT評価におけるデータ汚染の問題点を,姿勢検出の課題を事例として取り上げる。
論文 参考訳（メタデータ） (2023-03-22T17:32:56Z) - A comprehensive evaluation of ChatGPT's zero-shot Text-to-SQL capability [57.71052396828714]
本稿では,ChatGPTのテキスト・トゥ・アビリティの最初の包括的分析について述べる。
異なる言語、設定、シナリオを持つ12のベンチマークデータセットで実験を行った。
現在のSOTA(State-of-the-art)モデルのパフォーマンスとはまだ差があるが、ChatGPTのパフォーマンスは印象的だ。
論文 参考訳（メタデータ） (2023-03-12T04:22:01Z) - Does Synthetic Data Generation of LLMs Help Clinical Text Mining? [51.205078179427645]
臨床テキストマイニングにおけるOpenAIのChatGPTの可能性を検討する。
本稿では,高品質な合成データを大量に生成する新たな学習パラダイムを提案する。
提案手法により,下流タスクの性能が大幅に向上した。
論文 参考訳（メタデータ） (2023-03-08T03:56:31Z) - Is ChatGPT a Good NLG Evaluator? A Preliminary Study [121.77986688862302]
NLG測定値として信頼性を示すため,ChatGPTのメタ評価を行った。
実験の結果,ChatGPTは従来の自動測定値と比較して,人間の判断と最先端あるいは競合的な相関を達成できた。
我々の予備研究は、汎用的な信頼性のあるNLGメトリックの出現を促すことを願っている。
論文 参考訳（メタデータ） (2023-03-07T16:57:20Z) - Can ChatGPT Understand Too? A Comparative Study on ChatGPT and
Fine-tuned BERT [103.57103957631067]
チャットGPTは、人間の質問に対する流動的で高品質な応答を生成できるため、大きな注目を集めている。
そこで我々は,ChatGPTの理解能力を,最も人気のあるGLUEベンチマークで評価し,より詳細な4種類のBERTスタイルのモデルと比較した。
2)ChatGPTは,感情分析や質問応答タスクにおいて,BERTと同等のパフォーマンスを達成している。
論文 参考訳（メタデータ） (2023-02-19T12:29:33Z) - Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。
近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。
ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文 参考訳（メタデータ） (2023-02-08T09:44:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。