論文の概要: Supervised Learning and Large Language Model Benchmarks on Mental Health Datasets: Cognitive Distortions and Suicidal Risks in Chinese Social Media

• arxiv url: http://arxiv.org/abs/2309.03564v2
• Date: Wed, 1 Nov 2023 10:15:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 17:04:22.953757
• Title: Supervised Learning and Large Language Model Benchmarks on Mental Health Datasets: Cognitive Distortions and Suicidal Risks in Chinese Social Media
• Title（参考訳）: メンタルヘルスデータセットにおける教師付き学習と大規模言語モデルベンチマーク:中国のソーシャルメディアにおける認知歪みと自殺リスク
• Authors: Hongzhi Qi, Qing Zhao, Changwei Song, Wei Zhai, Dan Luo, Shuo Liu, Yi Jing Yu, Fan Wang, Huijing Zou, Bing Xiang Yang, Jianqiang Li and Guanghui Fu
• Abstract要約: 中国のソーシャルメディアから新たに2つの注釈付きデータセットを導入し,認知的歪みと自殺リスク分類に着目した。 大きな言語モデルの能力を評価するために、ゼロショット、少数ショット、微調整という3つの戦略を採用しました。 GPT-4は一貫して強い結果を示したが, GPT-3.5は微調整後, 自殺リスク分類が著しく改善した。
• 参考スコア（独自算出の注目度）: 24.130206803192635
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the realm of social media, users frequently convey personal sentiments, with some potentially indicating cognitive distortions or suicidal tendencies. Timely recognition of such signs is pivotal for effective interventions. In response, we introduce two novel annotated datasets from Chinese social media, focused on cognitive distortions and suicidal risk classification. We propose a comprehensive benchmark using both supervised learning and large language models, especially from the GPT series, to evaluate performance on these datasets. To assess the capabilities of the large language models, we employed three strategies: zero-shot, few-shot, and fine-tuning. Furthermore, we deeply explored and analyzed the performance of these large language models from a psychological perspective, shedding light on their strengths and limitations in identifying and understanding complex human emotions. Our evaluations underscore a performance difference between the two approaches, with the models often challenged by subtle category distinctions. While GPT-4 consistently delivered strong results, GPT-3.5 showed marked improvement in suicide risk classification after fine-tuning. This research is groundbreaking in its evaluation of large language models for Chinese social media tasks, accentuating the models' potential in psychological contexts. All datasets and code are made available.
• Abstract（参考訳）: ソーシャルメディアの世界では、ユーザーはしばしば個人の感情を伝達し、認知的歪曲や自殺傾向を示す可能性がある。 このような兆候をタイムリーに認識することは効果的な介入に重要である。 これに対し,中国ソーシャルメディアから新たに2つの注釈付きデータセットを導入し,認知的歪みと自殺リスク分類に着目した。 本稿では,教師付き学習モデルと大規模言語モデル,特にGPTシリーズを用いて,これらのデータセットの性能評価を行う。 大きな言語モデルの能力を評価するために、ゼロショット、少数ショット、微調整の3つの戦略を採用した。 さらに,これらの大規模言語モデルの性能を心理学的観点から深く掘り下げ,分析し,複雑な人間の感情を識別・理解する上での強みと限界に光を当てた。 我々の評価は2つのアプローチのパフォーマンスの違いを浮き彫りにしており、モデルはしばしば微妙なカテゴリーの区別によって挑戦される。 GPT-4は一貫して強い結果を示したが, GPT-3.5は微調整後, 自殺リスク分類が著しく改善した。 この研究は、中国のソーシャルメディアタスクにおける大規模言語モデルの評価において画期的であり、心理学的文脈におけるモデルの可能性を強調している。 すべてのデータセットとコードは利用可能である。

関連論文リスト

• Decoupling the Class Label and the Target Concept in Machine Unlearning [81.69857244976123]
  機械学習の目的は、トレーニングデータの一部を除外した再トレーニングされたモデルを近似するために、トレーニングされたモデルを調整することだ。 過去の研究では、クラスワイド・アンラーニングが対象クラスの知識を忘れることに成功していることが示された。 我々は、TARget-aware Forgetting (TARF) という一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-12T14:53:30Z)
• ThangDLU at #SMM4H 2024: Encoder-decoder models for classifying text data on social disorders in children and adolescents [49.00494558898933]
  本稿では,#SMM4H (Social Media Mining for Health) 2024 Workshopのタスク3とタスク5への参加について述べる。 タスク3は、屋外環境が社会不安の症状に与える影響を議論するツイートを中心にした多クラス分類タスクである。 タスク5は、子供の医学的障害を報告しているツイートに焦点を当てたバイナリ分類タスクを含む。 BART-baseやT5-smallのような事前訓練されたエンコーダデコーダモデルからの転送学習を適用し、与えられたツイートの集合のラベルを同定した。
  論文  参考訳（メタデータ） (2024-04-30T17:06:20Z)
• SOS-1K: A Fine-grained Suicide Risk Classification Dataset for Chinese Social Media Analysis [22.709733830774788]
  本研究では,自殺リスクの詳細な分類を目的とした,中国のソーシャルメディアデータセットを提案する。 事前訓練した7つのモデルについて, 自殺リスクが高い, 自殺リスクが少ない, 自殺リスクの細かい分類が0～10の2つのタスクで評価された。 ディープラーニングモデルは高い自殺リスクと低い自殺リスクを区別する上で優れた性能を示し、最良のモデルはF1スコア88.39%である。
  論文  参考訳（メタデータ） (2024-04-19T06:58:51Z)
• AI-Enhanced Cognitive Behavioral Therapy: Deep Learning and Large Language Models for Extracting Cognitive Pathways from Social Media Texts [27.240795549935463]
  ソーシャルメディアからデータを収集し,認知経路抽出の課題を確立した。 我々は、精神療法士が重要な情報を素早く把握できるよう、テキスト要約タスクを構築した。 本研究では,ディープラーニングモデルと大規模言語モデルの性能評価を行った。
  論文  参考訳（メタデータ） (2024-04-17T14:55:27Z)
• Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
  大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。 LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。 LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T08:39:17Z)
• Class Anchor Margin Loss for Content-Based Image Retrieval [97.81742911657497]
  距離学習パラダイムに該当する新しいレペラ・トラクタ損失を提案するが、ペアを生成する必要がなく、直接L2メトリックに最適化する。 CBIRタスクにおいて,畳み込みアーキテクチャと変圧器アーキテクチャの両方を用いて,少数ショットおよびフルセットトレーニングの文脈で提案した目的を評価する。
  論文  参考訳（メタデータ） (2023-06-01T12:53:10Z)
• Evaluation of ChatGPT for NLP-based Mental Health Applications [0.0]
  大規模言語モデル(LLM)は、いくつかの自然言語理解タスクで成功している。 本研究では,3つのテキストベースのメンタルヘルス分類タスクにおけるLCMベースのChatGPTの性能について報告する。
  論文  参考訳（メタデータ） (2023-03-28T04:47:43Z)
• A Quantitative and Qualitative Analysis of Suicide Ideation Detection using Deep Learning [5.192118773220605]
  本稿では,競合するソーシャルメディアによる自殺検知・予測モデルを再現した。 複数のデータセットと異なる最先端ディープラーニングモデルを用いて自殺思考の検出の可能性を検討した。
  論文  参考訳（メタデータ） (2022-06-17T10:23:37Z)
• Detecting Potentially Harmful and Protective Suicide-related Content on Twitter: A Machine Learning Approach [0.1582078748632554]
  我々は大量のTwitterデータを自動ラベル付けするために機械学習手法を適用した。 2つのディープラーニングモデルが2つの分類タスクで最高のパフォーマンスを達成した。 本研究は, 各種ソーシャルメディアコンテンツが自殺率, ヘルプ・サーキング行動に与える影響について, 今後の大規模調査を可能にするものである。
  論文  参考訳（メタデータ） (2021-12-09T09:35:48Z)
• LID 2020: The Learning from Imperfect Data Challenge Results [242.86700551532272]
  Imperfect Dataワークショップからの学習は、新しいアプローチの開発に刺激を与え、促進することを目的としている。 我々は、弱教師付き学習環境における最先端のアプローチを見つけるために、3つの課題を編成する。 この技術的レポートは、課題のハイライトを要約している。
  論文  参考訳（メタデータ） (2020-10-17T13:06:12Z)
• Deep F-measure Maximization for End-to-End Speech Understanding [52.36496114728355]
  本稿では,F測度に対する微分可能な近似法を提案し,標準バックプロパゲーションを用いてネットワークをトレーニングする。 我々は、アダルト、コミュニティ、犯罪の2つの標準フェアネスデータセットの実験を行い、ATISデータセットの音声・インテリジェンス検出と音声・COCOデータセットの音声・イメージ概念分類を行った。 これらの4つのタスクのすべてにおいて、F測定は、クロスエントロピー損失関数で訓練されたモデルと比較して、最大8%の絶対的な絶対的な改善を含む、マイクロF1スコアの改善をもたらす。
  論文  参考訳（メタデータ） (2020-08-08T03:02:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。