論文の概要: Leveraging Large Language Models for Suicide Detection on Social Media with Limited Labels

• arxiv url: http://arxiv.org/abs/2410.04501v3
• Date: Fri, 1 Nov 2024 03:42:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 14:45:01.763916
• Title: Leveraging Large Language Models for Suicide Detection on Social Media with Limited Labels
• Title（参考訳）: 限られたラベルを持つソーシャルメディア上での自殺検出のための大規模言語モデルの導入
• Authors: Vy Nguyen, Chau Pham,
• Abstract要約: 本稿では,テキストベースのソーシャルメディア投稿における自殺的内容を自動的に検出するLarge Language Models (LLMs) について検討する。 我々は,Qwen2-72B-インストラクションの促進とLlama3-8B,Llama3.1-8B,Gemma2-9Bなどの微調整モデルを用いたアンサンブルアプローチを開発した。 実験の結果,アンサンブルモデルでは個々のモデルと比較して5%の精度で検出精度が向上した。
• 参考スコア（独自算出の注目度）: 3.1399304968349186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The increasing frequency of suicidal thoughts highlights the importance of early detection and intervention. Social media platforms, where users often share personal experiences and seek help, could be utilized to identify individuals at risk. However, the large volume of daily posts makes manual review impractical. This paper explores the use of Large Language Models (LLMs) to automatically detect suicidal content in text-based social media posts. We propose a novel method for generating pseudo-labels for unlabeled data by prompting LLMs, along with traditional classification fine-tuning techniques to enhance label accuracy. To create a strong suicide detection model, we develop an ensemble approach involving prompting with Qwen2-72B-Instruct, and using fine-tuned models such as Llama3-8B, Llama3.1-8B, and Gemma2-9B. We evaluate our approach on the dataset of the Suicide Ideation Detection on Social Media Challenge, a track of the IEEE Big Data 2024 Big Data Cup. Additionally, we conduct a comprehensive analysis to assess the impact of different models and fine-tuning strategies on detection performance. Experimental results show that the ensemble model significantly improves the detection accuracy, by 5% points compared with the individual models. It achieves a weight F1 score of 0.770 on the public test set, and 0.731 on the private test set, providing a promising solution for identifying suicidal content in social media. Our analysis shows that the choice of LLMs affects the prompting performance, with larger models providing better accuracy. Our code and checkpoints are publicly available at https://github.com/khanhvynguyen/Suicide_Detection_LLMs.
• Abstract（参考訳）: 自殺思考の頻度の増加は、早期発見と介入の重要性を強調している。 ソーシャルメディアプラットフォームでは、ユーザが個人的な経験を共有し、助けを求める場合、リスクのある個人を特定するために利用することができる。 しかし、大量の日刊記事が手作業によるレビューを非現実的にしている。 本稿では,テキストベースのソーシャルメディア投稿における自殺的内容を自動的に検出するLarge Language Models (LLMs) について検討する。 ラベルの精度を高めるため,従来の分類微調整技術とともに,LLMの促進によるラベルなしデータの擬似ラベル生成手法を提案する。 そこで我々は,Qwen2-72B-インストラクタとLlama3-8B,Llama3.1-8B,Gemma2-9Bなどの微調整モデルを用いて,Qwen2-72B-インストラクタを誘導するアンサンブルモデルを開発した。 我々は、IEEE Big Data 2024 Big Data Cupのトラックである、ソーシャルメディアチャレンジにおける自殺思想検出のデータセットに対するアプローチを評価した。 さらに、異なるモデルの影響を総合的に分析し、検出性能に対する微調整戦略について検討する。 実験の結果,アンサンブルモデルでは個々のモデルと比較して5%の精度で検出精度が向上した。 公開テストセットで0.770、プライベートテストセットで0.731の重みF1スコアを達成し、ソーシャルメディアで自殺内容を特定するための有望なソリューションを提供する。 解析の結果,LLMの選択が性能に影響を及ぼし,より大きなモデルで精度が向上した。 私たちのコードとチェックポイントはhttps://github.com/khanhvynguyen/Suicide_Detection_LLMs.comで公開されています。

関連論文リスト

• A Comparative Analysis of Transformer and LSTM Models for Detecting Suicidal Ideation on Reddit [0.18416014644193066]
  多くの人がRedditのようなソーシャルメディアプラットフォームで自殺的な考えを表明しています。 本稿では, 深層学習変換器モデルBERT, RoBERTa, DistilBERT, ALBERT, ELECTRAの有効性を検討した。 RoBERTaは93.22%、F1スコア93.14%の最も効果的なモデルとして登場した。
  論文  参考訳（メタデータ） (2024-11-23T01:17:43Z)
• Self-Training with Pseudo-Label Scorer for Aspect Sentiment Quad Prediction [54.23208041792073]
  Aspect Sentiment Quad Prediction (ASQP) は、与えられたレビューに対して全てのクワッド(アスペクト項、アスペクトカテゴリー、意見項、感情極性)を予測することを目的としている。 ASQPタスクにおける重要な課題はラベル付きデータの不足であり、既存のメソッドのパフォーマンスを制限している。 そこで我々は,擬似ラベルスコアラーを用いた自己学習フレームワークを提案し,レビューと擬似ラベルの一致をスコアラーが評価する。
  論文  参考訳（メタデータ） (2024-06-26T05:30:21Z)
• Self-Taught Recognizer: Toward Unsupervised Adaptation for Speech Foundation Models [84.8919069953397]
  Self-Taught Recognizer (STAR) は、音声認識システムのための教師なし適応フレームワークである。 その結果,STARは14のドメインで平均13.5%の単語誤り率の相対的な減少を実現していることがわかった。 STARは1時間以内のラベル付きデータを必要とする高いデータ効率を示す。
  論文  参考訳（メタデータ） (2024-05-23T04:27:11Z)
• SOS-1K: A Fine-grained Suicide Risk Classification Dataset for Chinese Social Media Analysis [22.709733830774788]
  本研究では,自殺リスクの詳細な分類を目的とした,中国のソーシャルメディアデータセットを提案する。 事前訓練した7つのモデルについて, 自殺リスクが高い, 自殺リスクが少ない, 自殺リスクの細かい分類が0～10の2つのタスクで評価された。 ディープラーニングモデルは高い自殺リスクと低い自殺リスクを区別する上で優れた性能を示し、最良のモデルはF1スコア88.39%である。
  論文  参考訳（メタデータ） (2024-04-19T06:58:51Z)
• Navigating the OverKill in Large Language Models [84.62340510027042]
  モデルがどのように処理し,クエリの安全性を判断するかを検討することで,過剰スキルの要因について検討する。 以上の結果から,モデル内にショートカットが存在することが明らかとなり,"キル"のような有害な単語が過剰に認識され,安全性が強調され,過度なスキルが増すことが示唆された。 我々は、この現象を緩和するために、トレーニングフリーでモデルに依存しないセルフコントラストデコーディング(Self-Contrastive Decoding、CD)を導入する。
  論文  参考訳（メタデータ） (2024-01-31T07:26:47Z)
• Small Effect Sizes in Malware Detection? Make Harder Train/Test Splits! [51.668411293817464]
  業界関係者は、モデルが数億台のマシンにデプロイされているため、マルウェア検出精度の小さな改善に気を配っている。 学術研究はしばしば1万のサンプルの順序で公開データセットに制限される。 利用可能なサンプルのプールから難易度ベンチマークを生成するためのアプローチを考案する。
  論文  参考訳（メタデータ） (2023-12-25T21:25:55Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• A Quantitative and Qualitative Analysis of Suicide Ideation Detection using Deep Learning [5.192118773220605]
  本稿では,競合するソーシャルメディアによる自殺検知・予測モデルを再現した。 複数のデータセットと異なる最先端ディープラーニングモデルを用いて自殺思考の検出の可能性を検討した。
  論文  参考訳（メタデータ） (2022-06-17T10:23:37Z)
• An ensemble deep learning technique for detecting suicidal ideation from posts in social media platforms [0.0]
  本稿ではLSTM-Attention-CNN複合モデルを提案する。 提案されたモデルは90.3%の精度、F1スコア92.6%の精度を示した。
  論文  参考訳（メタデータ） (2021-12-17T15:34:03Z)
• Detecting Potentially Harmful and Protective Suicide-related Content on Twitter: A Machine Learning Approach [0.1582078748632554]
  我々は大量のTwitterデータを自動ラベル付けするために機械学習手法を適用した。 2つのディープラーニングモデルが2つの分類タスクで最高のパフォーマンスを達成した。 本研究は, 各種ソーシャルメディアコンテンツが自殺率, ヘルプ・サーキング行動に与える影響について, 今後の大規模調査を可能にするものである。
  論文  参考訳（メタデータ） (2021-12-09T09:35:48Z)
• Towards Good Practices for Efficiently Annotating Large-Scale Image Classification Datasets [90.61266099147053]
  多数の画像の分類ラベルを収集するための効率的なアノテーション戦略を検討する。 人間のラベリング作業を最小化するための修正とベストプラクティスを提案します。 ImageNet100の125kイメージサブセットのシミュレーション実験では、平均で0.35のアノテーションで80%のトップ-1の精度でアノテートできることが示されている。
  論文  参考訳（メタデータ） (2021-04-26T16:29:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。