論文の概要: Depression detection in social media posts using transformer-based models and auxiliary features

• arxiv url: http://arxiv.org/abs/2409.20048v1
• Date: Mon, 30 Sep 2024 07:53:39 GMT
• ステータス: メタデータ翻訳待ち、スコア計算待ち
• システム内更新日: 2024-10-02 20:01:00.250876
• Title: Depression detection in social media posts using transformer-based models and auxiliary features
• Title（参考訳）: 変圧器モデルと補助特徴を用いたソーシャルメディア投稿の抑うつ検出
• Authors: Marios Kerasiotis, Loukas Ilias, Dimitris Askounis,
• Abstract要約: ソーシャルメディア投稿における抑うつの検出は、メンタルヘルス問題の増加により重要である。 従来の機械学習アルゴリズムは複雑なテキストパターンのキャプチャに失敗することが多く、抑うつを識別する効果を制限している。 本研究では,メタデータと言語マーカーを組み合わせたトランスフォーマーモデルを利用したニューラルネットワークアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 6.390468088226495
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The detection of depression in social media posts is crucial due to the increasing prevalence of mental health issues. Traditional machine learning algorithms often fail to capture intricate textual patterns, limiting their effectiveness in identifying depression. Existing studies have explored various approaches to this problem but often fall short in terms of accuracy and robustness. To address these limitations, this research proposes a neural network architecture leveraging transformer-based models combined with metadata and linguistic markers. The study employs DistilBERT, extracting information from the last four layers of the transformer, applying learned weights, and averaging them to create a rich representation of the input text. This representation, augmented by metadata and linguistic markers, enhances the model's comprehension of each post. Dropout layers prevent overfitting, and a Multilayer Perceptron (MLP) is used for final classification. Data augmentation techniques, inspired by the Easy Data Augmentation (EDA) methods, are also employed to improve model performance. Using BERT, random insertion and substitution of phrases generate additional training data, focusing on balancing the dataset by augmenting underrepresented classes. The proposed model achieves weighted Precision, Recall, and F1-scores of 84.26%, 84.18%, and 84.15%, respectively. The augmentation techniques significantly enhance model performance, increasing the weighted F1-score from 72.59% to 84.15%.
• Abstract（参考訳）: ソーシャルメディア投稿におけるうつ病の発見は、メンタルヘルス問題の増加により不可欠である。 従来の機械学習アルゴリズムは複雑なテキストパターンのキャプチャに失敗することが多く、抑うつを識別する効果を制限している。 既存の研究では、この問題に対する様々なアプローチを探求してきたが、精度と堅牢性の点でしばしば不足している。 これらの制約に対処するため,トランスフォーマーモデルとメタデータと言語マーカーを組み合わせたニューラルネットワークアーキテクチャを提案する。 この研究はDistilBERTを使用し、トランスフォーマーの最後の4つの層から情報を抽出し、学習した重みを適用し、それらを平均化し、入力テキストのリッチな表現を作成する。 この表現はメタデータと言語マーカーによって強化され、各投稿に対するモデルの理解を深める。 ドロップアウト層はオーバーフィッティングを防ぎ、最終分類には多層パーセプトロン(MLP)が使用される。 EDA(Easy Data Augmentation)メソッドにインスパイアされたデータ拡張技術も、モデルパフォーマンスを改善するために採用されている。 BERTを使用すると、フレーズのランダムな挿入と置換が追加のトレーニングデータを生成し、未表現のクラスを拡大することでデータセットのバランスに重点を置いている。 提案したモデルは、それぞれ84.26%、84.18%、84.15%の重み付き精度、リコール、F1スコアを達成する。 増強技術はモデル性能を大幅に向上させ、重み付けされたF1スコアを72.59%から84.15%に引き上げた。

関連論文リスト

• Enhancing Depressive Post Detection in Bangla: A Comparative Study of TF-IDF, BERT and FastText Embeddings [0.0]
  本研究は,バングラにおける抑うつ的なソーシャルメディア投稿を識別する手法を提案する。 ドメインの専門家によって注釈付けされたこの研究で使用されるデータセットには、抑うつ的ポストと非抑うつ的ポストの両方が含まれている。 クラス不均衡の問題に対処するために,マイノリティクラスに対するランダムなオーバーサンプリングを利用した。
  論文  参考訳（メタデータ） (2024-07-12T11:40:17Z)
• Multi-Epoch learning with Data Augmentation for Deep Click-Through Rate Prediction [53.88231294380083]
  非連続的な学習シナリオと連続的な学習シナリオの両方に適合する、新しいMulti-Epoch Learning with Data Augmentation (MEDA)フレームワークを導入する。 MEDAは、その後のトレーニングデータへの埋め込み層の依存性を減らし、過度な適合を最小化する。 実験の結果,プレトレーニングした層が新しい埋め込み空間に適応し,過度に適合することなく性能を向上できることが確認された。
  論文  参考訳（メタデータ） (2024-06-27T04:00:15Z)
• PUMA: margin-based data pruning [51.12154122266251]
  モデル分類境界からの距離(すなわちマージン)に基づいて、いくつかのトレーニングサンプルを除去するデータプルーニングに焦点を当てる。 我々は,DeepFoolを用いてマージンを算出する新しいデータプルーニング戦略PUMAを提案する。 PUMAは,現状の最先端手法であるロバスト性の上に利用でき,既存のデータプルーニング戦略と異なり,モデル性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-10T08:02:20Z)
• Camouflage is all you need: Evaluating and Enhancing Language Model Robustness Against Camouflage Adversarial Attacks [53.87300498478744]
  自然言語処理(NLP)における敵攻撃の意義 本研究は、脆弱性評価とレジリエンス向上という2つの異なる段階において、この課題を体系的に探求する。 結果として、パフォーマンスとロバスト性の間のトレードオフが示唆され、いくつかのモデルは、ロバスト性を確保しながら、同様のパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2024-02-15T10:58:22Z)
• Calibration of Transformer-based Models for Identifying Stress and Depression in Social Media [0.0]
  本研究はソーシャルメディアにおける抑うつ・ストレス検出の課題における最初の研究であり,トランスフォーマーモデルに余分な言語情報を注入する。 提案手法では,BERT(MentalBERT)モデルに入力として付与される複合埋め込みを生成するために,マルチモーダル適応ゲートを用いる。 提案手法を3つの公開データセットで検証し,言語機能とトランスフォーマーモデルの統合が性能の急上昇を示すことを示す。
  論文  参考訳（メタデータ） (2023-05-26T10:19:04Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• Transformer with Selective Shuffled Position Embedding and Key-Patch Exchange Strategy for Early Detection of Knee Osteoarthritis [7.656764569447645]
  膝骨関節炎(KOA)は、高齢者の運動に深刻な影響を与える筋骨格障害である。 不十分な医療データは、データラベリングに伴う高コストのため、モデルを効果的に訓練する上で重要な障害となる。 本稿では,従来のSelective Shuffled Position Embedding (SSPE) とキーパッチ交換戦略を用いたビジョントランスフォーマー(ViT)モデルに基づく新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-04-17T15:26:42Z)
• Key-Exchange Convolutional Auto-Encoder for Data Augmentation in Early Knee OsteoArthritis Classification [9.400820679110147]
  膝骨関節炎(KOA)は高齢者の移動を損なう筋骨格疾患である。 畳み込み型オートエンコーダに基づく学習モデルと,KOA早期診断のための新たなデータを生成するハイブリッド損失戦略を提案する。
  論文  参考訳（メタデータ） (2023-02-26T15:45:19Z)
• A Study on FGSM Adversarial Training for Neural Retrieval [3.2634122554914]
  ニューラル検索モデルは、項ベースの手法と比較して、ここ数年で顕著な効果を得た。 しかし、これらのモデルは、タイプミスや配布シフトに直面したり、悪意のある攻撃に対して脆弱である可能性がある。 我々は,FGSM(Fast Gradient Sign Method)という,最も単純な逆行訓練手法の1つが,第1段階のローダの堅牢性と有効性を向上させることができることを示した。
  論文  参考訳（メタデータ） (2023-01-25T13:28:54Z)
• Improving Classifier Training Efficiency for Automatic Cyberbullying Detection with Feature Density [58.64907136562178]
  言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。 データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。 データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
  論文  参考訳（メタデータ） (2021-11-02T15:48:28Z)
• Rectified Meta-Learning from Noisy Labels for Robust Image-based Plant Disease Diagnosis [64.82680813427054]
  植物病は食料安全保障と作物生産に対する主要な脅威の1つである。 1つの一般的なアプローチは、葉画像分類タスクとしてこの問題を変換し、強力な畳み込みニューラルネットワーク(CNN)によって対処できる。 本稿では,正規化メタ学習モジュールを共通CNNパラダイムに組み込んだ新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-17T09:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。