論文の概要: Depression detection in social media posts using transformer-based models and auxiliary features

• arxiv url: http://arxiv.org/abs/2409.20048v1
• Date: Mon, 30 Sep 2024 07:53:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-29 19:24:58.817996
• Title: Depression detection in social media posts using transformer-based models and auxiliary features
• Title（参考訳）: 変圧器モデルと補助特徴を用いたソーシャルメディア投稿の抑うつ検出
• Authors: Marios Kerasiotis, Loukas Ilias, Dimitris Askounis,
• Abstract要約: ソーシャルメディア投稿における抑うつの検出は、メンタルヘルス問題の増加により重要である。 従来の機械学習アルゴリズムは複雑なテキストパターンのキャプチャに失敗することが多く、抑うつを識別する効果を制限している。 本研究では,メタデータと言語マーカーを組み合わせたトランスフォーマーモデルを利用したニューラルネットワークアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 6.390468088226495
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The detection of depression in social media posts is crucial due to the increasing prevalence of mental health issues. Traditional machine learning algorithms often fail to capture intricate textual patterns, limiting their effectiveness in identifying depression. Existing studies have explored various approaches to this problem but often fall short in terms of accuracy and robustness. To address these limitations, this research proposes a neural network architecture leveraging transformer-based models combined with metadata and linguistic markers. The study employs DistilBERT, extracting information from the last four layers of the transformer, applying learned weights, and averaging them to create a rich representation of the input text. This representation, augmented by metadata and linguistic markers, enhances the model's comprehension of each post. Dropout layers prevent overfitting, and a Multilayer Perceptron (MLP) is used for final classification. Data augmentation techniques, inspired by the Easy Data Augmentation (EDA) methods, are also employed to improve model performance. Using BERT, random insertion and substitution of phrases generate additional training data, focusing on balancing the dataset by augmenting underrepresented classes. The proposed model achieves weighted Precision, Recall, and F1-scores of 84.26%, 84.18%, and 84.15%, respectively. The augmentation techniques significantly enhance model performance, increasing the weighted F1-score from 72.59% to 84.15%.
• Abstract（参考訳）: ソーシャルメディア投稿におけるうつ病の発見は、メンタルヘルス問題の増加により不可欠である。 従来の機械学習アルゴリズムは複雑なテキストパターンのキャプチャに失敗することが多く、抑うつを識別する効果を制限している。 既存の研究では、この問題に対する様々なアプローチを探求してきたが、精度と堅牢性の点でしばしば不足している。 これらの制約に対処するため,トランスフォーマーモデルとメタデータと言語マーカーを組み合わせたニューラルネットワークアーキテクチャを提案する。 この研究はDistilBERTを使用し、トランスフォーマーの最後の4つの層から情報を抽出し、学習した重みを適用し、それらを平均化し、入力テキストのリッチな表現を作成する。 この表現はメタデータと言語マーカーによって強化され、各投稿に対するモデルの理解を深める。 ドロップアウト層はオーバーフィッティングを防ぎ、最終分類には多層パーセプトロン(MLP)が使用される。 EDA(Easy Data Augmentation)メソッドにインスパイアされたデータ拡張技術も、モデルパフォーマンスを改善するために採用されている。 BERTを使用すると、フレーズのランダムな挿入と置換が追加のトレーニングデータを生成し、未表現のクラスを拡大することでデータセットのバランスに重点を置いている。 提案したモデルは、それぞれ84.26%、84.18%、84.15%の重み付き精度、リコール、F1スコアを達成する。 増強技術はモデル性能を大幅に向上させ、重み付けされたF1スコアを72.59%から84.15%に引き上げた。

関連論文リスト

• Granularity Matters in Long-Tail Learning [62.30734737735273]
  より粒度の細かいデータセットは、データの不均衡の影響を受けにくい傾向があります。 既存のクラスと視覚的に類似したオープンセット補助クラスを導入し、頭と尾の両方の表現学習を強化することを目的とした。 補助授業の圧倒的な存在がトレーニングを混乱させるのを防ぐために,近隣のサイレンシング障害を導入する。
  論文  参考訳（メタデータ） (2024-10-21T13:06:21Z)
• How Does Data Diversity Shape the Weight Landscape of Neural Networks? [2.89287673224661]
  本稿では, ニューラルネットワークのパラメータ空間に対する降雨量, 重量減衰量, 騒音増大の影響について検討する。 我々は、多様なデータが、ドロップアウトと同様の方法で重量景観に影響を与えることを観察する。 合成データにより、実際の入力データにより多くの多様性がもたらされ、アウト・オブ・ディストリビューションテストインスタンスの性能が向上する、と結論付けている。
  論文  参考訳（メタデータ） (2024-10-18T16:57:05Z)
• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [66.1595537904019]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• Enhancing Depressive Post Detection in Bangla: A Comparative Study of TF-IDF, BERT and FastText Embeddings [0.0]
  本研究は,バングラにおける抑うつ的なソーシャルメディア投稿を識別する手法を提案する。 ドメインの専門家によって注釈付けされたこの研究で使用されるデータセットには、抑うつ的ポストと非抑うつ的ポストの両方が含まれている。 クラス不均衡の問題に対処するために,マイノリティクラスに対するランダムなオーバーサンプリングを利用した。
  論文  参考訳（メタデータ） (2024-07-12T11:40:17Z)
• Multi-Epoch learning with Data Augmentation for Deep Click-Through Rate Prediction [53.88231294380083]
  非連続的な学習シナリオと連続的な学習シナリオの両方に適合する、新しいMulti-Epoch Learning with Data Augmentation (MEDA)フレームワークを導入する。 MEDAは、その後のトレーニングデータへの埋め込み層の依存性を減らし、過度な適合を最小化する。 実験の結果,プレトレーニングした層が新しい埋め込み空間に適応し,過度に適合することなく性能を向上できることが確認された。
  論文  参考訳（メタデータ） (2024-06-27T04:00:15Z)
• Calibration of Transformer-based Models for Identifying Stress and Depression in Social Media [0.0]
  本研究はソーシャルメディアにおける抑うつ・ストレス検出の課題における最初の研究であり,トランスフォーマーモデルに余分な言語情報を注入する。 提案手法では,BERT(MentalBERT)モデルに入力として付与される複合埋め込みを生成するために,マルチモーダル適応ゲートを用いる。 提案手法を3つの公開データセットで検証し,言語機能とトランスフォーマーモデルの統合が性能の急上昇を示すことを示す。
  論文  参考訳（メタデータ） (2023-05-26T10:19:04Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• Transformer with Selective Shuffled Position Embedding and Key-Patch Exchange Strategy for Early Detection of Knee Osteoarthritis [7.656764569447645]
  膝骨関節炎(KOA)は、高齢者の運動に深刻な影響を与える筋骨格障害である。 不十分な医療データは、データラベリングに伴う高コストのため、モデルを効果的に訓練する上で重要な障害となる。 本稿では,従来のSelective Shuffled Position Embedding (SSPE) とキーパッチ交換戦略を用いたビジョントランスフォーマー(ViT)モデルに基づく新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-04-17T15:26:42Z)
• A Study on FGSM Adversarial Training for Neural Retrieval [3.2634122554914]
  ニューラル検索モデルは、項ベースの手法と比較して、ここ数年で顕著な効果を得た。 しかし、これらのモデルは、タイプミスや配布シフトに直面したり、悪意のある攻撃に対して脆弱である可能性がある。 我々は,FGSM(Fast Gradient Sign Method)という,最も単純な逆行訓練手法の1つが,第1段階のローダの堅牢性と有効性を向上させることができることを示した。
  論文  参考訳（メタデータ） (2023-01-25T13:28:54Z)
• Rectified Meta-Learning from Noisy Labels for Robust Image-based Plant Disease Diagnosis [64.82680813427054]
  植物病は食料安全保障と作物生産に対する主要な脅威の1つである。 1つの一般的なアプローチは、葉画像分類タスクとしてこの問題を変換し、強力な畳み込みニューラルネットワーク(CNN)によって対処できる。 本稿では,正規化メタ学習モジュールを共通CNNパラダイムに組み込んだ新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-17T09:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。