論文の概要: Calibration of Transformer-based Models for Identifying Stress and
Depression in Social Media
- arxiv url: http://arxiv.org/abs/2305.16797v1
- Date: Fri, 26 May 2023 10:19:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 15:53:11.847893
- Title: Calibration of Transformer-based Models for Identifying Stress and
Depression in Social Media
- Title（参考訳）: ソーシャルメディアにおけるストレスと抑うつの同定のためのトランスフォーマーモデル校正
- Authors: Loukas Ilias, Spiros Mouzakitis, Dimitris Askounis
- Abstract要約: 本研究はソーシャルメディアにおける抑うつ・ストレス検出の課題における最初の研究であり,トランスフォーマーモデルに余分な言語情報を注入する。
提案手法では,BERT(MentalBERT)モデルに入力として付与される複合埋め込みを生成するために,マルチモーダル適応ゲートを用いる。
提案手法を3つの公開データセットで検証し,言語機能とトランスフォーマーモデルの統合が性能の急上昇を示すことを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In today's fast-paced world, the rates of stress and depression present a
surge. Social media provide assistance for the early detection of mental health
conditions. Existing methods mainly introduce feature extraction approaches and
train shallow machine learning classifiers. Other researches use deep neural
networks or transformers. Despite the fact that transformer-based models
achieve noticeable improvements, they cannot often capture rich factual
knowledge. Although there have been proposed a number of studies aiming to
enhance the pretrained transformer-based models with extra information or
additional modalities, no prior work has exploited these modifications for
detecting stress and depression through social media. In addition, although the
reliability of a machine learning model's confidence in its predictions is
critical for high-risk applications, there is no prior work taken into
consideration the model calibration. To resolve the above issues, we present
the first study in the task of depression and stress detection in social media,
which injects extra linguistic information in transformer-based models, namely
BERT and MentalBERT. Specifically, the proposed approach employs a Multimodal
Adaptation Gate for creating the combined embeddings, which are given as input
to a BERT (or MentalBERT) model. For taking into account the model calibration,
we apply label smoothing. We test our proposed approaches in three publicly
available datasets and demonstrate that the integration of linguistic features
into transformer-based models presents a surge in the performance. Also, the
usage of label smoothing contributes to both the improvement of the model's
performance and the calibration of the model. We finally perform a linguistic
analysis of the posts and show differences in language between stressful and
non-stressful texts, as well as depressive and non-depressive posts.
- Abstract（参考訳）: 今日のペースの速い世界では、ストレスと抑うつの割合が急増している。
ソーシャルメディアは、精神状態の早期発見を支援する。
既存の手法は主に特徴抽出手法を導入し、浅い機械学習分類器を訓練する。
他の研究ではディープニューラルネットワークやトランスフォーマーを使用している。
トランスフォーマーベースのモデルが顕著な改善を達成しているにもかかわらず、リッチな事実知識を捉えることはしばしばできない。
事前学習したトランスフォーマーモデルに付加的な情報や追加のモダリティを持たせることを目的とした研究がいくつか提案されているが、ソーシャルメディアを通じてストレスや抑うつを検出するためにこれらの修正を利用した先行研究は行われていない。
さらに、機械学習モデルの予測に対する信頼性は、リスクの高いアプリケーションでは極めて重要であるが、モデルキャリブレーションを考慮した事前の作業は行われていない。
以上の課題を解決するため,ソーシャルメディアにおける抑うつ・ストレス検出の課題として,BERT と MentalBERT というトランスフォーマーモデルに余分な言語情報を注入する研究を行った。
提案手法では,BERT(MentalBERT)モデルに入力として付与される複合埋め込みを生成するために,マルチモーダル適応ゲートを用いる。
モデルキャリブレーションを考慮した場合,ラベル平滑化を適用する。
提案手法を3つのデータセットでテストし,言語的特徴をトランスフォーマーモデルに統合することで,性能が向上することを示す。
また,ラベル平滑化の利用は,モデルの性能向上とモデルの校正に寄与する。
最終的に、投稿の言語分析を行い、ストレスのあるテキストとストレスのないテキスト、抑うつ的なポストと非抑うつ的なポストの言語差を示す。
関連論文リスト
- Depression detection in social media posts using transformer-based models and auxiliary features [6.390468088226495]
ソーシャルメディア投稿における抑うつの検出は、メンタルヘルス問題の増加により重要である。
従来の機械学習アルゴリズムは複雑なテキストパターンのキャプチャに失敗することが多く、抑うつを識別する効果を制限している。
本研究では,メタデータと言語マーカーを組み合わせたトランスフォーマーモデルを利用したニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2024-09-30T07:53:39Z) - Enhancing Depressive Post Detection in Bangla: A Comparative Study of TF-IDF, BERT and FastText Embeddings [0.0]
本研究は,バングラにおける抑うつ的なソーシャルメディア投稿を識別する手法を提案する。
ドメインの専門家によって注釈付けされたこの研究で使用されるデータセットには、抑うつ的ポストと非抑うつ的ポストの両方が含まれている。
クラス不均衡の問題に対処するために,マイノリティクラスに対するランダムなオーバーサンプリングを利用した。
論文 参考訳（メタデータ） (2024-07-12T11:40:17Z) - Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。
我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。
適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
論文 参考訳（メタデータ） (2024-06-24T23:00:58Z) - Latent Positional Information is in the Self-Attention Variance of
Transformer Language Models Without Positional Embeddings [68.61185138897312]
凍結変圧器言語モデルでは,自己意図の分散を縮小することにより,強い位置情報を符号化する。
本研究は, 位置埋め込みを廃止する決定を正当化し, トランスフォーマー言語モデルのより効率的な事前学習を容易にすることに役立つ。
論文 参考訳（メタデータ） (2023-05-23T01:03:40Z) - Evaluating Prompt-based Question Answering for Object Prediction in the
Open Research Knowledge Graph [0.0]
本研究は,テクスチャ学習用グラフオブジェクト予測のためのトランスフォーマーの即時学習導入に関する成果を報告する。
学術知識グラフのオブジェクトを予測するためにエンティティと関係抽出パイプラインを提案する他の研究から逸脱する。
i) 期待値当たり、(i) 新たなデータ領域でテストされた場合のトランスフォーマーモデル、(ii) モデルの迅速なトレーニングにより、緩和された評価設定で最大40%の性能向上が達成されることがわかった。
論文 参考訳（メタデータ） (2023-05-22T10:35:18Z) - PLATON: Pruning Large Transformer Models with Upper Confidence Bound of
Weight Importance [114.1541203743303]
本稿では,重要度推定の上位信頼度境界(UCB)による重要度スコアの不確かさを捉えるPLATONを提案する。
我々は、自然言語理解、質問応答、画像分類に関するトランスフォーマーモデルを用いて、広範囲にわたる実験を行った。
論文 参考訳（メタデータ） (2022-06-25T05:38:39Z) - Explain, Edit, and Understand: Rethinking User Study Design for
Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。
単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文 参考訳（メタデータ） (2021-12-17T18:29:56Z) - MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。
最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。
モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
論文 参考訳（メタデータ） (2021-10-18T17:55:11Z) - What do Compressed Large Language Models Forget? Robustness Challenges
in Model Compression [68.82486784654817]
本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。
本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。
サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
論文 参考訳（メタデータ） (2021-10-16T00:20:04Z) - Multimodal Depression Severity Prediction from medical bio-markers using
Machine Learning Tools and Technologies [0.0]
うつ病は世界中の精神疾患の主要な原因となっている。
近年,うつ病の診断とステージ予測の自動化に行動的手がかりが用いられている。
ラベル付き行動データセットの欠如と、膨大な量のバリエーションが、タスクを達成する上で大きな課題であることが証明されている。
論文 参考訳（メタデータ） (2020-09-11T20:44:28Z) - Compressing Large-Scale Transformer-Based Models: A Case Study on BERT [41.04066537294312]
事前訓練されたTransformerベースのモデルは、様々な自然言語処理(NLP)タスクに対して最先端のパフォーマンスを達成した。
これらのモデルは数十億のパラメータを持ち、そのため、リソース不足と計算集約が多すぎて、低機能デバイスやアプリケーションに適合しない。
これに対する潜在的な対策の1つはモデル圧縮であり、多くの研究が注目されている。
論文 参考訳（メタデータ） (2020-02-27T09:20:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。