論文の概要: Chinese MentalBERT: Domain-Adaptive Pre-training on Social Media for Chinese Mental Health Text Analysis

• arxiv url: http://arxiv.org/abs/2402.09151v2
• Date: Wed, 12 Jun 2024 16:03:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 22:53:54.953882
• Title: Chinese MentalBERT: Domain-Adaptive Pre-training on Social Media for Chinese Mental Health Text Analysis
• Title（参考訳）: 中国メンタルバート : 中国のメンタルヘルステキスト分析のためのソーシャルメディアにおけるドメイン適応型事前学習
• Authors: Wei Zhai, Hongzhi Qi, Qing Zhao, Jianqiang Li, Ziqi Wang, Han Wang, Bing Xiang Yang, Guanghui Fu,
• Abstract要約: われわれは中国のソーシャルメディアプラットフォームから膨大なデータセットを収集した。 私たちは336万のテキストエントリを含むデータベースを作成するために、公開データセットでそれを強化しました。 心理学的テキスト分析へのモデルの適用性を高めるため,プレトレーニングマスキング機構に心理的レキシコンを組み込んだ。
• 参考スコア（独自算出の注目度）: 19.32304448831033
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the current environment, psychological issues are prevalent and widespread, with social media serving as a key outlet for individuals to share their feelings. This results in the generation of vast quantities of data daily, where negative emotions have the potential to precipitate crisis situations. There is a recognized need for models capable of efficient analysis. While pre-trained language models have demonstrated their effectiveness broadly, there's a noticeable gap in pre-trained models tailored for specialized domains like psychology. To address this, we have collected a huge dataset from Chinese social media platforms and enriched it with publicly available datasets to create a comprehensive database encompassing 3.36 million text entries. To enhance the model's applicability to psychological text analysis, we integrated psychological lexicons into the pre-training masking mechanism. Building on an existing Chinese language model, we performed adaptive training to develop a model specialized for the psychological domain. We evaluated our model's performance across six public datasets, where it demonstrated improvements compared to eight other models. Additionally, in the qualitative comparison experiment, our model provided psychologically relevant predictions given the masked sentences. Due to concerns regarding data privacy, the dataset will not be made publicly available. However, we have made the pre-trained models and codes publicly accessible to the community via: https://github.com/zwzzzQAQ/Chinese-MentalBERT.
• Abstract（参考訳）: 現在の環境では、心理学的な問題が広まっており、ソーシャルメディアは個人が感情を共有するための重要な手段となっている。 この結果、毎日大量のデータが生成され、負の感情が危機的状況を引き起こす可能性がある。 効率的な分析が可能なモデルの必要性は認識されている。 事前訓練された言語モデルは、その効果を広く証明しているが、心理学のような専門分野に適した事前訓練されたモデルには、顕著なギャップがある。 これを解決するために、中国のソーシャルメディアプラットフォームから巨大なデータセットを収集し、公開データセットを充実させて、336万のテキストエントリを含む包括的なデータベースを作成しました。 心理学的テキスト分析へのモデルの適用性を高めるため,プレトレーニングマスキング機構に心理的レキシコンを組み込んだ。 既存の中国語モデルに基づいて,心理学領域に特化したモデルを開発するための適応訓練を行った。 6つの公開データセットでモデルの性能を評価し,他の8つのモデルと比較して改善点を示した。 さらに,定性比較実験では,マスキング文から心理的に関連性のある予測が得られた。 データプライバシに関する懸念のため、データセットは公開されない。 https://github.com/zwzzzQAQ/ Chinese-MentalBERT.com/

関連論文リスト

• Self-Training with Pseudo-Label Scorer for Aspect Sentiment Quad Prediction [54.23208041792073]
  Aspect Sentiment Quad Prediction (ASQP) は、与えられたレビューに対して全てのクワッド(アスペクト項、アスペクトカテゴリー、意見項、感情極性)を予測することを目的としている。 ASQPタスクにおける重要な課題はラベル付きデータの不足であり、既存のメソッドのパフォーマンスを制限している。 そこで我々は,擬似ラベルスコアラーを用いた自己学習フレームワークを提案し,レビューと擬似ラベルの一致をスコアラーが評価する。
  論文  参考訳（メタデータ） (2024-06-26T05:30:21Z)
• Harnessing the Power of Hugging Face Transformers for Predicting Mental Health Disorders in Social Networks [0.0]
  本研究では、ユーザ生成データを用いて精神疾患の症状を予測する方法について検討する。 本研究は,Hugging Faceの4種類のBERTモデルと標準的な機械学習技術を比較した。 新しいモデルは、最大97%の精度で以前のアプローチより優れている。
  論文  参考訳（メタデータ） (2023-06-29T12:25:19Z)
• CBBQ: A Chinese Bias Benchmark Dataset Curated with Human-AI Collaboration for Large Language Models [52.25049362267279]
  本稿では,人的専門家と生成言語モデルによって共同で構築された100万以上の質問からなる中国語バイアスベンチマークデータセットを提案する。 データセットのテストインスタンスは、手作業による厳格な品質管理を備えた3K以上の高品質テンプレートから自動的に抽出される。 大規模な実験により、データセットがモデルバイアスを検出することの有効性が実証された。
  論文  参考訳（メタデータ） (2023-06-28T14:14:44Z)
• Measuring the Effect of Influential Messages on Varying Personas [67.1149173905004]
  我々は、ニュースメッセージを見る際にペルソナが持つ可能性のある応答を推定するために、ニュースメディア向けのペルソナに対するレスポンス予測という新しいタスクを提示する。 提案課題は,モデルにパーソナライズを導入するだけでなく,各応答の感情極性と強度も予測する。 これにより、ペルソナの精神状態に関するより正確で包括的な推測が可能になる。
  論文  参考訳（メタデータ） (2023-05-25T21:01:00Z)
• Harnessing the Power of Text-image Contrastive Models for Automatic Detection of Online Misinformation [50.46219766161111]
  誤情報識別の領域における構成的学習を探求する自己学習モデルを構築した。 本モデルでは、トレーニングデータが不十分な場合、非マッチング画像-テキストペア検出の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-04-19T02:53:59Z)
• Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
  ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。 専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
  論文  参考訳（メタデータ） (2022-10-11T10:20:31Z)
• Estimating the Personality of White-Box Language Models [0.589889361990138]
  大規模なテキストコーパスで訓練された大規模言語モデルは、至る所で広範囲のアプリケーションで使用されている。 既存の研究は、これらのモデルが人間の偏見を捉え、捉えていることを示している。 これらのバイアス、特に害を引き起こす可能性のあるバイアスの多くは、十分に調査されている。 しかし、これらのモデルによって受け継がれた人間の性格特性を推測し、変化させる研究は、ほとんど、あるいは存在しない。
  論文  参考訳（メタデータ） (2022-04-25T23:53:53Z)
• Pushing on Personality Detection from Verbal Behavior: A Transformer Meets Text Contours of Psycholinguistic Features [27.799032561722893]
  テキストデータから人格特性を予測する上で,2つの大きな改善点を報告する。 精神言語学的特徴のテキスト内分布を学習した,事前学習型トランスフォーマー言語モデルBERTと双方向長短期記憶ネットワークを統合した。 2つのベンチマークデータセット上に構築したモデルの性能を評価する。
  論文  参考訳（メタデータ） (2022-04-10T08:08:46Z)
• Learning Language and Multimodal Privacy-Preserving Markers of Mood from Mobile Data [74.60507696087966]
  精神状態は、先進医療に共通する国でも診断されていない。 人間の行動を監視するための有望なデータソースのひとつは、日々のスマートフォンの利用だ。 本研究では,自殺行動のリスクが高い青少年集団の移動行動のデータセットを用いて,日常生活の行動マーカーについて検討した。
  論文  参考訳（メタデータ） (2021-06-24T17:46:03Z)
• A Novel Sentiment Analysis Engine for Preliminary Depression Status Estimation on Social Media [0.0]
  我々は,Twitter ソーシャルメディア上での抑うつ検出を主目的とする,ディープラーニングベースのバックエンドを備えた,クラウドベースのスマートフォンアプリケーションを提案する。 心理学者は、患者がカウンセリングの前にうつ状態を評価するためにこのアプリケーションを利用することができる。 試験精度は87.23%、AUCは0.8621である。
  論文  参考訳（メタデータ） (2020-11-29T04:42:53Z)
• Personality Trait Detection Using Bagged SVM over BERT Word Embedding Ensembles [10.425280599592865]
  本稿では,テキストからの人格自動検出のための新しい深層学習手法を提案する。 我々は、自然言語理解における最先端技術、すなわちBERT言語モデルを活用して、文脈化された単語埋め込みを抽出する。 我々のモデルは、従来の最先端技術よりも1.04%優れており、同時に、トレーニングの計算効率も大幅に向上している。
  論文  参考訳（メタデータ） (2020-10-03T09:25:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。