論文の概要: Chinese MentalBERT: Domain-Adaptive Pre-training on Social Media for Chinese Mental Health Text Analysis

• arxiv url: http://arxiv.org/abs/2402.09151v2
• Date: Wed, 12 Jun 2024 16:03:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 22:53:54.953882
• Title: Chinese MentalBERT: Domain-Adaptive Pre-training on Social Media for Chinese Mental Health Text Analysis
• Title（参考訳）: 中国メンタルバート : 中国のメンタルヘルステキスト分析のためのソーシャルメディアにおけるドメイン適応型事前学習
• Authors: Wei Zhai, Hongzhi Qi, Qing Zhao, Jianqiang Li, Ziqi Wang, Han Wang, Bing Xiang Yang, Guanghui Fu,
• Abstract要約: われわれは中国のソーシャルメディアプラットフォームから膨大なデータセットを収集した。 私たちは336万のテキストエントリを含むデータベースを作成するために、公開データセットでそれを強化しました。 心理学的テキスト分析へのモデルの適用性を高めるため,プレトレーニングマスキング機構に心理的レキシコンを組み込んだ。
• 参考スコア（独自算出の注目度）: 19.32304448831033
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the current environment, psychological issues are prevalent and widespread, with social media serving as a key outlet for individuals to share their feelings. This results in the generation of vast quantities of data daily, where negative emotions have the potential to precipitate crisis situations. There is a recognized need for models capable of efficient analysis. While pre-trained language models have demonstrated their effectiveness broadly, there's a noticeable gap in pre-trained models tailored for specialized domains like psychology. To address this, we have collected a huge dataset from Chinese social media platforms and enriched it with publicly available datasets to create a comprehensive database encompassing 3.36 million text entries. To enhance the model's applicability to psychological text analysis, we integrated psychological lexicons into the pre-training masking mechanism. Building on an existing Chinese language model, we performed adaptive training to develop a model specialized for the psychological domain. We evaluated our model's performance across six public datasets, where it demonstrated improvements compared to eight other models. Additionally, in the qualitative comparison experiment, our model provided psychologically relevant predictions given the masked sentences. Due to concerns regarding data privacy, the dataset will not be made publicly available. However, we have made the pre-trained models and codes publicly accessible to the community via: https://github.com/zwzzzQAQ/Chinese-MentalBERT.
• Abstract（参考訳）: 現在の環境では、心理学的な問題が広まっており、ソーシャルメディアは個人が感情を共有するための重要な手段となっている。 この結果、毎日大量のデータが生成され、負の感情が危機的状況を引き起こす可能性がある。 効率的な分析が可能なモデルの必要性は認識されている。 事前訓練された言語モデルは、その効果を広く証明しているが、心理学のような専門分野に適した事前訓練されたモデルには、顕著なギャップがある。 これを解決するために、中国のソーシャルメディアプラットフォームから巨大なデータセットを収集し、公開データセットを充実させて、336万のテキストエントリを含む包括的なデータベースを作成しました。 心理学的テキスト分析へのモデルの適用性を高めるため,プレトレーニングマスキング機構に心理的レキシコンを組み込んだ。 既存の中国語モデルに基づいて,心理学領域に特化したモデルを開発するための適応訓練を行った。 6つの公開データセットでモデルの性能を評価し,他の8つのモデルと比較して改善点を示した。 さらに,定性比較実験では,マスキング文から心理的に関連性のある予測が得られた。 データプライバシに関する懸念のため、データセットは公開されない。 https://github.com/zwzzzQAQ/ Chinese-MentalBERT.com/

関連論文リスト

• MentalGLM Series: Explainable Large Language Models for Mental Health Analysis on Chinese Social Media [31.752563319585196]
  ブラックボックスモデルはタスクを切り替えるときに柔軟性がなく、その結果は説明に欠ける。 大きな言語モデル(LLM)の台頭とともに、その柔軟性はこの分野に新しいアプローチを導入した。 本稿では,9Kサンプルからなる中国初のマルチタスク・ソーシャル・メディア解釈型メンタルヘルス・インストラクション・データセットを提案する。 また,中国ソーシャルメディアをターゲットとしたメンタルヘルス分析を目的とした,初のオープンソースLCMであるMentalGLMシリーズモデルを提案する。
  論文  参考訳（メタデータ） (2024-10-14T09:29:27Z)
• MentalArena: Self-play Training of Language Models for Diagnosis and Treatment of Mental Health Disorders [59.515827458631975]
  メンタルヘルス障害は世界で最も深刻な病気の1つである。 プライバシーに関する懸念は、パーソナライズされた治療データのアクセシビリティを制限する。 MentalArenaは、言語モデルをトレーニングするためのセルフプレイフレームワークである。
  論文  参考訳（メタデータ） (2024-10-09T13:06:40Z)
• Assessment and manipulation of latent constructs in pre-trained language models using psychometric scales [4.805861461250903]
  本稿では,標準的な心理アンケートを自然言語推論のプロンプトに再構成する方法を示す。 我々は、88種類の公開モデルを用いて、人間のようなメンタルヘルス関連構造の存在を実証した。
  論文  参考訳（メタデータ） (2024-09-29T11:00:41Z)
• Evaluating Pre-Training Bias on Severe Acute Respiratory Syndrome Dataset [0.0]
  この研究は、OpenDataSUSの重症急性呼吸症候群データセットを使用して、3つのトレーニング済みバイアスメトリクスを可視化する。 目的は、異なる領域のバイアスを比較し、保護された属性に注目し、モデルのパフォーマンスとメトリック値を比較することである。
  論文  参考訳（メタデータ） (2024-08-27T20:49:11Z)
• Self-Training with Pseudo-Label Scorer for Aspect Sentiment Quad Prediction [54.23208041792073]
  Aspect Sentiment Quad Prediction (ASQP) は、与えられたレビューに対して全てのクワッド(アスペクト項、アスペクトカテゴリー、意見項、感情極性)を予測することを目的としている。 ASQPタスクにおける重要な課題はラベル付きデータの不足であり、既存のメソッドのパフォーマンスを制限している。 そこで我々は,擬似ラベルスコアラーを用いた自己学習フレームワークを提案し,レビューと擬似ラベルの一致をスコアラーが評価する。
  論文  参考訳（メタデータ） (2024-06-26T05:30:21Z)
• CBBQ: A Chinese Bias Benchmark Dataset Curated with Human-AI Collaboration for Large Language Models [52.25049362267279]
  本稿では,人的専門家と生成言語モデルによって共同で構築された100万以上の質問からなる中国語バイアスベンチマークデータセットを提案する。 データセットのテストインスタンスは、手作業による厳格な品質管理を備えた3K以上の高品質テンプレートから自動的に抽出される。 大規模な実験により、データセットがモデルバイアスを検出することの有効性が実証された。
  論文  参考訳（メタデータ） (2023-06-28T14:14:44Z)
• Measuring the Effect of Influential Messages on Varying Personas [67.1149173905004]
  我々は、ニュースメッセージを見る際にペルソナが持つ可能性のある応答を推定するために、ニュースメディア向けのペルソナに対するレスポンス予測という新しいタスクを提示する。 提案課題は,モデルにパーソナライズを導入するだけでなく,各応答の感情極性と強度も予測する。 これにより、ペルソナの精神状態に関するより正確で包括的な推測が可能になる。
  論文  参考訳（メタデータ） (2023-05-25T21:01:00Z)
• Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
  ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。 専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
  論文  参考訳（メタデータ） (2022-10-11T10:20:31Z)
• Pushing on Personality Detection from Verbal Behavior: A Transformer Meets Text Contours of Psycholinguistic Features [27.799032561722893]
  テキストデータから人格特性を予測する上で,2つの大きな改善点を報告する。 精神言語学的特徴のテキスト内分布を学習した,事前学習型トランスフォーマー言語モデルBERTと双方向長短期記憶ネットワークを統合した。 2つのベンチマークデータセット上に構築したモデルの性能を評価する。
  論文  参考訳（メタデータ） (2022-04-10T08:08:46Z)
• Learning Language and Multimodal Privacy-Preserving Markers of Mood from Mobile Data [74.60507696087966]
  精神状態は、先進医療に共通する国でも診断されていない。 人間の行動を監視するための有望なデータソースのひとつは、日々のスマートフォンの利用だ。 本研究では,自殺行動のリスクが高い青少年集団の移動行動のデータセットを用いて,日常生活の行動マーカーについて検討した。
  論文  参考訳（メタデータ） (2021-06-24T17:46:03Z)
• Personality Trait Detection Using Bagged SVM over BERT Word Embedding Ensembles [10.425280599592865]
  本稿では,テキストからの人格自動検出のための新しい深層学習手法を提案する。 我々は、自然言語理解における最先端技術、すなわちBERT言語モデルを活用して、文脈化された単語埋め込みを抽出する。 我々のモデルは、従来の最先端技術よりも1.04%優れており、同時に、トレーニングの計算効率も大幅に向上している。
  論文  参考訳（メタデータ） (2020-10-03T09:25:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。