論文の概要: MentalBERT: Publicly Available Pretrained Language Models for Mental Healthcare

• arxiv url: http://arxiv.org/abs/2110.15621v1
• Date: Fri, 29 Oct 2021 08:36:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-01 21:33:53.815242
• Title: MentalBERT: Publicly Available Pretrained Language Models for Mental Healthcare
• Title（参考訳）: MentalBERT:メンタルヘルスのためのトレーニング済み言語モデル
• Authors: Shaoxiong Ji, Tianlin Zhang, Luna Ansari, Jie Fu, Prayag Tiwari, Erik Cambria
• Abstract要約: 精神障害の早期発見と社会的コンテンツからの自殺観念は、効果的な社会的介入の潜在的方法となる。 事前訓練された文脈言語表現の最近の進歩は、いくつかのドメイン固有の事前訓練されたモデルの開発を促進している。 本稿では、メンタルヘルス研究コミュニティにおける機械学習の恩恵を受けるために、トレーニング済みの言語モデルであるMentalBERTとMentalRoBERTaをトレーニング、リリースする。
• 参考スコア（独自算出の注目度）: 29.14340469459733
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mental health is a critical issue in modern society, and mental disorders could sometimes turn to suicidal ideation without adequate treatment. Early detection of mental disorders and suicidal ideation from social content provides a potential way for effective social intervention. Recent advances in pretrained contextualized language representations have promoted the development of several domain-specific pretrained models and facilitated several downstream applications. However, there are no existing pretrained language models for mental healthcare. This paper trains and release two pretrained masked language models, i.e., MentalBERT and MentalRoBERTa, to benefit machine learning for the mental healthcare research community. Besides, we evaluate our trained domain-specific models and several variants of pretrained language models on several mental disorder detection benchmarks and demonstrate that language representations pretrained in the target domain improve the performance of mental health detection tasks.
• Abstract（参考訳）: メンタルヘルスは現代社会において重要な問題であり、精神障害は適切な治療なしに自殺イデオロギーに陥ることがある。 精神障害の早期発見と社会的コンテンツからの自殺観念は、効果的な社会的介入の潜在的方法となる。 事前訓練された文脈言語表現の最近の進歩は、いくつかのドメイン固有の事前訓練モデルの開発を促進し、いくつかの下流アプリケーションを容易にしている。 しかし、精神医療のための事前訓練された言語モデルは存在しない。 本論文は、メンタルヘルス研究コミュニティにおいて機械学習の恩恵を受けるために、トレーニング済みのマスク付き言語モデルであるMentalBERTとMentalRoBERTaを2つリリースする。 さらに、いくつかの精神障害検出ベンチマークにおいて、訓練済みのドメイン固有モデルと事前訓練済み言語モデルのいくつかの変種を評価し、対象領域で事前訓練された言語表現がメンタルヘルス検出タスクの性能を向上させることを示した。

関連論文リスト

• MentalArena: Self-play Training of Language Models for Diagnosis and Treatment of Mental Health Disorders [59.515827458631975]
  メンタルヘルス障害は世界で最も深刻な病気の1つである。 プライバシーに関する懸念は、パーソナライズされた治療データのアクセシビリティを制限する。 MentalArenaは、言語モデルをトレーニングするためのセルフプレイフレームワークである。
  論文  参考訳（メタデータ） (2024-10-09T13:06:40Z)
• Assessment and manipulation of latent constructs in pre-trained language models using psychometric scales [4.805861461250903]
  本稿では,標準的な心理アンケートを自然言語推論のプロンプトに再構成する方法を示す。 我々は、88種類の公開モデルを用いて、人間のようなメンタルヘルス関連構造の存在を実証した。
  論文  参考訳（メタデータ） (2024-09-29T11:00:41Z)
• LLM Questionnaire Completion for Automatic Psychiatric Assessment [49.1574468325115]
  大規模言語モデル(LLM)を用いて、非構造的心理面接を、様々な精神科領域と人格領域にまたがる構造化された質問票に変換する。 得られた回答は、うつ病の標準化された精神医学的指標(PHQ-8)とPTSD(PCL-C)の予測に使用される特徴として符号化される。
  論文  参考訳（メタデータ） (2024-06-09T09:03:11Z)
• Chinese MentalBERT: Domain-Adaptive Pre-training on Social Media for Chinese Mental Health Text Analysis [19.32304448831033]
  われわれは中国のソーシャルメディアプラットフォームから膨大なデータセットを収集した。 私たちは336万のテキストエントリを含むデータベースを作成するために、公開データセットでそれを強化しました。 心理学的テキスト分析へのモデルの適用性を高めるため,プレトレーニングマスキング機構に心理的レキシコンを組み込んだ。
  論文  参考訳（メタデータ） (2024-02-14T13:08:25Z)
• An Assessment on Comprehending Mental Health through Large Language Models [2.7044181783627086]
  成人の20%以上が、生涯に少なくとも1つの精神障害に遭遇する可能性がある。 本研究では,このギャップに対処する上で,大規模言語モデルの初期評価を行う。 DAIC-WOZデータセットの結果から、BERTやXLNetのようなトランスフォーマーベースのモデルは、大きな言語モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-01-09T14:50:04Z)
• Domain-specific Continued Pretraining of Language Models for Capturing Long Context in Mental Health [23.458852189587073]
  本稿では,精神保健の長期的状況を把握するために,ドメイン固有の事前訓練を実施している。 具体的には、XLNetとLongformerに基づいて、MentalXLNetとMentalLongformerをトレーニング、リリースする。 本研究は、これらの2つの領域固有の事前訓練モデルのメンタルヘルス分類性能と長期能力を評価する。
  論文  参考訳（メタデータ） (2023-04-20T16:43:56Z)
• Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps [75.84770193489639]
  音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。 各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。 ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
  論文  参考訳（メタデータ） (2022-07-07T15:37:17Z)
• Mental Illness Classification on Social Media Texts using Deep Learning and Transfer Learning [55.653944436488786]
  世界保健機関(WHO)によると、約4億5000万人が影響を受ける。 うつ病、不安症、双極性障害、ADHD、PTSDなどの精神疾患。 本研究では、Redditプラットフォーム上の非構造化ユーザデータを分析し、うつ病、不安、双極性障害、ADHD、PTSDの5つの一般的な精神疾患を分類する。
  論文  参考訳（メタデータ） (2022-07-03T11:33:52Z)
• Improving Cross-Lingual Reading Comprehension with Self-Training [62.73937175625953]
  現在の最新モデルは、いくつかのベンチマークで人間のパフォーマンスを上回っています。 前作では、ゼロショットのクロスリンガル読解のための事前訓練された多言語モデルの能力を明らかにしている。 本稿では,ラベルのないデータを利用して性能を向上する。
  論文  参考訳（メタデータ） (2021-05-08T08:04:30Z)
• Pose-based Body Language Recognition for Emotion and Psychiatric Symptom Interpretation [75.3147962600095]
  通常のRGBビデオから始まるボディーランゲージに基づく感情認識のための自動フレームワークを提案する。 心理学者との連携により,精神症状予測の枠組みを拡張した。 提案されたフレームワークの特定のアプリケーションドメインは限られた量のデータしか供給しないため、フレームワークは小さなトレーニングセットで動作するように設計されている。
  論文  参考訳（メタデータ） (2020-10-30T18:45:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。