論文の概要: mhGPT: A Lightweight Generative Pre-Trained Transformer for Mental Health Text Analysis

• arxiv url: http://arxiv.org/abs/2408.08261v1
• Date: Thu, 15 Aug 2024 17:01:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-16 13:16:25.676533
• Title: mhGPT: A Lightweight Generative Pre-Trained Transformer for Mental Health Text Analysis
• Title（参考訳）: mhGPT:メンタルヘルステキスト分析のための軽量生成前訓練トランス
• Authors: Dae-young Kim, Rebecca Hwa, Muhammad Mahbubur Rahman,
• Abstract要約: 本稿では、メンタルヘルス関連ソーシャルメディアとPubMedの記事に基づいて訓練された、軽量な生成事前学習トランスフォーマであるmhGPTを紹介する。 mhGPTは限られたハードウェア制約の下で評価され、MentaLLaMAやGemmaのような最先端のモデルと比較された。
• 参考スコア（独自算出の注目度）: 8.654701704101779
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces mhGPT, a lightweight generative pre-trained transformer trained on mental health-related social media and PubMed articles. Fine-tuned for specific mental health tasks, mhGPT was evaluated under limited hardware constraints and compared with state-of-the-art models like MentaLLaMA and Gemma. Despite having only 1.98 billion parameters and using just 5% of the dataset, mhGPT outperformed larger models and matched the performance of models trained on significantly more data. The key contributions include integrating diverse mental health data, creating a custom tokenizer, and optimizing a smaller architecture for low-resource settings. This research could advance AI-driven mental health care, especially in areas with limited computing power.
• Abstract（参考訳）: 本稿では、メンタルヘルス関連ソーシャルメディアとPubMedの記事に基づいて訓練された、軽量な生成事前学習トランスフォーマであるmhGPTを紹介する。 特定のメンタルヘルスタスクのために微調整されたmhGPTは、MentaLLaMAやGemmaのような最先端のモデルと比較して、限られたハードウェア制約の下で評価された。 わずか98億のパラメータしか持たず、データセットの5%しか使用していないにもかかわらず、mhGPTはより大きなモデルよりも優れており、さらに多くのデータでトレーニングされたモデルのパフォーマンスと一致した。 主な貢献は、多様なメンタルヘルスデータの統合、カスタムトークンライザの作成、低リソース設定のための小さなアーキテクチャの最適化である。 この研究は、AIによるメンタルヘルス、特に限られたコンピューティング能力を持つ分野を前進させる可能性がある。

関連論文リスト

• Enhancing PTSD Outcome Prediction with Ensemble Models in Disaster Contexts [0.9249657468385778]
  外傷後ストレス障害(PTSD)は、外傷性事象に曝される個人に影響を与える重要な精神疾患である。 PTSDの早期発見と効果的な介入は、治療を受けなければ長期の心理的苦痛につながる可能性があるため、極めて重要である。
  論文  参考訳（メタデータ） (2024-11-16T01:44:43Z)
• Neuron-based Personality Trait Induction in Large Language Models [115.08894603023712]
  大規模言語モデル (LLM) は、様々な性格特性をシミュレートする能力が増している。 LLMにおけるパーソナリティ特性誘導のためのニューロンに基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-16T07:47:45Z)
• MentalArena: Self-play Training of Language Models for Diagnosis and Treatment of Mental Health Disorders [59.515827458631975]
  メンタルヘルス障害は世界で最も深刻な病気の1つである。 プライバシーに関する懸念は、パーソナライズされた治療データのアクセシビリティを制限する。 MentalArenaは、言語モデルをトレーニングするためのセルフプレイフレームワークである。
  論文  参考訳（メタデータ） (2024-10-09T13:06:40Z)
• Advancing Mental Health Pre-Screening: A New Custom GPT for Psychological Distress Assessment [0.8287206589886881]
  サイコアナリティスト」はOpenAIのGPT-4をベースとしたカスタムGPTモデルであり、スクリーニング前の精神疾患に最適化されている。 このモデルは、精神疾患のニュアンス言語指標を正しくデコードする。
  論文  参考訳（メタデータ） (2024-08-03T00:38:30Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• MentaLLaMA: Interpretable Mental Health Analysis on Social Media with Large Language Models [28.62967557368565]
  ソーシャルメディア上に,最初のマルチタスクおよびマルチソース解釈可能なメンタルヘルスインストラクションデータセットを構築した。 専門家が作成した数発のプロンプトとラベルを収集し,ChatGPTをプロンプトし,その応答から説明を得る。 IMHIデータセットとLLaMA2ファンデーションモデルに基づいて、メンタルヘルス分析のための最初のオープンソースLLMシリーズであるMentalLLaMAを訓練する。
  論文  参考訳（メタデータ） (2023-09-24T06:46:08Z)
• Harnessing the Power of Hugging Face Transformers for Predicting Mental Health Disorders in Social Networks [0.0]
  本研究では、ユーザ生成データを用いて精神疾患の症状を予測する方法について検討する。 本研究は,Hugging Faceの4種類のBERTモデルと標準的な機械学習技術を比較した。 新しいモデルは、最大97%の精度で以前のアプローチより優れている。
  論文  参考訳（メタデータ） (2023-06-29T12:25:19Z)
• Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
  本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。 我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。 多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-06-15T17:55:05Z)
• Parameter-Efficient Sparsity for Large Language Models Fine-Tuning [63.321205487234074]
  私たちはaを提案します。 Sparse- efficient Sparse Training (PST) は、スパース・アウェア・トレーニング中にトレーニング可能なパラメータの数を減少させる手法である。 多様なネットワーク(BERT、RoBERTa、GPT-2)を用いた実験では、PSTは従来のスパーシリティ法よりも同等以上の性能を示した。
  論文  参考訳（メタデータ） (2022-05-23T02:43:45Z)
• SANSformers: Self-Supervised Forecasting in Electronic Health Records with Attention-Free Models [48.07469930813923]
  本研究は,医療施設への患者訪問数を予測することにより,医療サービスの需要を予測することを目的とする。 SNSformerは、特定の帰納バイアスを設計し、EHRデータの特異な特徴を考慮に入れた、注意のない逐次モデルである。 本研究は, 各種患者集団を対象とした医療利用予測の修正における, 注意力のないモデルと自己指導型事前訓練の有望な可能性について考察した。
  論文  参考訳（メタデータ） (2021-08-31T08:23:56Z)
• Using Convolutional Variational Autoencoders to Predict Post-Trauma Health Outcomes from Actigraphy Data [4.668948267866486]
  うつ病と外傷後ストレス障害(PTSD)は、外傷性事象に関連する精神疾患である。 本研究は,調査用スマートウォッチを装着した1113名の被験者を対象に,ロコモター活動を用いた。 畳み込み変分オートエンコーダ(VAE)アーキテクチャは、アクティグラフィーデータから教師なしの特徴抽出に用いられた。
  論文  参考訳（メタデータ） (2020-11-14T22:48:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。