論文の概要: Menta: A Small Language Model for On-Device Mental Health Prediction

• arxiv url: http://arxiv.org/abs/2512.02716v1
• Date: Tue, 02 Dec 2025 12:47:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-03 21:04:45.874696
• Title: Menta: A Small Language Model for On-Device Mental Health Prediction
• Title（参考訳）: Menta: デバイス上でのメンタルヘルス予測のための小さな言語モデル
• Authors: Tianyi Zhang, Xiangyuan Xue, Lingyan Ruan, Shiya Fu, Feng Xia, Simon D'Alfonso, Vassilis Kostakos, Hong Jia,
• Abstract要約: 我々は、ソーシャルメディアデータからマルチタスクのメンタルヘルス予測に特化して最適化された最初のSLMであるMentaを紹介した。 Mentaは、LoRAベースのフレームワーク、クロスデータセット戦略、バランスの取れた精度指向の損失を使用して、6つの分類タスクで共同でトレーニングされている。 我々は,iPhone 15 Pro Max上でのMentaのリアルタイムオンデバイス展開を実演し,約3GBのRAMしか必要としない。
• 参考スコア（独自算出の注目度）: 15.267194811144234
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mental health conditions affect hundreds of millions globally, yet early detection remains limited. While large language models (LLMs) have shown promise in mental health applications, their size and computational demands hinder practical deployment. Small language models (SLMs) offer a lightweight alternative, but their use for social media--based mental health prediction remains largely underexplored. In this study, we introduce Menta, the first optimized SLM fine-tuned specifically for multi-task mental health prediction from social media data. Menta is jointly trained across six classification tasks using a LoRA-based framework, a cross-dataset strategy, and a balanced accuracy--oriented loss. Evaluated against nine state-of-the-art SLM baselines, Menta achieves an average improvement of 15.2\% across tasks covering depression, stress, and suicidality compared with the best-performing non--fine-tuned SLMs. It also achieves higher accuracy on depression and stress classification tasks compared to 13B-parameter LLMs, while being approximately 3.25x smaller. Moreover, we demonstrate real-time, on-device deployment of Menta on an iPhone 15 Pro Max, requiring only approximately 3GB RAM. Supported by a comprehensive benchmark against existing SLMs and LLMs, Menta highlights the potential for scalable, privacy-preserving mental health monitoring. Code is available at: https://xxue752-nz.github.io/menta-project/
• Abstract（参考訳）: メンタルな健康状態は世界中に何億もの影響を及ぼすが、早期発見はまだ限られている。 大規模言語モデル(LLM)はメンタルヘルスの応用において有望であることを示しているが、そのサイズと計算上の要求は現実的な展開を妨げる。 スモールランゲージモデル(SLM)は軽量な代替手段を提供するが、ソーシャルメディアベースのメンタルヘルス予測に使用されることは、ほとんど探索されていない。 本研究では、ソーシャルメディアデータからマルチタスクのメンタルヘルス予測に特化して最適化された最初のSLMであるMentaを紹介する。 Mentaは、LoRAベースのフレームワーク、クロスデータセット戦略、バランスの取れた精度指向の損失を使用して、6つの分類タスクで共同でトレーニングされている。 メンタは、9つの最先端SLMベースラインに対して評価され、抑うつ、ストレス、自殺をカバーしたタスクにおいて、最も優れた非微調整SLMと比較して平均15.2\%の改善を達成する。 また、約3.25倍小さい13BパラメータのLDMに比べて、うつ病やストレス分類のタスクの精度も高い。 さらに、iPhone 15 Pro Max上でのMentaのリアルタイムオンデバイス展開を実演し、3GBのRAMしか必要としない。 既存のSLMとLLMに対する包括的なベンチマークによって、Menta氏は、スケーラブルでプライバシに保護されたメンタルヘルス監視の可能性を強調している。 コードは、https://xxue752-nz.github.io/menta-project/で入手できる。

関連論文リスト

• LlaMADRS: Prompting Large Language Models for Interview-Based Depression Assessment [75.44934940580112]
  LlaMADRSは、オープンソースのLarge Language Models(LLM)を利用して、うつ病の重症度評価を自動化する新しいフレームワークである。 本研究は,クリニカルインタヴューの解釈・スコアリングにおけるモデル指導のために,慎重に設計された手がかりを用いたゼロショットプロンプト戦略を用いている。 実世界における236件のインタビューを対象とし,臨床評価と強い相関性を示した。
  論文  参考訳（メタデータ） (2025-01-07T08:49:04Z)
• ShadowLLM: Predictor-based Contextual Sparsity for Large Language Models [67.97667465509504]
  我々は,LLMの挙動を隠蔽し,より親密なパターンを強制できる新しい予測器であるShadowLLMを開発した。 ShadowLLMは最先端のDejaVuフレームワーク上で最大20%のスピードアップを達成する。
  論文  参考訳（メタデータ） (2024-06-24T13:41:08Z)
• MentaLLaMA: Interpretable Mental Health Analysis on Social Media with Large Language Models [28.62967557368565]
  ソーシャルメディア上に,最初のマルチタスクおよびマルチソース解釈可能なメンタルヘルスインストラクションデータセットを構築した。 専門家が作成した数発のプロンプトとラベルを収集し,ChatGPTをプロンプトし,その応答から説明を得る。 IMHIデータセットとLLaMA2ファンデーションモデルに基づいて、メンタルヘルス分析のための最初のオープンソースLLMシリーズであるMentalLLaMAを訓練する。
  論文  参考訳（メタデータ） (2023-09-24T06:46:08Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Mental-LLM: Leveraging Large Language Models for Mental Health Prediction via Online Text Data [42.965788205842465]
  本稿では,様々なメンタルヘルス予測タスクにおける多言語モデル(LLM)の包括的評価について述べる。 ゼロショットプロンプト、少数ショットプロンプト、微調整を含む実験を行う。 我々の最も精巧なモデルであるMental-AlpacaとMental-FLAN-T5は、バランスの取れた精度でGPT-3.5を10.9%上回り、GPT-4(250倍、150倍)を4.8%上回りました。
  論文  参考訳（メタデータ） (2023-07-26T06:00:50Z)
• nanoLM: an Affordable LLM Pre-training Benchmark via Accurate Loss Prediction across Scales [65.01417261415833]
  我々は,最大更新パラメトリゼーション(muP)がスケーリング法則の正確な適合を可能にするという観測に基づいて,事前学習損失を予測する手法を提案する。 トレーニング前コストの約14%で、52Bまでのモデルの損失を正確に予測できる。 NanoLMのゴールは、限られた資源を持つ研究者が大きなモデルで有意義な結論に達することを可能にすることです。
  論文  参考訳（メタデータ） (2023-04-14T00:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。