論文の概要: Menta: A Small Language Model for On-Device Mental Health Prediction

• arxiv url: http://arxiv.org/abs/2512.02716v2
• Date: Wed, 03 Dec 2025 03:43:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-04 13:29:32.041609
• Title: Menta: A Small Language Model for On-Device Mental Health Prediction
• Title（参考訳）: Menta: デバイス上でのメンタルヘルス予測のための小さな言語モデル
• Authors: Tianyi Zhang, Xiangyuan Xue, Lingyan Ruan, Shiya Fu, Feng Xia, Simon D'Alfonso, Vassilis Kostakos, Ting Dang, Hong Jia,
• Abstract要約: 我々は、ソーシャルメディアデータからマルチタスクのメンタルヘルス予測に特化して最適化された最初のSLMであるMentaを紹介した。 Mentaは、LoRAベースのフレームワーク、クロスデータセット戦略、バランスの取れた精度指向の損失を使用して、6つの分類タスクで共同でトレーニングされている。 我々は,iPhone 15 Pro Max上でのMentaのリアルタイムオンデバイス展開を実演し,約3GBのRAMしか必要としない。
• 参考スコア（独自算出の注目度）: 19.94525754933305
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mental health conditions affect hundreds of millions globally, yet early detection remains limited. While large language models (LLMs) have shown promise in mental health applications, their size and computational demands hinder practical deployment. Small language models (SLMs) offer a lightweight alternative, but their use for social media--based mental health prediction remains largely underexplored. In this study, we introduce Menta, the first optimized SLM fine-tuned specifically for multi-task mental health prediction from social media data. Menta is jointly trained across six classification tasks using a LoRA-based framework, a cross-dataset strategy, and a balanced accuracy--oriented loss. Evaluated against nine state-of-the-art SLM baselines, Menta achieves an average improvement of 15.2\% across tasks covering depression, stress, and suicidality compared with the best-performing non--fine-tuned SLMs. It also achieves higher accuracy on depression and stress classification tasks compared to 13B-parameter LLMs, while being approximately 3.25x smaller. Moreover, we demonstrate real-time, on-device deployment of Menta on an iPhone 15 Pro Max, requiring only approximately 3GB RAM. Supported by a comprehensive benchmark against existing SLMs and LLMs, Menta highlights the potential for scalable, privacy-preserving mental health monitoring. Code is available at: https://xxue752-nz.github.io/menta-project/
• Abstract（参考訳）: メンタルな健康状態は世界中に何億もの影響を及ぼすが、早期発見はまだ限られている。 大規模言語モデル(LLM)はメンタルヘルスの応用において有望であることを示しているが、そのサイズと計算上の要求は現実的な展開を妨げる。 スモールランゲージモデル(SLM)は軽量な代替手段を提供するが、ソーシャルメディアベースのメンタルヘルス予測に使用されることは、ほとんど探索されていない。 本研究では、ソーシャルメディアデータからマルチタスクのメンタルヘルス予測に特化して最適化された最初のSLMであるMentaを紹介する。 Mentaは、LoRAベースのフレームワーク、クロスデータセット戦略、バランスの取れた精度指向の損失を使用して、6つの分類タスクで共同でトレーニングされている。 メンタは、9つの最先端SLMベースラインに対して評価され、抑うつ、ストレス、自殺をカバーしたタスクにおいて、最も優れた非微調整SLMと比較して平均15.2\%の改善を達成する。 また、約3.25倍小さい13BパラメータのLDMに比べて、うつ病やストレス分類のタスクの精度も高い。 さらに、iPhone 15 Pro Max上でのMentaのリアルタイムオンデバイス展開を実演し、3GBのRAMしか必要としない。 既存のSLMとLLMに対する包括的なベンチマークによって、Menta氏は、スケーラブルでプライバシに保護されたメンタルヘルス監視の可能性を強調している。 コードは、https://xxue752-nz.github.io/menta-project/で入手できる。

関連論文リスト

• Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation [66.84286617519258]
  大規模言語モデルは、データアノテーションやテキスト分析といった労働集約的なタスクの自動化を可能にすることで、社会科学の研究を変革している。 このような変異は、系統的なバイアスやランダムなエラーを導入し、下流の分析に伝播し、タイプI(偽陽性)、タイプII(偽陰性)、タイプS(重み付け効果)、タイプM(誇張効果)のエラーを引き起こす。 意図的なLSMハッキングは驚くほど単純であることがわかった。21の社会科学研究から37のデータアノテーションタスクを複製することで、ほんのわずかのプロンプトの言い回しで、事実上何であれ統計的に重要なものとして表現できることがわかりました。
  論文  参考訳（メタデータ） (2025-09-10T17:58:53Z)
• Beyond Scale: Small Language Models are Comparable to GPT-4 in Mental Health Understanding [12.703061322251093]
  Small Language Models (SLM) は、Large Language Models (LLM) のプライバシ保護代替品である。 本稿では,現在SLMのメンタルヘルス理解能力について,分類タスクの体系的評価を通じて検討する。 我々の研究は、メンタルヘルス理解におけるSLMの可能性を強調し、センシティブなオンラインテキストデータを分析するための効果的なプライバシー保護ツールであることを示す。
  論文  参考訳（メタデータ） (2025-07-09T02:40:02Z)
• LlaMADRS: Prompting Large Language Models for Interview-Based Depression Assessment [75.44934940580112]
  LlaMADRSは、オープンソースのLarge Language Models(LLM)を利用して、うつ病の重症度評価を自動化する新しいフレームワークである。 本研究は,クリニカルインタヴューの解釈・スコアリングにおけるモデル指導のために,慎重に設計された手がかりを用いたゼロショットプロンプト戦略を用いている。 実世界における236件のインタビューを対象とし,臨床評価と強い相関性を示した。
  論文  参考訳（メタデータ） (2025-01-07T08:49:04Z)
• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)
• MentalGLM Series: Explainable Large Language Models for Mental Health Analysis on Chinese Social Media [31.752563319585196]
  ブラックボックスモデルはタスクを切り替えるときに柔軟性がなく、その結果は説明に欠ける。 大きな言語モデル(LLM)の台頭とともに、その柔軟性はこの分野に新しいアプローチを導入した。 本稿では,9Kサンプルからなる中国初のマルチタスク・ソーシャル・メディア解釈型メンタルヘルス・インストラクション・データセットを提案する。 また,中国ソーシャルメディアをターゲットとしたメンタルヘルス分析を目的とした,初のオープンソースLCMであるMentalGLMシリーズモデルを提案する。
  論文  参考訳（メタデータ） (2024-10-14T09:29:27Z)
• mhGPT: A Lightweight Generative Pre-Trained Transformer for Mental Health Text Analysis [8.654701704101779]
  本稿では、メンタルヘルス関連ソーシャルメディアとPubMedの記事に基づいて訓練された、軽量な生成事前学習トランスフォーマであるmhGPTを紹介する。 mhGPTは限られたハードウェア制約の下で評価され、MentaLLaMAやGemmaのような最先端のモデルと比較された。
  論文  参考訳（メタデータ） (2024-08-15T17:01:57Z)
• ShadowLLM: Predictor-based Contextual Sparsity for Large Language Models [67.97667465509504]
  我々は,LLMの挙動を隠蔽し,より親密なパターンを強制できる新しい予測器であるShadowLLMを開発した。 ShadowLLMは最先端のDejaVuフレームワーク上で最大20%のスピードアップを達成する。
  論文  参考訳（メタデータ） (2024-06-24T13:41:08Z)
• MentaLLaMA: Interpretable Mental Health Analysis on Social Media with Large Language Models [28.62967557368565]
  ソーシャルメディア上に,最初のマルチタスクおよびマルチソース解釈可能なメンタルヘルスインストラクションデータセットを構築した。 専門家が作成した数発のプロンプトとラベルを収集し,ChatGPTをプロンプトし,その応答から説明を得る。 IMHIデータセットとLLaMA2ファンデーションモデルに基づいて、メンタルヘルス分析のための最初のオープンソースLLMシリーズであるMentalLLaMAを訓練する。
  論文  参考訳（メタデータ） (2023-09-24T06:46:08Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Mental-LLM: Leveraging Large Language Models for Mental Health Prediction via Online Text Data [42.965788205842465]
  本稿では,様々なメンタルヘルス予測タスクにおける多言語モデル(LLM)の包括的評価について述べる。 ゼロショットプロンプト、少数ショットプロンプト、微調整を含む実験を行う。 我々の最も精巧なモデルであるMental-AlpacaとMental-FLAN-T5は、バランスの取れた精度でGPT-3.5を10.9%上回り、GPT-4(250倍、150倍)を4.8%上回りました。
  論文  参考訳（メタデータ） (2023-07-26T06:00:50Z)
• nanoLM: an Affordable LLM Pre-training Benchmark via Accurate Loss Prediction across Scales [65.01417261415833]
  我々は,最大更新パラメトリゼーション(muP)がスケーリング法則の正確な適合を可能にするという観測に基づいて,事前学習損失を予測する手法を提案する。 トレーニング前コストの約14%で、52Bまでのモデルの損失を正確に予測できる。 NanoLMのゴールは、限られた資源を持つ研究者が大きなモデルで有意義な結論に達することを可能にすることです。
  論文  参考訳（メタデータ） (2023-04-14T00:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。