論文の概要: MentalMARBERT: Domain-Adaptive Pre-training and Two-Stage Fine-Tuning for Arabic Mental Health Disorders Detection

• arxiv url: http://arxiv.org/abs/2606.12649v1
• Date: Wed, 10 Jun 2026 20:20:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.445104
• Title: MentalMARBERT: Domain-Adaptive Pre-training and Two-Stage Fine-Tuning for Arabic Mental Health Disorders Detection
• Title（参考訳）: MentalMARBERT : アラビア・メンタルヘルス障害検出のためのドメイン適応型プレトレーニングと2段階ファインチューニング
• Authors: Fatimah Almalki, Areej Alhothali, Lulwah Alharigy, Abdulrahman Aladeem,
• Abstract要約: 本研究では、アラビア語のメンタルヘルステキスト分類のための2段階の枠組みを提案する。 フェーズ1では、3つのアラビア語事前訓練された言語モデルがドメイン適応およびタスク適応事前訓練を受けている。 フェーズ2では、選択されたモデルは、完全な微調整と低ランク適応の4つの構成で評価される。
• 参考スコア（独自算出の注目度）: 0.7039739305668745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Detecting mental health disorders from Arabic social media text remains challenging due to dialectal variation, informal language, limited high-quality annotated resources, and severe class imbalance. While English mental health natural language processing (NLP) has progressed substantially, Arabic multi-class disorder classification remains insufficiently studied. This study proposes a two-phase framework for Arabic mental health text classification. In phase 1, three Arabic pre-trained language models, AraBERT, CAMeLBERT, and MARBERT, undergo Domain-Adaptive and Task-Adaptive Pretraining (DAPT and TAPT) using a large-scale corpus of unlabeled Arabic mental health tweets. The adapted models are evaluated under a unified protocol to identify the most effective backbone model. In phase 2, the selected model is assessed across four configurations combining single-stage and hierarchical two-stage classification architectures with full fine-tuning and Low-Rank Adaptation (LoRA). To support this study, we constructed a novel annotated Arabic mental health dataset comprising 50,670 tweets across six categories, with strong inter annotator agreement (Krippendorff's Alpha = 0.733, average pairwise agreement = 0.797). Experimental results show that the domain-adapted MARBERT (MentalMARBERT) achieves statistically significant improvements over baseline models in both accuracy and macro-F1. The hierarchical two-stage architecture combined with full fine-tuning achieves the best overall performance, reaching a macro-F1 of 0.861 and an accuracy of 0.877. These findings demonstrate the effectiveness of domain-specific adaptive pretraining and hierarchical classification for Arabic mental health disorder detection.
• Abstract（参考訳）: アラビア語のソーシャルメディアのテキストからメンタルヘルス障害を検出することは、方言のバリエーション、非公式な言語、限られた高品質のアノテートリソース、厳しい階級不均衡によって依然として困難である。 英語のメンタルヘルス自然言語処理(NLP)は大幅に進歩しているが、アラビア語の多階級の障害分類はいまだに十分に研究されていない。 本研究では、アラビア語のメンタルヘルステキスト分類のための2段階の枠組みを提案する。 第1フェーズでは、AraBERT、CAMeLBERT、MARBERTの3つのアラビア語事前訓練言語モデルが、未ラベルのアラビア語メンタルヘルスツイートの大規模コーパスを使用して、ドメイン適応およびタスク適応事前訓練(DAPT、TAPT)を行っている。 適応モデルは、最も効果的なバックボーンモデルを特定するために、統一されたプロトコルで評価される。 フェーズ2では、選択されたモデルは、単一ステージと階層的な2段階の分類アーキテクチャと完全な微調整とローランド適応(LoRA)を組み合わせた4つの構成で評価される。 本研究では,6つのカテゴリにまたがる50,670のつぶやきを含む新たなアラビア語のメンタルヘルスデータセットを構築した(Krippendorff's Alpha = 0.733, average pairwise agreement = 0.797)。 実験の結果,ドメイン適応型MARBERT (MentalMARBERT) は,精度とマクロF1において,ベースラインモデルよりも統計的に有意な改善が得られた。 階層的な2段階アーキテクチャと完全な微調整を組み合わせることで、マクロF1は0.861、精度は0.877に達する。 これらの結果から,アラビア・メンタルヘルス障害検出におけるドメイン特異的適応事前訓練と階層分類の有効性が示唆された。

関連論文リスト

• Automated ICD Classification of Psychiatric Diagnoses: From Classical NLP to Large Language Models [67.51123543731806]
  メンタルヘルスは世界的な優先事項となり、臨床診断のコーディングにおける管理上の負担が大きくなった。 本研究では、自然言語処理(NLP)と機械学習(ML)技術を用いて、フリーテキスト記述を国際疾患分類(ICD)にマッピングすることで、精神医学的診断分析の自動化を提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:26:05Z)
• Severity-Aware Weighted Loss for Arabic Medical Text Generation [0.25489046505746704]
  本稿では,医学的苦情応答データに基づく微調整アラビア語モデルの重み付き損失を提案する。 MAQAデータセットを用いて実験を行い、アラビア人の医療的苦情と信頼できる人間の反応を提供する。
  論文  参考訳（メタデータ） (2026-04-07T18:26:41Z)
• Small Language Models for Privacy-Preserving Clinical Information Extraction in Low-Resource Languages [0.0]
  本研究では,Aya-expanse-8Bをペルシャ語から英語への翻訳モデルと5つのオープンソース小言語モデル(SLM)を組み合わせた2段階パイプラインの評価を行った。 マクロ平均F1スコア, マシューズ相関係数(MCC), 感度, クラス不均衡を考慮した特異性について検討した。 Aya-expanse-8Bのバイリンガル分析により、ペルシア文字を英語に翻訳することで感度が向上し、出力が低下し、クラス不均衡に頑健な指標が増加した。
  論文  参考訳（メタデータ） (2026-02-24T21:10:29Z)
• Qwen3-ASR Technical Report [71.87071808763484]
  2つの強力なオールインワン音声認識モデルと、新しい非自己回帰音声強制アライメントモデルを含むQwen3-ASRファミリを紹介する。 Qwen3-ASR-1.7BとQwen3-ASR-0.6Bは、言語識別と52の言語および方言のASRをサポートするASRモデルである。
  論文  参考訳（メタデータ） (2026-01-29T06:58:13Z)
• Binary Token-Level Classification with DeBERTa for All-Type MWE Identification: A Lightweight Approach with Linguistic Enhancement [1.8429656136522097]
  本稿では,バイナリトークンレベルの分類,言語的特徴の統合,データ拡張を組み合わせた,MWE識別のための包括的アプローチを提案する。 我々のDeBERTa-v3大規模モデルは、CoAMデータセット上で69.8%のF1を達成し、このデータセットで最高の結果(Qwen-72B, 57.8% F1)を12ポイント上回り、パラメータは165倍少ない。
  論文  参考訳（メタデータ） (2026-01-27T08:42:54Z)
• Hierarchical Self-Supervised Representation Learning for Depression Detection from Speech [51.14752758616364]
  音声による抑うつ検出 (SDD) は、従来の臨床評価に代わる有望で非侵襲的な代替手段である。 HAREN-CTCは,マルチタスク学習フレームワーク内でのクロスアテンションを用いて,多層SSL機能を統合した新しいアーキテクチャである。 このモデルはDAIC-WOZで0.81、MODMAで0.82の最先端マクロF1スコアを達成し、両方の評価シナリオで先行手法より優れている。
  論文  参考訳（メタデータ） (2025-10-05T09:32:12Z)
• Mental Multi-class Classification on Social Media: Benchmarking Transformer Architectures against LSTM Models [7.464241214592479]
  本稿では,精神保健ポストを分類するために,LSTM(Long Short-Term Memory)モデルと最先端トランスフォーマーの比較を行った。 まず、厳密なフィルタリングと統計的探索分析を用いて、6つのメンタルヘルス状態とコントロールグループにまたがるReddit投稿の大規模なデータセットをキュレートし、アノテーションの品質を保証する。 実験結果から, トランスフォーマーモデルは, 全クラスで91-99%のF1スコアとアキュラシーを達成した。
  論文  参考訳（メタデータ） (2025-09-20T05:41:59Z)
• Optimized Text Embedding Models and Benchmarks for Amharic Passage Retrieval [49.1574468325115]
  トレーニング済みのAmharic BERTとRoBERTaのバックボーンをベースとした,Amharic固有の高密度検索モデルを提案する。 提案したRoBERTa-Base-Amharic-Embedモデル(110Mパラメータ)は,MRR@10の相対的な改善を17.6%達成する。 RoBERTa-Medium-Amharic-Embed (42M)のようなよりコンパクトな派生型は13倍以上小さいまま競争力を維持している。
  論文  参考訳（メタデータ） (2025-05-25T23:06:20Z)
• A Comprehensive Evaluation of Large Language Models on Mental Illnesses in Arabic Context [0.9074663948713616]
  メンタルヘルス障害はアラブ世界で公衆衛生の懸念が高まっている。 本研究は,多様なメンタルヘルスデータセットに基づいて,8つの大言語モデル(LLM)を包括的に評価する。
  論文  参考訳（メタデータ） (2025-01-12T16:17:25Z)
• SLAM: Towards Efficient Multilingual Reasoning via Selective Language Alignment [78.4550589538805]
  本稿では,多言語性を扱うレイヤを正確に識別し,微調整する,効率的な多言語推論アライメント手法を提案する。 実験の結果, SLAM法は7Bおよび13BLLMのパラメータの6.5-8%を含む6層のフィードフォワードサブ層のみをチューニングできることがわかった。
  論文  参考訳（メタデータ） (2025-01-07T10:29:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。