論文の概要: Enhancing Mental Health Classification with Layer-Attentive Residuals and Contrastive Feature Learning

• arxiv url: http://arxiv.org/abs/2603.14075v1
• Date: Sat, 14 Mar 2026 18:42:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.584148
• Title: Enhancing Mental Health Classification with Layer-Attentive Residuals and Contrastive Feature Learning
• Title（参考訳）: 階層的残差とコントラスト的特徴学習によるメンタルヘルス分類の強化
• Authors: Menna Elgabry, Ali Hamdi, Khaled Shaban,
• Abstract要約: メンタルヘルスの分類を改善するための表現に焦点を当てた新しい枠組みを提案する。 textbf74.36%のスコアで、提案手法はSWMHベンチマークで最高のパフォーマンスを示す。
• 参考スコア（独自算出の注目度）: 0.5097809301149341
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The classification of mental health is challenging for a variety of reasons. For one, there is overlap between the mental health issues. In addition, the signs of mental health issues depend on the context of the situation, making classification difficult. Although fine-tuning transformers has improved the performance for mental health classification, standard cross-entropy training tends to create entangled feature spaces and fails to utilize all the information the transformers contain. We present a new framework that focuses on representations to improve mental health classification. This is done using two methods. First, \textbf{layer-attentive residual aggregation} which works on residual connections to to weigh and fuse representations from all transformer layers while maintaining high-level semantics. Second, \textbf{supervised contrastive feature learning} uses temperature-scaled supervised contrastive learning with progressive weighting to increase the geometric margin between confusable mental health problems and decrease class overlap by restructuring the feature space. With a score of \textbf{74.36\%}, the proposed method is the best performing on the SWMH benchmark and outperforms models that are domain-specialized, such as \textit{MentalBERT} and \textit{MentalRoBERTa} by margins of (3.25\% - 2.2\%) and 2.41 recall points over the highest achieving model. These findings show that domain-adaptive pretraining for mental health text classification can be surpassed by carefully designed representation geometry and layer-aware residual integration, which also provide enhanced interpretability through learnt layer importance.
• Abstract（参考訳）: メンタルヘルスの分類は様々な理由で困難である。 第一に、精神的な健康問題の間には重複がある。 さらに、メンタルヘルスの問題の兆候は状況によって異なり、分類を困難にしている。 微調整型トランスフォーマーは、メンタルヘルス分類の性能を改善したが、標準的なクロスエントロピートレーニングは、絡み合った特徴空間を作る傾向があり、トランスフォーマーが持つ全ての情報を利用することができない。 メンタルヘルスの分類を改善するための表現に焦点を当てた新しい枠組みを提案する。 これは2つの方法を用いて行われる。 まず、高レベルなセマンティクスを維持しながら、すべてのトランスフォーマー層から表現を重み付け、融合するための残差接続で動作する。 第二に, {textbf{supervised contrastive feature learning} は, 温度スケールによる教師付きコントラスト学習と進行重み付けを用いて, 障害のあるメンタルヘルス問題の間の幾何学的マージンを増大させ, 特徴空間を再構成することでクラスオーバーラップを減少させる。 提案手法は, SWMH ベンチマークにおいて, スコアが 3.25 % - 2.2 %) と 2.41 のリコールポイントの差で, SWMH ベンチマークで最高の性能を示し, ドメイン固有化モデル, 例えば \textit{MentalBERT} や \textit{MentalRoBERTa} を上回り, 評価した。 これらの結果から、心的健康テキスト分類のためのドメイン適応型事前学習は、慎重に設計された表現幾何学と層認識残差積分によって超えることが可能であり、学習層の重要性を通じて解釈可能性を高めることが示唆された。

関連論文リスト

• Duala: Dual-Level Alignment of Subjects and Stimuli for Cross-Subject fMRI Decoding [37.36610841961446]
  クロスオブジェクト視覚デコーディングは、個人間での脳活動からの視覚体験を再構築することを目的としている。 既存の手法は、データ制限のある新しい被験者に適応する際に、しばしば劣化したパフォーマンスに悩まされる。 刺激レベルの整合性と主観レベルの整合性を実現するために設計された二重レベル整合性フレームワークであるDualaを提案する。
  論文  参考訳（メタデータ） (2026-03-08T13:22:20Z)
• multiMentalRoBERTa: A Fine-tuned Multiclass Classifier for Mental Health Disorder [0.6308539010172308]
  ソーシャルメディアからのメンタルヘルス障害の早期発見は、適切なリソースへのタイムリーなサポート、リスクアセスメント、参照を可能にするために重要である。 この研究は、一般的な精神状態のマルチクラス分類用に設計された微調整RoBERTaモデルであるMultiMentalRoBERTaを紹介する。
  論文  参考訳（メタデータ） (2025-11-01T03:55:48Z)
• Mental Multi-class Classification on Social Media: Benchmarking Transformer Architectures against LSTM Models [7.464241214592479]
  本稿では,精神保健ポストを分類するために,LSTM(Long Short-Term Memory)モデルと最先端トランスフォーマーの比較を行った。 まず、厳密なフィルタリングと統計的探索分析を用いて、6つのメンタルヘルス状態とコントロールグループにまたがるReddit投稿の大規模なデータセットをキュレートし、アノテーションの品質を保証する。 実験結果から, トランスフォーマーモデルは, 全クラスで91-99%のF1スコアとアキュラシーを達成した。
  論文  参考訳（メタデータ） (2025-09-20T05:41:59Z)
• Continuous Knowledge-Preserving Decomposition with Adaptive Layer Selection for Few-Shot Class-Incremental Learning [73.59672160329296]
  CKPD-FSCILは、事前訓練された重量の未使用容量を解放する統合フレームワークである。 本手法は,適応性と知識保持の両面で,最先端の手法より一貫して優れている。
  論文  参考訳（メタデータ） (2025-01-09T07:18:48Z)
• Mental Health Diagnosis in the Digital Age: Harnessing Sentiment Analysis on Social Media Platforms upon Ultra-Sparse Feature Content [3.6195994708545016]
  3次元構造を持つ新しい意味的特徴前処理手法を提案する。 強化されたセマンティック機能により、精神障害を予測および分類するために機械学習モデルを訓練する。 提案手法は,7つのベンチマークモデルと比較して,大幅な性能向上を示した。
  論文  参考訳（メタデータ） (2023-11-09T00:15:06Z)
• Stabilizing Transformer Training by Preventing Attention Entropy Collapse [56.45313891694746]
  本研究は,トランスフォーマーのトレーニングダイナミクスについて,注目層の進化について検討する。 我々は、$sigma$Reparamが注意層におけるエントロピー崩壊を防ぎ、より安定したトレーニングを促進することを示す。 画像分類、画像自己教師型学習、機械翻訳、音声認識、言語モデリングタスクについて、$sigma$Reparamで実験を行った。
  論文  参考訳（メタデータ） (2023-03-11T03:30:47Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• Defensive Tensorization [113.96183766922393]
  本稿では,ネットワークの遅延高次分解を利用した対角防御手法であるテンソル防御手法を提案する。 我々は,標準画像分類ベンチマークにおけるアプローチの有効性を実証的に実証した。 我々は,音声タスクとバイナリネットワークを考慮し,ドメイン間のアプローチと低精度アーキテクチャの汎用性を検証した。
  論文  参考訳（メタデータ） (2021-10-26T17:00:16Z)
• Cross-Site Severity Assessment of COVID-19 from CT Images via Domain Adaptation [64.59521853145368]
  CT画像によるコロナウイルス病2019(COVID-19)の早期かつ正確な重症度評価は,集中治療単位のイベント推定に有効である。 ラベル付きデータを拡張し、分類モデルの一般化能力を向上させるためには、複数のサイトからデータを集約する必要がある。 この課題は、軽度の感染症と重度の感染症の集団不均衡、部位間のドメイン分布の相違、不均一な特徴の存在など、いくつかの課題に直面する。
  論文  参考訳（メタデータ） (2021-09-08T07:56:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。