論文の概要: A new training approach for text classification in Mental Health: LatentGLoss

• arxiv url: http://arxiv.org/abs/2504.07245v1
• Date: Wed, 09 Apr 2025 19:34:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-11 12:22:45.165427
• Title: A new training approach for text classification in Mental Health: LatentGLoss
• Title（参考訳）: メンタルヘルスにおけるテキスト分類の新しいトレーニングアプローチ:LatentGLoss
• Authors: Korhan Sevinç,
• Abstract要約: 本研究では,機械学習アルゴリズム,ディープラーニングアーキテクチャ,トランスフォーマーモデルを活用することにより,メンタルヘルス分類の多段階的アプローチを提案する。 本研究の中核的な貢献は、教師と学生ネットワークで構成される二重モデルアーキテクチャを含む、新しいトレーニング戦略にある。 実験の結果、各モデルステージの有効性を強調し、提案した損失関数と教師と学生の相互作用が、メンタルヘルス予測タスクにおけるモデルの学習能力を大幅に向上させることを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This study presents a multi-stage approach to mental health classification by leveraging traditional machine learning algorithms, deep learning architectures, and transformer-based models. A novel data set was curated and utilized to evaluate the performance of various methods, starting with conventional classifiers and advancing through neural networks. To broaden the architectural scope, recurrent neural networks (RNNs) such as LSTM and GRU were also evaluated to explore their effectiveness in modeling sequential patterns in the data. Subsequently, transformer models such as BERT were fine-tuned to assess the impact of contextual embeddings in this domain. Beyond these baseline evaluations, the core contribution of this study lies in a novel training strategy involving a dual-model architecture composed of a teacher and a student network. Unlike standard distillation techniques, this method does not rely on soft label transfer; instead, it facilitates information flow through both the teacher model's output and its latent representations by modifying the loss function. The experimental results highlight the effectiveness of each modeling stage and demonstrate that the proposed loss function and teacher-student interaction significantly enhance the model's learning capacity in mental health prediction tasks.
• Abstract（参考訳）: 本研究では,従来の機械学習アルゴリズム,ディープラーニングアーキテクチャ,トランスフォーマーに基づくモデルを活用することにより,メンタルヘルス分類の多段階的アプローチを提案する。 従来の分類器から始まり、ニューラルネットワークを通して進行する様々な手法の性能を評価するために、新しいデータセットをキュレートして利用した。 アーキテクチャの範囲を広げるために、LSTMやGRUといったリカレントニューラルネットワーク(RNN)も評価し、データ内のシーケンシャルパターンをモデル化する上での有効性を検討した。 その後、BERTのようなトランスフォーマーモデルは、この領域におけるコンテキスト埋め込みの影響を評価するために微調整された。 これらのベースライン評価の他に、本研究の核となる貢献は、教師と学生ネットワークからなる二重モデルアーキテクチャを含む新しいトレーニング戦略にある。 従来の蒸留法とは異なり、この方法はソフトラベルの転送に頼らず、損失関数を変更することで教師モデルの出力と潜伏表現の両方を通して情報の流れを容易にする。 実験の結果、各モデルステージの有効性を強調し、提案した損失関数と教師と学生の相互作用が、メンタルヘルス予測タスクにおけるモデルの学習能力を大幅に向上させることを示した。

関連論文リスト

• Generalized Factor Neural Network Model for High-dimensional Regression [50.554377879576066]
  複素・非線形・雑音に隠れた潜在低次元構造を持つ高次元データセットをモデル化する課題に取り組む。 我々のアプローチは、非パラメトリック回帰、因子モデル、高次元回帰のためのニューラルネットワークの概念のシームレスな統合を可能にする。
  論文  参考訳（メタデータ） (2025-02-16T23:13:55Z)
• An Efficient Framework for Enhancing Discriminative Models via Diffusion Techniques [12.470257882838126]
  拡散に基づく識別モデル強化フレームワーク(DBMEF)を提案する。 このフレームワークは、差別的および生成的モデルをトレーニング不要な方法でシームレスに統合する。 DBMEFは、プラグアンドプレイ方式で識別モデルの分類精度と能力を効果的に向上させることができる。
  論文  参考訳（メタデータ） (2024-12-12T08:46:22Z)
• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Domain-decomposed image classification algorithms using linear discriminant analysis and convolutional neural networks [0.0]
  2つの異なる領域分割されたCNNモデルは、異なる画像分類問題に対して実験的に比較される。 その結果,グローバルCNNモデルと比較すると,分類精度が向上した。 局所化アプローチにも依存し,小さなニューラルネットワークモデルと組み合わせた,新しい分解型LDA戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-30T18:07:12Z)
• Revisiting Nearest Neighbor for Tabular Data: A Deep Tabular Baseline Two Decades Later [76.66498833720411]
  K$-nearest neighbors (KNN) はもともと,インスタンス間のセマンティックな類似性を捉えるために線形投影を学習するために設計されたものだ。 意外なことに、SGDを用いたNAAの実装と次元減少のない実装は、表データの良好な性能をすでに達成しています。 本稿では、損失関数、予測戦略、深いアーキテクチャなど、これらの改善の背景にある要因を分析して、論文を締めくくる。
  論文  参考訳（メタデータ） (2024-07-03T16:38:57Z)
• Contrastive-Adversarial and Diffusion: Exploring pre-training and fine-tuning strategies for sulcal identification [3.0398616939692777]
  対人学習、コントラスト学習、拡散認知学習、通常の再構成学習といった技術が標準となっている。 この研究は、ニューラルネットワークの学習プロセスを強化するために、事前学習技術と微調整戦略の利点を解明することを目的としている。
  論文  参考訳（メタデータ） (2024-05-29T15:44:51Z)
• Distilled Datamodel with Reverse Gradient Matching [74.75248610868685]
  オフライントレーニングとオンライン評価段階を含む,データ影響評価のための効率的なフレームワークを提案する。 提案手法は, 直接再学習法と比較して, プロセスの大幅な高速化を図りながら, 同等のモデル行動評価を実現する。
  論文  参考訳（メタデータ） (2024-04-22T09:16:14Z)
• SleepEGAN: A GAN-enhanced Ensemble Deep Learning Model for Imbalanced Classification of Sleep Stages [4.649202082648198]
  本研究では,睡眠段階の非バランスな分類のために,GAN(Generative Adversarial Network)を用いたアンサンブル深層学習モデルであるSleepEGANを開発した。 提案手法は,3つの睡眠データセットを用いた既存手法と比較して,分類精度を向上できることを示す。
  論文  参考訳（メタデータ） (2023-07-04T01:56:00Z)
• Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
  予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。 本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。 提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2022-12-09T03:58:22Z)
• Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
  本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。 畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。 この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
  論文  参考訳（メタデータ） (2021-08-03T19:24:25Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。