論文の概要: Domain-specific Continued Pretraining of Language Models for Capturing Long Context in Mental Health

• arxiv url: http://arxiv.org/abs/2304.10447v1
• Date: Thu, 20 Apr 2023 16:43:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-21 12:28:07.731316
• Title: Domain-specific Continued Pretraining of Language Models for Capturing Long Context in Mental Health
• Title（参考訳）: メンタルヘルスの長期的文脈を捉えるための言語モデルのドメイン特化学習
• Authors: Shaoxiong Ji, Tianlin Zhang, Kailai Yang, Sophia Ananiadou, Erik Cambria, J\"org Tiedemann
• Abstract要約: 本稿では,精神保健の長期的状況を把握するために,ドメイン固有の事前訓練を実施している。 具体的には、XLNetとLongformerに基づいて、MentalXLNetとMentalLongformerをトレーニング、リリースする。 本研究は、これらの2つの領域固有の事前訓練モデルのメンタルヘルス分類性能と長期能力を評価する。
• 参考スコア（独自算出の注目度）: 23.458852189587073
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained language models have been used in various natural language processing applications. In the mental health domain, domain-specific language models are pretrained and released, which facilitates the early detection of mental health conditions. Social posts, e.g., on Reddit, are usually long documents. However, there are no domain-specific pretrained models for long-sequence modeling in the mental health domain. This paper conducts domain-specific continued pretraining to capture the long context for mental health. Specifically, we train and release MentalXLNet and MentalLongformer based on XLNet and Longformer. We evaluate the mental health classification performance and the long-range ability of these two domain-specific pretrained models. Our models are released in HuggingFace.
• Abstract（参考訳）: 事前訓練された言語モデルは、様々な自然言語処理アプリケーションで使われている。 メンタルヘルス領域では、ドメイン固有の言語モデルが事前訓練され、リリースされ、メンタルヘルス状態の早期検出が容易になる。 Redditなどのソーシャル投稿は通常、長い文書である。 しかし、メンタルヘルス領域におけるロングシーケンスモデリングのためのドメイン固有の事前学習モデルは存在しない。 本稿では,精神保健の長期的状況を把握するために,ドメイン固有の事前訓練を行う。 具体的には、XLNetとLongformerに基づいて、MentalXLNetとMentalLongformerをトレーニング、リリースする。 これら2つの領域特異的事前学習モデルのメンタルヘルス分類性能と長距離能力を評価した。 私たちのモデルはHuggingFaceでリリースされています。

関連論文リスト

• MentalArena: Self-play Training of Language Models for Diagnosis and Treatment of Mental Health Disorders [59.515827458631975]
  メンタルヘルス障害は世界で最も深刻な病気の1つである。 プライバシーに関する懸念は、パーソナライズされた治療データのアクセシビリティを制限する。 MentalArenaは、言語モデルをトレーニングするためのセルフプレイフレームワークである。
  論文  参考訳（メタデータ） (2024-10-09T13:06:40Z)
• Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
  本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。 特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。 また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
  論文  参考訳（メタデータ） (2024-04-27T05:03:42Z)
• Chinese MentalBERT: Domain-Adaptive Pre-training on Social Media for Chinese Mental Health Text Analysis [19.32304448831033]
  われわれは中国のソーシャルメディアプラットフォームから膨大なデータセットを収集した。 私たちは336万のテキストエントリを含むデータベースを作成するために、公開データセットでそれを強化しました。 心理学的テキスト分析へのモデルの適用性を高めるため,プレトレーニングマスキング機構に心理的レキシコンを組み込んだ。
  論文  参考訳（メタデータ） (2024-02-14T13:08:25Z)
• An Assessment on Comprehending Mental Health through Large Language Models [2.7044181783627086]
  成人の20%以上が、生涯に少なくとも1つの精神障害に遭遇する可能性がある。 本研究では,このギャップに対処する上で,大規模言語モデルの初期評価を行う。 DAIC-WOZデータセットの結果から、BERTやXLNetのようなトランスフォーマーベースのモデルは、大きな言語モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-01-09T14:50:04Z)
• Continuous Training and Fine-tuning for Domain-Specific Language Models in Medical Question Answering [4.254954312483959]
  大規模言語モデルは有望な汎用能力を示すが、しばしばドメイン固有のタスクに関する専門知識を欠いている。 本研究は,Llama 2ベースモデルを中国医学領域に迅速に適応させるための,連続的なトレーニングと指導の微調整を用いた手法を実証する。
  論文  参考訳（メタデータ） (2023-11-01T00:18:00Z)
• What do Large Language Models Learn beyond Language? [10.9650651784511]
  事前学習モデルは、非事前学習ニューラルモデルに匹敵する性能を著しく上回っていることがわかった。 実験により、多言語テキストやコンピュータコードで事前学習しても、事前学習の効果が持続することが明らかとなった。 その結果,言語モデルの事前学習能力と帰納学習能力との間には,未解明の深い関係があることが示唆された。
  論文  参考訳（メタデータ） (2022-10-21T23:43:13Z)
• MentalBERT: Publicly Available Pretrained Language Models for Mental Healthcare [29.14340469459733]
  精神障害の早期発見と社会的コンテンツからの自殺観念は、効果的な社会的介入の潜在的方法となる。 事前訓練された文脈言語表現の最近の進歩は、いくつかのドメイン固有の事前訓練されたモデルの開発を促進している。 本稿では、メンタルヘルス研究コミュニティにおける機械学習の恩恵を受けるために、トレーニング済みの言語モデルであるMentalBERTとMentalRoBERTaをトレーニング、リリースする。
  論文  参考訳（メタデータ） (2021-10-29T08:36:47Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Pretrained Language Model Embryology: The Birth of ALBERT [68.5801642674541]
  ランダムなパラメータの集合からトチエント言語モデルへの発達過程について検討する。 その結果、ALBERTは、事前学習中に異なる学習速度で、音声の異なる部分(POS)のトークンを再構成し、予測することを学習していることがわかった。 これらの結果は、事前訓練されたモデルの知識が事前訓練の間に異なることを示唆し、事前訓練のステップを持つことは、必ずしもより包括的な知識を持つモデルを提供するとは限らないことを示唆している。
  論文  参考訳（メタデータ） (2020-10-06T05:15:39Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。