論文の概要: Adapting Mental Health Prediction Tasks for Cross-lingual Learning via Meta-Training and In-context Learning with Large Language Model

• arxiv url: http://arxiv.org/abs/2404.09045v1
• Date: Sat, 13 Apr 2024 17:11:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 17:34:10.168346
• Title: Adapting Mental Health Prediction Tasks for Cross-lingual Learning via Meta-Training and In-context Learning with Large Language Model
• Title（参考訳）: メタ訓練と大規模言語モデルを用いたインコンテキスト学習による言語間学習におけるメンタルヘルス予測タスクの適応
• Authors: Zita Lifelo, Huansheng Ning, Sahraoui Dhelim,
• Abstract要約: モデルに依存しないメタラーニングと,このギャップに対処するために大規模言語モデル(LLM)を活用する。 まず,自己超越型メタラーニングモデルを適用し,迅速な適応と言語間移動のためのモデル初期化を改良する。 並行して、LLMのインコンテキスト学習機能を用いて、スワヒリのメンタルヘルス予測タスクにおけるパフォーマンスの精度を評価する。
• 参考スコア（独自算出の注目度）: 3.3590922002216193
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Timely identification is essential for the efficient handling of mental health illnesses such as depression. However, the current research fails to adequately address the prediction of mental health conditions from social media data in low-resource African languages like Swahili. This study introduces two distinct approaches utilising model-agnostic meta-learning and leveraging large language models (LLMs) to address this gap. Experiments are conducted on three datasets translated to low-resource language and applied to four mental health tasks, which include stress, depression, depression severity and suicidal ideation prediction. we first apply a meta-learning model with self-supervision, which results in improved model initialisation for rapid adaptation and cross-lingual transfer. The results show that our meta-trained model performs significantly better than standard fine-tuning methods, outperforming the baseline fine-tuning in macro F1 score with 18\% and 0.8\% over XLM-R and mBERT. In parallel, we use LLMs' in-context learning capabilities to assess their performance accuracy across the Swahili mental health prediction tasks by analysing different cross-lingual prompting approaches. Our analysis showed that Swahili prompts performed better than cross-lingual prompts but less than English prompts. Our findings show that in-context learning can be achieved through cross-lingual transfer through carefully crafted prompt templates with examples and instructions.
• Abstract（参考訳）: タイムリーな識別はうつ病などの精神疾患の効率的な治療に不可欠である。 しかしながら、現在の研究はスワヒリ語のような低リソースのアフリカの言語におけるソーシャルメディアデータから精神状態の予測に適切に対処することができない。 本研究では,モデルに依存しないメタラーニングと,このギャップに対処するための大規模言語モデル(LLM)を活用する2つのアプローチを提案する。 低リソース言語に翻訳された3つのデータセットを用いて実験を行い、ストレス、うつ病、うつ病の重症度、自殺の考え予測を含む4つのメンタルヘルスタスクに適用した。 まず,自己超越型メタ学習モデルを適用し,迅速な適応と言語間移動のためのモデル初期化を改良する。 その結果,XLM-RおよびmBERTよりも18%,0.8%,マクロF1スコアでは2。 並行して、LLMのインコンテキスト学習機能を用いて、異なる言語間プロンプトアプローチを分析して、スワヒリのメンタルヘルス予測タスクにおけるパフォーマンスの精度を評価する。 分析の結果,スワヒリのプロンプトは言語間プロンプトよりも優れていたが,英語のプロンプトよりは低かった。 提案手法は,実例と指示文を用いたプロンプトテンプレートを巧みに作成することにより,言語間移動によりテキスト内学習が実現可能であることを示す。

関連論文リスト

• Zero-shot Cross-lingual Stance Detection via Adversarial Language Adaptation [7.242609314791262]
  本稿では,ゼロショット言語間スタンス検出,多言語翻訳拡張BERT (MTAB) に対する新しいアプローチを提案する。 本手法では,ゼロショット性能を向上させるために翻訳拡張を用い,モデルの有効性をさらに向上するために,対角学習と組み合わせる。 提案手法の有効性を実証し,強力なベースラインモデルと改良されたモデルとの比較を行った。
  論文  参考訳（メタデータ） (2024-04-22T16:56:43Z)
• Process Knowledge-infused Learning for Clinician-friendly Explanations [14.405002816231477]
  言語モデルはソーシャルメディアデータを用いてメンタルヘルスを評価することができる。 彼らは臨床医の診断過程とポストを比較しない。 臨床医が理解できる概念を使って言語モデルのアウトプットを説明するのは難しいです。
  論文  参考訳（メタデータ） (2023-06-16T13:08:17Z)
• Bridging the Gap between Language Models and Cross-Lingual Sequence Labeling [101.74165219364264]
  大規模言語間事前学習言語モデル (xPLM) は、言語間シーケンスラベリングタスクにおいて有効であることを示す。 大きな成功にもかかわらず、事前学習と微調整の段階の間には訓練対象のギャップがあるという経験的観察を描いている。 本稿では,まず,言語間インフォーマティブ・スパン・マスキング(CLISM)と呼ばれるxSLのための事前学習タスクを設計し,目的のギャップを解消する。 第2に、コントラスト学習を利用して入力並列表現間の一貫性を促進するContrAstive-Consistency Regularization (CACR)を提案する。
  論文  参考訳（メタデータ） (2022-04-11T15:55:20Z)
• From Good to Best: Two-Stage Training for Cross-lingual Machine Reading Comprehension [51.953428342923885]
  モデル性能を向上させるための2段階のアプローチを開発する。 我々は、トップk予測が正確な答えを含む確率を最大化するために、ハードラーニング(HL)アルゴリズムを設計する。 第2段階では, 正解と他の候補との微妙な違いを学習するために, 解答を意識したコントラスト学習機構が開発された。
  論文  参考訳（メタデータ） (2021-12-09T07:31:15Z)
• Cross-lingual Adaption Model-Agnostic Meta-Learning for Natural Language Understanding [24.66203356497508]
  メタ学習段階で直接言語間適応を行うXLA-MAMLを提案する。 自然言語推論と質問応答に関するゼロショットと少数ショットの実験を行った。
  論文  参考訳（メタデータ） (2021-11-10T16:53:50Z)
• Towards Lifelong Learning of Multilingual Text-To-Speech Synthesis [87.75833205560406]
  本研究は,多言語テキスト音声(TTS)システムを学習するための生涯学習手法を提案する。 すべての言語からプールされたデータを必要としないため、ストレージと計算の負担が軽減される。
  論文  参考訳（メタデータ） (2021-10-09T07:00:38Z)
• Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation [127.81351683335143]
  クロスリンガルプリトレーニングは、2つの言語の語彙的表現と高レベル表現を整列させるモデルを必要とする。 これまでの研究では、これは表現が十分に整合していないためです。 本稿では,語彙レベルの情報で事前学習するバイリンガルマスク言語モデルを,型レベルのクロスリンガルサブワード埋め込みを用いて強化する。
  論文  参考訳（メタデータ） (2021-03-18T21:17:58Z)
• Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
  言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。 本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。 本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
  論文  参考訳（メタデータ） (2020-10-18T00:21:53Z)
• Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models via Continual Learning [74.25168207651376]
  訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。 ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。 提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2020-04-29T14:07:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。