論文の概要: SwasthLLM: a Unified Cross-Lingual, Multi-Task, and Meta-Learning Zero-Shot Framework for Medical Diagnosis Using Contrastive Representations

• arxiv url: http://arxiv.org/abs/2509.20567v1
• Date: Wed, 24 Sep 2025 21:20:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 20:58:12.592238
• Title: SwasthLLM: a Unified Cross-Lingual, Multi-Task, and Meta-Learning Zero-Shot Framework for Medical Diagnosis Using Contrastive Representations
• Title（参考訳）: SwasthLLM : コントラスト表現を用いた医学診断のための統合型多言語・マルチタスク・メタラーニングゼロショットフレームワーク
• Authors: Ayan Sar, Pranav Singh Puri, Sumit Aich, Tanupriya Choudhury, Abhijit Kumar,
• Abstract要約: SwasthLLMは、医用診断のための統一、ゼロショット、クロスランガル、マルチタスク学習フレームワークである。 英語、ヒンディー語、ベンガル語で、言語固有の微調整を必要としない。 SwasthLLMは97.22%、F1スコア97.17%という高い診断性能を達成している。
• 参考スコア（独自算出の注目度）: 0.4077787659104315
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In multilingual healthcare environments, automatic disease diagnosis from clinical text remains a challenging task due to the scarcity of annotated medical data in low-resource languages and the linguistic variability across populations. This paper proposes SwasthLLM, a unified, zero-shot, cross-lingual, and multi-task learning framework for medical diagnosis that operates effectively across English, Hindi, and Bengali without requiring language-specific fine-tuning. At its core, SwasthLLM leverages the multilingual XLM-RoBERTa encoder augmented with a language-aware attention mechanism and a disease classification head, enabling the model to extract medically relevant information regardless of the language structure. To align semantic representations across languages, a Siamese contrastive learning module is introduced, ensuring that equivalent medical texts in different languages produce similar embeddings. Further, a translation consistency module and a contrastive projection head reinforce language-invariant representation learning. SwasthLLM is trained using a multi-task learning strategy, jointly optimizing disease classification, translation alignment, and contrastive learning objectives. Additionally, we employ Model-Agnostic Meta-Learning (MAML) to equip the model with rapid adaptation capabilities for unseen languages or tasks with minimal data. Our phased training pipeline emphasizes robust representation alignment before task-specific fine-tuning. Extensive evaluation shows that SwasthLLM achieves high diagnostic performance, with a test accuracy of 97.22% and an F1-score of 97.17% in supervised settings. Crucially, in zero-shot scenarios, it attains 92.78% accuracy on Hindi and 73.33% accuracy on Bengali medical text, demonstrating strong generalization in low-resource contexts.
• Abstract（参考訳）: 多言語医療環境では、低リソース言語における注釈付き医療データの不足と集団間の言語的多様性のために、臨床テキストからの自動疾患診断が依然として難しい課題である。 本稿では,言語固有の微調整を必要とせず,英語,ヒンディー語,ベンガル語で効果的に機能する医用診断用統合・ゼロショット・クロスランガル・マルチタスク学習フレームワークであるSwasthLLMを提案する。 SwasthLLMのコアとなるXLM-RoBERTaエンコーダには言語対応の注意機構と疾患分類ヘッドが組み込まれており、言語構造に関係なく医療関連情報を抽出することができる。 セマンティック表現を言語間で整合させるため、異なる言語における等価な医学テキストが同様の埋め込みを生成することを保証する、シームズコントラスト学習モジュールが導入された。 さらに、翻訳整合モジュールとコントラッシブプロジェクションヘッドは、言語不変表現学習を強化する。 SwasthLLMはマルチタスク学習戦略を用いて学習し、疾患分類、翻訳アライメント、コントラスト学習目的を共同で最適化する。 さらに、モデルに依存しないメタラーニング(MAML)を用いて、未確認言語や最小限のデータを持つタスクに対して、モデルに迅速な適応機能を持たせる。 私たちのフェーズドトレーニングパイプラインは、タスク固有の微調整の前に、堅牢な表現アライメントを強調します。 広範囲な評価の結果、SwasthLLMは97.22%、F1スコア97.17%という高い診断性能を達成している。 重要なことに、ゼロショットのシナリオでは、ヒンディー語では92.78%、ベンガル語では73.33%の精度に達し、低リソースの文脈では強い一般化を示す。

関連論文リスト

• Bridging Language Barriers in Healthcare: A Study on Arabic LLMs [1.2006896500048552]
  本稿では,多言語理解と医学知識の両方に熟練した大規模言語モデルを開発する上での課題について考察する。 言語比率を慎重に調整した大規模モデルは、母国語の臨床課題において優れた性能を発揮することが判明した。
  論文  参考訳（メタデータ） (2025-01-16T20:24:56Z)
• Adapting Mental Health Prediction Tasks for Cross-lingual Learning via Meta-Training and In-context Learning with Large Language Model [3.3590922002216193]
  モデルに依存しないメタラーニングと,このギャップに対処するために大規模言語モデル(LLM)を活用する。 まず,自己超越型メタラーニングモデルを適用し,迅速な適応と言語間移動のためのモデル初期化を改良する。 並行して、LLMのインコンテキスト学習機能を用いて、スワヒリのメンタルヘルス予測タスクにおけるパフォーマンスの精度を評価する。
  論文  参考訳（メタデータ） (2024-04-13T17:11:35Z)
• Med-UniC: Unifying Cross-Lingual Medical Vision-Language Pre-Training by Diminishing Bias [38.26934474189853]
  Med-UniC (Med-UniC) は、英語とスペイン語のマルチモーダル医療データを統合したものである。 Med-UniCは、5つの医療画像タスクと30以上の疾患を含む10のデータセットで優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-05-31T14:28:19Z)
• Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of Code-Mixed Clinical Texts [56.72488923420374]
  事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。 脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
  論文  参考訳（メタデータ） (2022-04-10T21:46:52Z)
• CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
  中国初のバイオメディカル言語理解評価ベンチマークを提示する。 名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。 本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-06-15T12:25:30Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation [127.81351683335143]
  クロスリンガルプリトレーニングは、2つの言語の語彙的表現と高レベル表現を整列させるモデルを必要とする。 これまでの研究では、これは表現が十分に整合していないためです。 本稿では,語彙レベルの情報で事前学習するバイリンガルマスク言語モデルを,型レベルのクロスリンガルサブワード埋め込みを用いて強化する。
  論文  参考訳（メタデータ） (2021-03-18T21:17:58Z)
• Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
  言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。 本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。 複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
  論文  参考訳（メタデータ） (2020-10-27T13:12:17Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。