論文の概要: A Patient-Doctor-NLP-System to contest inequality for less privileged
- arxiv url: http://arxiv.org/abs/2512.06734v1
- Date: Sun, 07 Dec 2025 08:59:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-09 22:03:54.496125
- Title: A Patient-Doctor-NLP-System to contest inequality for less privileged
- Title(参考訳): 低特権で不平等と闘う患者・医師・NLPシステム
- Authors: Subrit Dikshit, Ritu Tiwari, Priyank Jain,
- Abstract要約: この研究は、視覚障害者やヒンディー語のような低リソース言語話者が利用できる限られたサポートに対処する。
本稿では, モデル蒸留, 周波数領域変調, アンサンブル学習, ランダム化アクティベーションパターンを統合した小型トランスフォーマーアーキテクチャであるPDFTEMRAを提案する。
その結果, PDFTEMRA は計算性能が著しく低く, 高い性能を示した。
- 参考スコア(独自算出の注目度): 0.688204255655161
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transfer Learning (TL) has accelerated the rapid development and availability of large language models (LLMs) for mainstream natural language processing (NLP) use cases. However, training and deploying such gigantic LLMs in resource-constrained, real-world healthcare situations remains challenging. This study addresses the limited support available to visually impaired users and speakers of low-resource languages such as Hindi who require medical assistance in rural environments. We propose PDFTEMRA (Performant Distilled Frequency Transformer Ensemble Model with Random Activations), a compact transformer-based architecture that integrates model distillation, frequency-domain modulation, ensemble learning, and randomized activation patterns to reduce computational cost while preserving language understanding performance. The model is trained and evaluated on medical question-answering and consultation datasets tailored to Hindi and accessibility scenarios, and its performance is compared against standard NLP state-of-the-art model baselines. Results demonstrate that PDFTEMRA achieves comparable performance with substantially lower computational requirements, indicating its suitability for accessible, inclusive, low-resource medical NLP applications.
- Abstract(参考訳): Transfer Learning (TL)は、主流自然言語処理(NLP)のユースケースに対して、大規模言語モデル(LLM)の急速な開発と利用を加速した。
しかし、資源が制限された現実世界の医療状況において、そのような巨大なLSMの訓練と展開は依然として困難である。
本研究は、農村部における医療支援を必要とするヒンディー語などの低リソース言語話者と視覚障害者の限られたサポートについて考察する。
本稿では, モデル蒸留, 周波数領域変調, アンサンブル学習, ランダム化アクティベーションパターンを統合し, 言語理解性能を維持しつつ, 計算コストの低減を図る小型トランスフォーマーアーキテクチャであるPDFTEMRAを提案する。
このモデルは、ヒンディー語とアクセシビリティのシナリオに合わせて、医学的質問応答およびコンサルティングデータセットに基づいて訓練され、評価され、その性能は標準的なNLPモデルベースラインと比較される。
その結果、PDFTEMRAは計算要求が大幅に小さく、アクセス可能で、包括的で、低リソースの医療用NLPアプリケーションに適合することを示す。
関連論文リスト
- Applications of Small Language Models in Medical Imaging Classification with a Focus on Prompt Strategies [9.1953139634128]
本研究では,医療画像分類作業における小言語モデル(SLM)の性能について検討する。
NIH Chest X-ray データセットを用いて胸部X線位置を分類する作業において,複数のSLMを評価した。
以上の結果から,一部のSLMは良好なプロンプトで競合精度を達成できることがわかった。
論文 参考訳(メタデータ) (2025-08-18T21:48:45Z) - Improving Multilingual Math Reasoning for African Languages [49.27985213689457]
データタイプ(翻訳と合成)、トレーニングステージ(事前学習と後学習)、その他のモデル適応構成の異なる組み合わせを評価する実験を行う。
実験では,Llama 3.1 モデルファミリをベースモデルとして,数学的推論タスクに着目した。
論文 参考訳(メタデータ) (2025-05-26T11:35:01Z) - Generalizing Large Language Model Usability Across Resource-Constrained [0.43512163406552007]
論文は、現実世界の制約下での大規模言語モデルを一般化するための体系的な研究である。
まず、LLMが多様なモダリティをシームレスに統合することを可能にする、堅牢なテキスト中心アライメントフレームワークを導入する。
マルチモーダル設定以外にも、この論文はLLMの推論時間最適化戦略を研究している。
論文 参考訳(メタデータ) (2025-05-13T01:00:12Z) - SMILE: Speech Meta In-Context Learning for Low-Resource Language Automatic Speech Recognition [55.2480439325792]
音声メタインコンテキスト学習(SMILE)は、メタラーニングと音声インコンテキスト学習(SICL)を組み合わせた革新的なフレームワークである
SMILEは、トレーニング不要な多言語ASRタスクにおいて、ベースライン手法よりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2024-09-16T16:04:16Z) - Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。
我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。
Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
論文 参考訳(メタデータ) (2024-07-04T15:14:17Z) - An In-Depth Evaluation of Federated Learning on Biomedical Natural
Language Processing [7.412360079707614]
言語モデル(LM)は自然言語処理(NLP)に革命をもたらした
医療分野は、データプライバシの制約が限られているため、LMをトレーニングする際の課題に直面している。
Federated Data(FL)では、共同学習を可能にする分散ソリューションを提供しています。
論文 参考訳(メタデータ) (2023-07-20T22:10:04Z) - Multi-Site Clinical Federated Learning using Recursive and Attentive
Models and NVFlare [13.176351544342735]
本稿では、データプライバシと規制コンプライアンスの課題に対処する統合フレームワークを開発する。
これには、データのプライバシと規制コンプライアンスの課題に対処し、高い精度を維持し、提案されたアプローチの有効性を実証する統合フレームワークの開発が含まれている。
論文 参考訳(メタデータ) (2023-06-28T17:00:32Z) - Fine-Tuning Large Neural Language Models for Biomedical Natural Language
Processing [55.52858954615655]
バイオメディカルNLPの微調整安定性に関する系統的研究を行った。
我々は、特に低リソース領域において、微調整性能は事前トレーニング設定に敏感であることを示した。
これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2021-12-15T04:20:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。