論文の概要: A Lightweight Hybrid Transformer-CRF Architecture for Multi-Type Bangla Medical Entity Recognition

• arxiv url: http://arxiv.org/abs/2605.25463v1
• Date: Mon, 25 May 2026 06:14:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:19.344346
• Title: A Lightweight Hybrid Transformer-CRF Architecture for Multi-Type Bangla Medical Entity Recognition
• Title（参考訳）: マルチタイプバングラ医療エンティティ認識のための軽量ハイブリッドトランス-CRFアーキテクチャ
• Authors: Peyal Saha, Ahsanul Haque Hasib, Shoumik Barman Polok,
• Abstract要約: バングラ語のための軽量なMedERフレームワークを提案する。 12層BanglaBERTモデルを用いて厳密なベースラインを構築した。 我々はこの教師モデルを知識蒸留により4階層の学生ネットワークに圧縮する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: MedER refers to the identification of medical entities. It is crucial for extracting structured clinical information from unstructured medical text. Many existing systems rely on transformer-based models, which are computationally expensive and difficult to deploy in resource-constrained environments. Furthermore, earlier works often use relaxed evaluation metrics that artificially inflate performance by rewarding correct prediction of dominant "Outside" (O) tokens. In this paper, we propose a lightweight Medical Entity Recognition (MedER) framework for the Bangla language. We establish a rigorous baseline using a 12-layer BanglaBERT model combined with a Conditional Random Field (CRF) layer for exact-boundary entity detection. To address deployment constraints, we compress this teacher model into a 4-layer student network through Knowledge Distillation (KD), where the student learns from the teacher's pre-CRF soft emission logits. Finally, we apply INT8 dynamic quantization to further reduce model size and inference cost. Our final quantized student achieves an 8.6x CPU speedup while requiring nearly 48 percent less storage than the CRF teacher model.
• Abstract（参考訳）: MedERは医療機関の識別を指す。 構造化されていない医療用テキストから構造化された臨床情報を抽出することが重要である。 多くの既存システムはトランスフォーマーベースのモデルに依存しており、計算コストが高く、リソース制約のある環境でのデプロイが困難である。 さらに、初期の研究では、支配的な"外部"トークン(O)の正確な予測に報いることによって、パフォーマンスを人工的に向上させる緩和評価指標がよく用いられていた。 本稿では,バングラ語のための軽量なメディカルエンティティ認識(MedER)フレームワークを提案する。 本研究では,12層BanglaBERTモデルと条件ランダム場(CRF)層を組み合わせた厳密なベースラインを構築した。 配置制約に対処するため,この教師モデルをKD(Knowledge Distillation)を介して4層ネットワークに圧縮し,教師のソフトエミッションログから学習する。 最後に、モデルサイズと推論コストをさらに削減するためにINT8動的量子化を適用する。 我々の最終量子化学生は8.6倍のCPU高速化を実現し、CRF教師モデルよりも48%近いストレージを必要とする。

関連論文リスト

• Knee Osteoarthritis Severity Grading Using Optimized Deep Learning and LLM-Driven Intelligent AI on Computationally Limited Systems [0.0]
  変形性膝関節症(KOA)は関節可動性を著しく制限し、慢性的な痛みを引き起こし、品質に悪影響を及ぼす筋骨格障害の一つである。 本稿では,深層学習畳み込みニューラルネットワーク(CNN)とLite Liteを用いたデバイスベースプラットフォームを組み合わせることで,KOAの重大度グレーディングの自動診断手法を提案する。
  論文  参考訳（メタデータ） (2026-05-07T06:24:04Z)
• Continual Learning for fMRI-Based Brain Disorder Diagnosis via Functional Connectivity Matrices Generative Replay [29.68388420763425]
  異種臨床現場におけるfMRIによる診断に特化して設計された最初の連続学習フレームワークを提案する。 本フレームワークでは,患者群と制御群の両方で現実的なFC行列を合成する構造対応変分オートエンコーダを提案する。 重度抑うつ障害(MDD)、統合失調症(SZ)、自閉症スペクトラム障害(ASD)に対する多地点データセットの実験は、提案した生成モデルがデータ拡張品質を向上させることを示す。
  論文  参考訳（メタデータ） (2026-04-15T16:08:52Z)
• A Federated and Parameter-Efficient Framework for Large Language Model Training in Medicine [59.78991974851707]
  大規模言語モデル(LLM)は、質問応答や診断など、医療ベンチマークにおいて強力なパフォーマンスを示している。 ほとんどの医療用LDMは、異種システムの一般化性と安全性の制限に直面している単一の機関のデータに基づいて訓練されている。 本稿では, LLMを医療応用に適用するためのモデルに依存しない, パラメータ効率のよいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-29T18:48:21Z)
• Adapting HFMCA to Graph Data: Self-Supervised Learning for Generalizable fMRI Representations [57.054499278843856]
  機能的磁気共鳴画像(fMRI)解析は、データセットのサイズが限られ、研究間でのドメインの変動が原因で大きな課題に直面している。 コンピュータビジョンにインスパイアされた従来の自己教師付き学習手法は、正と負のサンプルペアに依存することが多い。 本稿では,最近開発された階層関数最大相関アルゴリズム(HFMCA)をグラフ構造fMRIデータに適用することを提案する。
  論文  参考訳（メタデータ） (2025-10-05T12:35:01Z)
• A Method for the Architecture of a Medical Vertical Large Language Model Based on Deepseek R1 [6.589206192038366]
  本稿では,知識獲得,モデル圧縮,計算強化といった課題に対処する,軽量な医療用大規模言語モデルアーキテクチャを提案する。 我々は,Low-Rank Adaptation (LoRA) を用いて,DeepSeek-R1-Distill-70BからDeepSeek-R1-Distill-7Bへの知識伝達パイプラインを設計した。 提案手法では,USMLEでは92.1%の精度を維持しながら,メモリ消費を64.7%削減し,12.4%のレイテンシをベースライン推論モデルと比較した。
  論文  参考訳（メタデータ） (2025-04-25T14:28:29Z)
• Prompt Your Brain: Scaffold Prompt Tuning for Efficient Adaptation of fMRI Pre-trained Model [15.330413605539542]
  Scaffold Prompt Tuning (ScaPT)は、大規模な機能的磁気共鳴画像(fMRI)を下流タスクに適用するための新しいプロンプトベースのフレームワークである。 パラメータ効率が高く、微調整に比べて性能が向上し、プロンプトチューニングのベースラインも向上した。 ScaPTは、神経変性疾患の診断/予後と性格特性予測において、微調整とマルチタスクに基づく即時チューニングに優れる。
  論文  参考訳（メタデータ） (2024-08-20T06:08:37Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• Preservation of High Frequency Content for Deep Learning-Based Medical Image Classification [74.84221280249876]
  大量の胸部ラジオグラフィーの効率的な分析は、医師や放射線技師を助けることができる。 本稿では,視覚情報の効率的な識別と符号化のための離散ウェーブレット変換(DWT)を提案する。
  論文  参考訳（メタデータ） (2022-05-08T15:29:54Z)
• Deep Neural Network for Respiratory Sound Classification in Wearable Devices Enabled by Patient Specific Model Tuning [2.8935588665357077]
  メル・スペクトログラムに基づく呼吸音を分類する深層CNN-RNNモデルを提案する。 また、まず呼吸器患者をスクリーニングし、次いで患者固有の分類モデルを構築する患者特化モデルチューニング戦略を実装した。 The proposed hybrid CNN-RNN model achieves 66.31% on four-class classification of breath cycles for ICBHI'17 scientific challenge respiratory sound database。
  論文  参考訳（メタデータ） (2020-04-16T15:42:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。