Fugu-MT 論文翻訳(概要): Learning ULMFiT and Self-Distillation with Calibration for Medical Dialogue System

論文の概要: Learning ULMFiT and Self-Distillation with Calibration for Medical Dialogue System

arxiv url: http://arxiv.org/abs/2107.09625v1
Date: Tue, 20 Jul 2021 17:11:24 GMT
ステータス: 処理完了
システム内更新日: 2021-07-21 15:01:41.889392
Title: Learning ULMFiT and Self-Distillation with Calibration for Medical Dialogue System
Title（参考訳）: 医療対話システムのためのキャリブレーションによる学習ulmfitと自己蒸留
Authors: Shuang Ao, Xeno Acharya
Abstract要約: 近年,最先端のディープラーニングモデルや伝達学習技術の導入は,NLPタスクの性能向上に寄与している。一部のディープニューラルネットワークはキャリブレーションが不十分であり、不確実性を誤って見積もっている。本稿では,医用対話システムにおけるULMFiTと自己蒸留の校正モデルについて検討する。
参考スコア（独自算出の注目度）: 2.055949720959582
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: A medical dialogue system is essential for healthcare service as providing primary clinical advice and diagnoses. It has been gradually adopted and practiced in medical organizations in the form of a conversational bot, largely due to the advancement of NLP. In recent years, the introduction of state-of-the-art deep learning models and transfer learning techniques like Universal Language Model Fine Tuning (ULMFiT) and Knowledge Distillation (KD) largely contributes to the performance of NLP tasks. However, some deep neural networks are poorly calibrated and wrongly estimate the uncertainty. Hence the model is not trustworthy, especially in sensitive medical decision-making systems and safety tasks. In this paper, we investigate the well-calibrated model for ULMFiT and self-distillation (SD) in a medical dialogue system. The calibrated ULMFiT (CULMFiT) is obtained by incorporating label smoothing (LS), a commonly used regularization technique to achieve a well-calibrated model. Moreover, we apply the technique to recalibrate the confidence score called temperature scaling (TS) with KD to observe its correlation with network calibration. To further understand the relation between SD and calibration, we use both fixed and optimal temperatures to fine-tune the whole model. All experiments are conducted on the consultation backpain dataset collected by experts then further validated using a large publicly medial dialogue corpus. We empirically show that our proposed methodologies outperform conventional methods in terms of accuracy and robustness.
Abstract（参考訳）: 医療サービスには医療対話システムが不可欠であり、主要な臨床アドバイスと診断を提供する。 NLPの進歩により、会話ボットという形で医療機関で徐々に採用され、実践されてきた。近年,Universal Language Model Fine Tuning(ULMFiT)やKD(Knowledge Distillation)といった最先端のディープラーニングモデルの導入は,NLPタスクのパフォーマンスに大きく貢献している。しかし、いくつかのディープニューラルネットワークは、不確かさを誤って推定している。したがって、特に機密性の高い医療意思決定システムや安全タスクにおいて、モデルは信頼できない。本稿では,医療対話システムにおけるUDMFiTと自己蒸留(SD)の校正モデルについて検討する。校正されたulmfit (culmfit) は、よく調整されたモデルを達成するためによく使われる正規化技法であるラベル平滑化 (ls) を組み込んだものである。さらに, 温度スケーリング (TS) と呼ばれる信頼性スコアをKDに補正し, ネットワークキャリブレーションとの相関性について検討した。 sdとキャリブレーションの関係をさらに理解するために,モデル全体を微調整するために,固定温度と最適温度の両方を用いる。すべての実験は専門家が収集したコンサルテーションバックペインデータセットに基づいて行われ、さらに大規模な公開対話コーパスを用いて検証される。提案手法が従来の手法よりも精度と堅牢性で優れていることを示す。

関連論文リスト

Which Client is Reliable?: A Reliable and Personalized Prompt-based Federated Learning for Medical Image Question Answering [51.26412822853409]
本稿では,医学的視覚的質問応答(VQA)モデルのための,パーソナライズド・フェデレーションド・ラーニング(pFL)手法を提案する。提案手法では,学習可能なプロンプトをTransformerアーキテクチャに導入し,膨大な計算コストを伴わずに,多様な医療データセット上で効率的にトレーニングする。
論文参考訳（メタデータ） (2024-10-23T00:31:17Z)
Empowering Healthcare through Privacy-Preserving MRI Analysis [3.6394715554048234]
本稿では,Ensemble-Based Federated Learning (EBFL)フレームワークを紹介する。 EBFLフレームワークは、機密性の高い患者データを共有することよりも、モデルの特徴を強調することによって、従来のアプローチから逸脱する。グリオーマ,髄膜腫,下垂体,非腫瘍例などの脳腫瘍の分類において,有意な精度が得られた。
論文参考訳（メタデータ） (2024-03-14T19:51:18Z)
Specialty detection in the context of telemedicine in a highly imbalanced multi-class distribution [3.992328888937568]
この研究は、アラビア語の医学的問題に対するマルチクラスと高度に不均衡なデータセットを扱うことに焦点を当てている。提案されたモジュールは、同期および非同期の医療コンサルテーションの両方にデプロイされる。
論文参考訳（メタデータ） (2024-02-21T06:39:04Z)
Integrating Physician Diagnostic Logic into Large Language Models: Preference Learning from Process Feedback [19.564416963801268]
プロセスフィードバックから選好学習というアプローチを提案する。 PLPFは医師の診断ロジックをLSMに統合する。 PLPFは医療会話におけるベースラインモデルの診断精度を17.6%向上させる。
論文参考訳（メタデータ） (2024-01-11T06:42:45Z)
Improving Multiple Sclerosis Lesion Segmentation Across Clinical Sites: A Federated Learning Approach with Noise-Resilient Training [75.40980802817349]
深層学習モデルは、自動的にMS病変を分節する約束を示しているが、正確な注釈付きデータの不足は、この分野の進歩を妨げている。我々は,MS病変の不均衡分布とファジィ境界を考慮したDecoupled Hard Label Correction(DHLC)戦略を導入する。また,集約型中央モデルを利用したCELC(Centrally Enhanced Label Correction)戦略も導入した。
論文参考訳（メタデータ） (2023-08-31T00:36:10Z)
Multi-Site Clinical Federated Learning using Recursive and Attentive Models and NVFlare [13.176351544342735]
本稿では、データプライバシと規制コンプライアンスの課題に対処する統合フレームワークを開発する。これには、データのプライバシと規制コンプライアンスの課題に対処し、高い精度を維持し、提案されたアプローチの有効性を実証する統合フレームワークの開発が含まれている。
論文参考訳（メタデータ） (2023-06-28T17:00:32Z)
Exploiting prompt learning with pre-trained language models for Alzheimer's Disease detection [70.86672569101536]
アルツハイマー病(AD)の早期診断は予防ケアの促進とさらなる進行の遅らせに不可欠である。本稿では,AD分類誤差をトレーニング対象関数として一貫して用いたPLMの高速微調整法について検討する。
論文参考訳（メタデータ） (2022-10-29T09:18:41Z)
DLTTA: Dynamic Learning Rate for Test-time Adaptation on Cross-domain Medical Images [56.72015587067494]
DLTTAと呼ばれるテスト時間適応のための新しい動的学習率調整法を提案する。本手法は,現在最先端のテスト時間適応法よりも一貫した性能向上を図り,有効かつ高速なテスト時間適応を実現する。
論文参考訳（メタデータ） (2022-05-27T02:34:32Z)
Solving Inverse Problems in Medical Imaging with Score-Based Generative Models [87.48867245544106]
CT(Computed Tomography)とMRI(Magnetic Resonance Imaging)における医用画像の再構成は重要な逆問題である機械学習に基づく既存のソリューションは通常、測定結果を医療画像に直接マッピングするモデルを訓練する。本稿では,最近導入されたスコアベース生成モデルを利用して,逆問題解決のための教師なし手法を提案する。
論文参考訳（メタデータ） (2021-11-15T05:41:12Z)
ECG-DelNet: Delineation of Ambulatory Electrocardiograms with Mixed Quality Labeling Using Neural Networks [69.25956542388653]
ディープラーニング(DL)アルゴリズムは、学術的、産業的にも重くなっている。セグメンテーションフレームワークにECGの検出とデライン化を組み込むことにより、低解釈タスクにDLをうまく適用できることを実証する。このモデルは、PhyloNetのQTデータベースを使用して、105個の増幅ECG記録から訓練された。
論文参考訳（メタデータ） (2020-05-11T16:29:12Z)
Natural Language Processing with Deep Learning for Medical Adverse Event Detection from Free-Text Medical Narratives: A Case Study of Detecting Total Hip Replacement Dislocation [0.0]
人工股関節置換術後の股関節脱臼AEの検出を効率的かつ正確に行うための深層学習ベースNLP(DL-NLP)モデルを提案する。提案したモデルをML-NLP(ML-NLP)モデルでベンチマークした。すべてのDL-NLPモデルはML-NLPモデルをすべて上回り、畳み込みニューラルネットワーク(CNN)モデルは全体的なパフォーマンスを最高のものにした。
論文参考訳（メタデータ） (2020-04-17T16:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。