論文の概要: Infusing Disease Knowledge into BERT for Health Question Answering, Medical Inference and Disease Name Recognition

• arxiv url: http://arxiv.org/abs/2010.03746v1
• Date: Thu, 8 Oct 2020 03:14:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 12:08:11.070931
• Title: Infusing Disease Knowledge into BERT for Health Question Answering, Medical Inference and Disease Name Recognition
• Title（参考訳）: 健康質問応答, 医療推論, 病名認識のための疾患知識を BERT に注入する
• Authors: Yun He, Ziwei Zhu, Yin Zhang, Qin Chen, James Caverlee
• Abstract要約: 本稿では,新しい疾患知識注入訓練法を提案し,BERTモデルを用いて評価する。 3つのタスクの実験は、これらのモデルがほぼすべてのケースで拡張可能であることを示している。
• 参考スコア（独自算出の注目度）: 29.71396592575746
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge of a disease includes information of various aspects of the disease, such as signs and symptoms, diagnosis and treatment. This disease knowledge is critical for many health-related and biomedical tasks, including consumer health question answering, medical language inference and disease name recognition. While pre-trained language models like BERT have shown success in capturing syntactic, semantic, and world knowledge from text, we find they can be further complemented by specific information like knowledge of symptoms, diagnoses, treatments, and other disease aspects. Hence, we integrate BERT with disease knowledge for improving these important tasks. Specifically, we propose a new disease knowledge infusion training procedure and evaluate it on a suite of BERT models including BERT, BioBERT, SciBERT, ClinicalBERT, BlueBERT, and ALBERT. Experiments over the three tasks show that these models can be enhanced in nearly all cases, demonstrating the viability of disease knowledge infusion. For example, accuracy of BioBERT on consumer health question answering is improved from 68.29% to 72.09%, while new SOTA results are observed in two datasets. We make our data and code freely available.
• Abstract（参考訳）: 疾患の知識には、徴候や症状、診断、治療など、疾患の様々な側面の情報が含まれる。 この疾患知識は、消費者健康質問応答、医学的言語推論、疾患名認識など、多くの健康関連および生物医学的なタスクにおいて重要である。 BERTのような事前訓練された言語モデルは、テキストから構文、意味、世界的知識を捉えることに成功したが、症状の知識、診断、治療、その他の病気の側面といった特定の情報によってさらに補完できる。 したがって,BERTと疾患知識を統合し,これらの重要な課題を改善する。 具体的には、新たな疾患知識注入訓練手法を提案し、BERT、BioBERT、SciBERT、CeriorBERT、BlueBERT、ALBERTを含むBERTモデルのセットで評価する。 3つの課題に対する実験は、これらのモデルがほぼ全てのケースで拡張できることを示し、疾患知識の注入の可能性を示している。 例えば、消費者健康質問応答におけるBioBERTの精度は68.29%から72.09%に改善され、2つのデータセットで新たなSOTA結果が観測される。 データとコードは自由に利用できます。

関連論文リスト

• FEDMEKI: A Benchmark for Scaling Medical Foundation Models via Federated Knowledge Injection [83.54960238236548]
  FEDMEKIはデータのプライバシーを守るだけでなく、医療基盤モデルの能力を高める。 FEDMEKIは、医療ファンデーションモデルに対して、直接データを公開することなく、幅広い医療知識から学ぶことを可能にする。
  論文  参考訳（メタデータ） (2024-08-17T15:18:56Z)
• Assessing and Enhancing Large Language Models in Rare Disease Question-answering [64.32570472692187]
  本稿では,レアな疾患の診断におけるLarge Language Models (LLMs) の性能を評価するために,レアな疾患問合せデータセット(ReDis-QA)を導入する。 ReDis-QAデータセットでは1360の高品質な質問応答ペアを収集し,205の稀な疾患をカバーした。 その後、いくつかのオープンソースのLCMをベンチマークし、希少疾患の診断がこれらのモデルにとって重要な課題であることを示した。 実験の結果,ReCOPは,ReDis-QAデータセット上でのLCMの精度を平均8%向上できることがわかった。
  論文  参考訳（メタデータ） (2024-08-15T21:09:09Z)
• Towards Knowledge-Infused Automated Disease Diagnosis Assistant [14.150224660741939]
  患者と医師の相互作用に基づく疾患を識別する診断アシスタントを構築した。 本稿では,患者と医師のコミュニケーションを符号化した2チャンネル型談話認識疾患診断モデル(KI-DDI)を提案する。 次の段階では、会話と知識グラフの埋め込みが統合され、病気の識別のためにディープニューラルネットワークに供給される。
  論文  参考訳（メタデータ） (2024-05-18T05:18:50Z)
• Dental Severity Assessment through Few-shot Learning and SBERT Fine-tuning [0.356008609689971]
  口腔医療における自動化システムの統合はますます重要になっている。 機械学習アプローチは、口腔疾患の診断における診断困難、非効率性、エラーなどの課題に対処するための実行可能なソリューションを提供する。 本研究では,13種類の機械学習,深層学習,および大規模言語モデルを用いて口腔健康問題の重症度を判定した。
  論文  参考訳（メタデータ） (2024-02-24T08:02:19Z)
• KNSE: A Knowledge-aware Natural Language Inference Framework for Dialogue Symptom Status Recognition [69.78432481474572]
  症状状態認識(SSR)のための新しいフレームワークKNSEを提案する。 対話ウィンドウ内の各症状について、まず、症状の状態に関する症状と仮説に関する知識を生成し、(前提、知識、仮説)三重項を形成する。 次にBERTモデルを使用して三重項を符号化し、さらに発話アグリゲーション、自己アテンション、横断アテンション、GRUなどのモジュールで処理して症状状態を予測する。
  論文  参考訳（メタデータ） (2023-05-26T11:23:26Z)
• BAND: Biomedical Alert News Dataset [34.277782189514134]
  我々は、既存の報道記事、オープンメール、アラートから1,508件のサンプルと30の疫学関連質問を含むBAND(Biomedical Alert News dataset)を紹介した。 BANDデータセットは、NLPの世界に新たな課題をもたらし、コンテンツの偽装能力と重要な情報を推論する能力を必要としている。 われわれの知る限りでは、BANDコーパスはバイオメディカル・アウトブレイク警報のニュースを、精巧にデザインされた質問でまとめる最大のコーパスだ。
  論文  参考訳（メタデータ） (2023-05-23T19:21:00Z)
• Exploring deep learning methods for recognizing rare diseases and their clinical manifestations from texts [1.6328866317851187]
  約3億人がまれな病気に罹患している。 これらの症状の早期かつ正確な診断は、それらを特定するのに十分な知識を持っていない一般の実践者にとって大きな課題である。 自然言語処理(NLP)とディープラーニング(Deep Learning)は、関連する情報を抽出して、診断や治療を容易にする。
  論文  参考訳（メタデータ） (2021-09-01T12:35:26Z)
• Graph-Evolving Meta-Learning for Low-Resource Medical Dialogue Generation [150.52617238140868]
  ソース疾患からターゲット疾患へ診断経験を移すために、低リソースの医療対話生成を提案します。 また,新しい疾患の症状相関を推論するためのコモンセンスグラフの進化を学習するグラフ進化メタラーニングフレームワークを開発した。
  論文  参考訳（メタデータ） (2020-12-22T13:20:23Z)
• Challenges and Opportunities in Rapid Epidemic Information Propagation with Live Knowledge Aggregation from Social Media [2.4181367387692947]
  ソーシャルメディアは、より高速で高いカバレッジのために物理的なテストデータを補完することができるが、ノイズ、誤報、偽情報など、異なる課題を提示する。 我々は,証拠に基づく知識獲得アプローチを適用して,ソーシャルメディアソースと権威ソースの統合を通じて,生の知識を収集し,フィルタリングし,更新する。 本稿では,EBKAを実装したEDNA/LITMUSツールについて述べる。
  論文  参考訳（メタデータ） (2020-11-09T04:15:44Z)
• Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks [62.9447303059342]
  医療コミュニティにおけるこの問題の重要性を示す。 本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。 約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
  論文  参考訳（メタデータ） (2020-07-15T09:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。