論文の概要: A Transformer-based representation-learning model with unified
processing of multimodal input for clinical diagnostics
- arxiv url: http://arxiv.org/abs/2306.00864v1
- Date: Thu, 1 Jun 2023 16:23:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 14:36:31.517483
- Title: A Transformer-based representation-learning model with unified
processing of multimodal input for clinical diagnostics
- Title(参考訳): 臨床診断のためのマルチモーダル入力の統一処理を用いたトランスフォーマーに基づく表現学習モデル
- Authors: Hong-Yu Zhou, Yizhou Yu, Chengdi Wang, Shu Zhang, Yuanxu Gao, Jia Pan,
Jun Shao, Guangming Lu, Kang Zhang, Weimin Li
- Abstract要約: 本稿では,マルチモーダル入力を統一的に処理する臨床診断支援として,トランスフォーマーを用いた表現学習モデルについて報告する。
統一モデルは, 肺疾患の同定において, 画像のみのモデル, 非統一型マルチモーダル診断モデルより優れていた。
- 参考スコア(独自算出の注目度): 63.106382317917344
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: During the diagnostic process, clinicians leverage multimodal information,
such as chief complaints, medical images, and laboratory-test results.
Deep-learning models for aiding diagnosis have yet to meet this requirement.
Here we report a Transformer-based representation-learning model as a clinical
diagnostic aid that processes multimodal input in a unified manner. Rather than
learning modality-specific features, the model uses embedding layers to convert
images and unstructured and structured text into visual tokens and text tokens,
and bidirectional blocks with intramodal and intermodal attention to learn a
holistic representation of radiographs, the unstructured chief complaint and
clinical history, structured clinical information such as laboratory-test
results and patient demographic information. The unified model outperformed an
image-only model and non-unified multimodal diagnosis models in the
identification of pulmonary diseases (by 12% and 9%, respectively) and in the
prediction of adverse clinical outcomes in patients with COVID-19 (by 29% and
7%, respectively). Leveraging unified multimodal Transformer-based models may
help streamline triage of patients and facilitate the clinical decision
process.
- Abstract(参考訳): 診断過程において、臨床医は、主訴、医療画像、検査結果などのマルチモーダル情報を利用する。
診断を支援するディープラーニングモデルは、まだこの要件を満たしていない。
本稿では,マルチモーダル入力を統一的に処理する臨床診断支援として,トランスフォーマーを用いた表現学習モデルを報告する。
モダリティ特有の特徴を学習する代わりに、モデルは埋め込み層を使用して画像や非構造化テキストを視覚トークンやテキストトークンに変換し、イントラモーダルとインターモーダルの注意を向けた双方向ブロックを使用して、ラジオグラフの全体像、非構造化主訴と臨床履歴、臨床検査結果や患者人口統計情報などの構造化臨床情報を学ぶ。
統一モデルは、画像のみモデルと非統一マルチモーダル診断モデルを上回り、肺疾患の同定(それぞれ12%、9%)と、covid-19患者(それぞれ29%、7%)の副作用の予測において上回った。
統合マルチモーダルトランスフォーマーベースのモデルを活用することで、患者のトリアージを効率化し、臨床決定プロセスを促進することができる。
関連論文リスト
- Radiology Report Generation Using Transformers Conditioned with
Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。
提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文 参考訳(メタデータ) (2023-11-18T14:52:26Z) - HGT: A Hierarchical GCN-Based Transformer for Multimodal Periprosthetic
Joint Infection Diagnosis Using CT Images and Text [0.0]
補綴関節感染症(PJI)は重篤な合併症である。
現在,CT画像とPJIの数値テキストデータを組み合わせた統一診断基準が確立されていない。
本研究では,ディープラーニングとマルチモーダル技術に基づく診断手法であるHGTを紹介する。
論文 参考訳(メタデータ) (2023-05-29T11:25:57Z) - Transformer-based interpretable multi-modal data fusion for skin lesion
classification [0.40964539027092917]
皮膚科における皮膚病変分類では、深層学習システムは、意思決定プロセスの透明性が限られているため、まだ初期段階にある。
本手法は,画像に富み,患者データに富む環境において,最先端のシングルモーダルかつマルチモーダルなDLアーキテクチャを克服する。
論文 参考訳(メタデータ) (2023-04-03T11:45:27Z) - Pixel-Level Explanation of Multiple Instance Learning Models in
Biomedical Single Cell Images [52.527733226555206]
複数のインスタンス学習モデルを説明するための4つの属性法について検討する。
急性骨髄性白血病の2つのデータセットと100万以上の単細胞画像について検討した。
我々は、属性マップと医療専門家の注釈を比較し、モデルの意思決定が人間の基準とどのように異なるかを確認する。
論文 参考訳(メタデータ) (2023-03-15T14:00:11Z) - Medical Diagnosis with Large Scale Multimodal Transformers: Leveraging
Diverse Data for More Accurate Diagnosis [0.15776842283814416]
我々は「学習可能なシナジー」の新しい技術的アプローチを提案する。
我々のアプローチは容易に拡張可能であり、臨床ルーチンからのマルチモーダルデータ入力に自然に適応する。
臨床的に関連のある診断タスクにおいて、最先端のモデルよりも優れています。
論文 参考訳(メタデータ) (2022-12-18T20:43:37Z) - This Patient Looks Like That Patient: Prototypical Networks for
Interpretable Diagnosis Prediction from Clinical Text [56.32427751440426]
臨床実践においては、そのようなモデルは正確であるだけでなく、医師に解釈可能で有益な結果を与える必要がある。
本稿では,プロトタイプネットワークに基づく新しい手法であるProtoPatientを紹介する。
利用可能な2つの臨床データセット上でモデルを評価し、既存のベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2022-10-16T10:12:07Z) - MMLN: Leveraging Domain Knowledge for Multimodal Diagnosis [10.133715767542386]
肺疾患診断のための知識駆動型およびデータ駆動型フレームワークを提案する。
本研究は, 臨床医学ガイドラインに従って診断規則を定式化し, テキストデータから規則の重みを学習する。
テキストと画像データからなるマルチモーダル融合は、肺疾患の限界確率を推定するために設計されている。
論文 参考訳(メタデータ) (2022-02-09T04:12:30Z) - Dynamic Fusion based Federated Learning for COVID-19 Detection [24.644484914824844]
本稿では,医療診断画像解析のためのダイナミックフュージョンに基づくフェデレーション学習手法を提案する。
本稿では,各クライアントのローカルモデルの性能に応じて動的にクライアントを決定するダイナミックフュージョン法を提案し,そのモデルフュージョンをトレーニング時間に基づいてスケジュールする。
評価の結果,提案手法は,フェデレート学習の既定設定よりも実現可能であり,性能も向上していることがわかった。
論文 参考訳(メタデータ) (2020-09-22T09:09:10Z) - Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype
Prediction [55.94378672172967]
本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。
新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。
我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
論文 参考訳(メタデータ) (2020-09-02T02:50:30Z) - Predicting Clinical Diagnosis from Patients Electronic Health Records
Using BERT-based Neural Networks [62.9447303059342]
医療コミュニティにおけるこの問題の重要性を示す。
本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。
約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
論文 参考訳(メタデータ) (2020-07-15T09:22:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。