論文の概要: A Transformer-based representation-learning model with unified processing of multimodal input for clinical diagnostics

• arxiv url: http://arxiv.org/abs/2306.00864v1
• Date: Thu, 1 Jun 2023 16:23:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 14:36:31.517483
• Title: A Transformer-based representation-learning model with unified processing of multimodal input for clinical diagnostics
• Title（参考訳）: 臨床診断のためのマルチモーダル入力の統一処理を用いたトランスフォーマーに基づく表現学習モデル
• Authors: Hong-Yu Zhou, Yizhou Yu, Chengdi Wang, Shu Zhang, Yuanxu Gao, Jia Pan, Jun Shao, Guangming Lu, Kang Zhang, Weimin Li
• Abstract要約: 本稿では,マルチモーダル入力を統一的に処理する臨床診断支援として,トランスフォーマーを用いた表現学習モデルについて報告する。 統一モデルは, 肺疾患の同定において, 画像のみのモデル, 非統一型マルチモーダル診断モデルより優れていた。
• 参考スコア（独自算出の注目度）: 63.106382317917344
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: During the diagnostic process, clinicians leverage multimodal information, such as chief complaints, medical images, and laboratory-test results. Deep-learning models for aiding diagnosis have yet to meet this requirement. Here we report a Transformer-based representation-learning model as a clinical diagnostic aid that processes multimodal input in a unified manner. Rather than learning modality-specific features, the model uses embedding layers to convert images and unstructured and structured text into visual tokens and text tokens, and bidirectional blocks with intramodal and intermodal attention to learn a holistic representation of radiographs, the unstructured chief complaint and clinical history, structured clinical information such as laboratory-test results and patient demographic information. The unified model outperformed an image-only model and non-unified multimodal diagnosis models in the identification of pulmonary diseases (by 12% and 9%, respectively) and in the prediction of adverse clinical outcomes in patients with COVID-19 (by 29% and 7%, respectively). Leveraging unified multimodal Transformer-based models may help streamline triage of patients and facilitate the clinical decision process.
• Abstract（参考訳）: 診断過程において、臨床医は、主訴、医療画像、検査結果などのマルチモーダル情報を利用する。 診断を支援するディープラーニングモデルは、まだこの要件を満たしていない。 本稿では,マルチモーダル入力を統一的に処理する臨床診断支援として,トランスフォーマーを用いた表現学習モデルを報告する。 モダリティ特有の特徴を学習する代わりに、モデルは埋め込み層を使用して画像や非構造化テキストを視覚トークンやテキストトークンに変換し、イントラモーダルとインターモーダルの注意を向けた双方向ブロックを使用して、ラジオグラフの全体像、非構造化主訴と臨床履歴、臨床検査結果や患者人口統計情報などの構造化臨床情報を学ぶ。 統一モデルは、画像のみモデルと非統一マルチモーダル診断モデルを上回り、肺疾患の同定(それぞれ12%、9%)と、covid-19患者(それぞれ29%、7%)の副作用の予測において上回った。 統合マルチモーダルトランスフォーマーベースのモデルを活用することで、患者のトリアージを効率化し、臨床決定プロセスを促進することができる。

関連論文リスト

• PathInsight: Instruction Tuning of Multimodal Datasets and Models for Intelligence Assisted Diagnosis in Histopathology [7.87900104748629]
  6つの異なるタスクをカバーする約45,000のケースのデータセットを慎重にコンパイルしました。 特にLLaVA, Qwen-VL, InternLMを微調整したマルチモーダル大規模モデルで, このデータセットを用いて命令ベースの性能を向上させる。
  論文  参考訳（メタデータ） (2024-08-13T17:05:06Z)
• MEDFuse: Multimodal EHR Data Fusion with Masked Lab-Test Modeling and Large Language Models [11.798375238713488]
  MEDFuseは構造化および非構造化の医療データを統合するフレームワークである。 10種類のマルチラベル分類タスクにおいて、90%以上のF1スコアを達成している。
  論文  参考訳（メタデータ） (2024-07-17T04:17:09Z)
• Integrating Medical Imaging and Clinical Reports Using Multimodal Deep Learning for Advanced Disease Analysis [3.8758525789991896]
  医用画像や臨床報告からの異種情報を深く統合する,革新的なマルチモーダル深層学習モデルを提案する。 医用画像では、畳み込みニューラルネットワークを用いて高次元の特徴を抽出し、重要な視覚情報をキャプチャした。 臨床報告テキストでは,2方向の長期・短期記憶ネットワークと注意機構を組み合わせることで,深い意味理解を実現する。
  論文  参考訳（メタデータ） (2024-05-23T02:22:10Z)
• A Clinical-oriented Multi-level Contrastive Learning Method for Disease Diagnosis in Low-quality Medical Images [4.576524795036682]
  コントラスト学習(CL)により誘導される疾患診断法は,病変の特徴表現において有意な優位性を示した。 本稿では,病変の特徴を抽出するためのモデルの能力向上を目的とした,臨床指向型多段階CLフレームワークを提案する。 提案されたCLフレームワークは、EyeQとChest X-rayの2つの公開医療画像データセットで検証されている。
  論文  参考訳（メタデータ） (2024-04-07T09:08:14Z)
• Radiology Report Generation Using Transformers Conditioned with Non-imaging Data [55.17268696112258]
  本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。 提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
  論文  参考訳（メタデータ） (2023-11-18T14:52:26Z)
• Pixel-Level Explanation of Multiple Instance Learning Models in Biomedical Single Cell Images [52.527733226555206]
  複数のインスタンス学習モデルを説明するための4つの属性法について検討する。 急性骨髄性白血病の2つのデータセットと100万以上の単細胞画像について検討した。 我々は、属性マップと医療専門家の注釈を比較し、モデルの意思決定が人間の基準とどのように異なるかを確認する。
  論文  参考訳（メタデータ） (2023-03-15T14:00:11Z)
• This Patient Looks Like That Patient: Prototypical Networks for Interpretable Diagnosis Prediction from Clinical Text [56.32427751440426]
  臨床実践においては、そのようなモデルは正確であるだけでなく、医師に解釈可能で有益な結果を与える必要がある。 本稿では,プロトタイプネットワークに基づく新しい手法であるProtoPatientを紹介する。 利用可能な2つの臨床データセット上でモデルを評価し、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-16T10:12:07Z)
• MMLN: Leveraging Domain Knowledge for Multimodal Diagnosis [10.133715767542386]
  肺疾患診断のための知識駆動型およびデータ駆動型フレームワークを提案する。 本研究は, 臨床医学ガイドラインに従って診断規則を定式化し, テキストデータから規則の重みを学習する。 テキストと画像データからなるマルチモーダル融合は、肺疾患の限界確率を推定するために設計されている。
  論文  参考訳（メタデータ） (2022-02-09T04:12:30Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)
• Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks [62.9447303059342]
  医療コミュニティにおけるこの問題の重要性を示す。 本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。 約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
  論文  参考訳（メタデータ） (2020-07-15T09:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。