Fugu-MT 論文翻訳(概要): A Survey of Deep Learning-based Radiology Report Generation Using Multimodal Data

論文の概要: A Survey of Deep Learning-based Radiology Report Generation Using Multimodal Data

arxiv url: http://arxiv.org/abs/2405.12833v1
Date: Tue, 21 May 2024 14:37:35 GMT
ステータス: 処理完了
システム内更新日: 2024-05-22 13:00:17.732702
Title: A Survey of Deep Learning-based Radiology Report Generation Using Multimodal Data
Title（参考訳）: マルチモーダルデータを用いた深層学習に基づく放射線学レポート作成に関する調査研究
Authors: Xinyi Wang, Grazziela Figueredo, Ruizhe Li, Wei Emma Zhang, Weitong Chen, Xin Chen,
Abstract要約: 自動放射線診断レポート生成は、医師の作業負荷を軽減し、医療資源の地域格差を最小限にすることができる。マルチモーダル入力データから情報を得るためには、医師を模倣する計算モデルが必要であるため、これは難しい課題である。近年, トランスフォーマー, コントラスト学習, 知識ベース構築など, 深層学習に基づく手法を用いてこの問題に対処する研究が進められている。本調査では,最新の研究で開発された重要な手法を要約し,ディープラーニングに基づくレポート生成のための一般的なワークフローを提案する。
参考スコア（独自算出の注目度）: 41.8344712915454
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Automatic radiology report generation can alleviate the workload for physicians and minimize regional disparities in medical resources, therefore becoming an important topic in the medical image analysis field. It is a challenging task, as the computational model needs to mimic physicians to obtain information from multi-modal input data (i.e., medical images, clinical information, medical knowledge, etc.), and produce comprehensive and accurate reports. Recently, numerous works emerged to address this issue using deep learning-based methods, such as transformers, contrastive learning, and knowledge-base construction. This survey summarizes the key techniques developed in the most recent works and proposes a general workflow for deep learning-based report generation with five main components, including multi-modality data acquisition, data preparation, feature learning, feature fusion/interaction, and report generation. The state-of-the-art methods for each of these components are highlighted. Additionally, training strategies, public datasets, evaluation methods, current challenges, and future directions in this field are summarized. We have also conducted a quantitative comparison between different methods under the same experimental setting. This is the most up-to-date survey that focuses on multi-modality inputs and data fusion for radiology report generation. The aim is to provide comprehensive and rich information for researchers interested in automatic clinical report generation and medical image analysis, especially when using multimodal inputs, and assist them in developing new algorithms to advance the field.
Abstract（参考訳）: 自動放射線診断レポート生成は、医師の作業負荷を軽減し、医療資源の地域格差を最小限に抑え、医用画像解析分野において重要なトピックとなる。マルチモーダル入力データ(医療画像、臨床情報、医療知識など)から情報を入手し、包括的で正確なレポートを作成するためには、医師を模倣する計算モデルが必要であるため、これは難しい課題である。近年, トランスフォーマー, コントラスト学習, 知識ベース構築など, 深層学習に基づく手法を用いてこの問題に対処する研究が数多く出ている。本調査では, 最新の研究で開発された重要な手法を要約し, 多モードデータ取得, データ準備, 特徴学習, 特徴融合/相互作用, レポート生成を含む5つの主要コンポーネントを含む, ディープラーニングに基づくレポート生成のための一般的なワークフローを提案する。これらのコンポーネントのそれぞれに対する最先端のメソッドが強調されている。さらに、この分野におけるトレーニング戦略、パブリックデータセット、評価方法、現在の課題、今後の方向性について要約する。また,同じ実験条件下で異なる手法の定量的比較を行った。これは、放射線学レポート生成のためのマルチモーダル入力とデータ融合に焦点を当てた最新の調査である。本研究の目的は, 自動臨床報告生成と医用画像解析に関心のある研究者, 特にマルチモーダル入力を使用する研究者に包括的で豊富な情報を提供することであり, フィールドを前進させる新しいアルゴリズムの開発を支援することである。

関連論文リスト

Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
論文参考訳（メタデータ） (2024-04-27T05:03:42Z)
Review of multimodal machine learning approaches in healthcare [0.0]
臨床医は、情報的な判断をするために、さまざまなデータソースに依存しています。機械学習の最近の進歩は、より効率的なマルチモーダルデータの取り込みを促進する。
論文参考訳（メタデータ） (2024-02-04T12:21:38Z)
Developing ChatGPT for Biology and Medicine: A Complete Review of Biomedical Question Answering [25.569980942498347]
ChatGPTは、医療診断、治療レコメンデーション、その他の医療支援の提供において、QA(QA)の戦略的青写真を探っている。これは、自然言語処理(NLP)とマルチモーダルパラダイムによる医療領域データの取り込みの増加によって達成される。
論文参考訳（メタデータ） (2024-01-15T07:21:16Z)
Radiology Report Generation Using Transformers Conditioned with Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文参考訳（メタデータ） (2023-11-18T14:52:26Z)
Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
論文参考訳（メタデータ） (2023-05-25T16:29:16Z)
Towards Medical Artificial General Intelligence via Knowledge-Enhanced Multimodal Pretraining [121.89793208683625]
医療人工知能(MAGI)は、1つの基礎モデルで異なる医療課題を解くことができる。我々は、Micical-knedge-enhanced mulTimOdal pretRaining (motoR)と呼ばれる新しいパラダイムを提案する。
論文参考訳（メタデータ） (2023-04-26T01:26:19Z)
Multimodal Learning for Multi-Omics: A Survey [4.15790071124993]
統合的マルチオミクス分析のためのマルチモーダル学習は、研究者や実践者が人間の病気に対する深い洞察を得るのに役立つ。しかし、簡単にアクセスできるオープンソースツールなど、この分野の開発を妨げる課題がいくつかある。この調査は、いくつかの新しい視点から、データの課題、融合アプローチ、データセット、ソフトウェアツールの最新の概要を提供することを目的としている。
論文参考訳（メタデータ） (2022-11-29T12:08:06Z)
Multimodal Machine Learning in Precision Health [10.068890037410316]
本総説は, この分野を要約し, 今後の研究に欠かせない話題を特定するものである。コンテンツ分析と文献検索を組み合わせて,2011年から2021年にかけてPubMed, Google Scholar, IEEEXploreの検索文字列とデータベースを構築した。情報融合の最も一般的な形態は、初期の融合であり、特に、異種データ融合を行う予測性能の改善があった。
論文参考訳（メタデータ） (2022-04-10T21:56:07Z)
Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
論文参考訳（メタデータ） (2020-09-02T02:50:30Z)
A Survey on Incorporating Domain Knowledge into Deep Learning for Medical Image Analysis [38.90186125141749]
医療データセットの小型化は、ディープラーニングにおいて依然として大きなボトルネックとなっている。従来のアプローチでは、移動学習を通じて自然画像からの情報を活用していた。近年の研究では、医師の知識を活用して、医師の訓練方法に似たネットワークを構築している。
論文参考訳（メタデータ） (2020-04-25T14:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。