論文の概要: Building RadiologyNET: Unsupervised annotation of a large-scale
multimodal medical database
- arxiv url: http://arxiv.org/abs/2308.08517v1
- Date: Thu, 27 Jul 2023 13:00:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-20 16:22:25.776103
- Title: Building RadiologyNET: Unsupervised annotation of a large-scale
multimodal medical database
- Title（参考訳）: ラジオロジーネットの構築:大規模マルチモーダル医療データベースの教師なしアノテーション
- Authors: Mateja Napravnik, Franko Hr\v{z}i\'c, Sebastian Tschauner, Ivan
\v{S}tajduhar
- Abstract要約: 医学的診断と治療における機械学習の使用は、近年顕著な成長をみせている。
しかし、アノテーションのプロセスは時間がかかり、コストがかかるため、大きな注釈付き画像データセットが利用できることは大きな障害である。
本稿では, 医用放射線画像のデータベースに意味的類似性について, 自動的に注釈付けを行う方法について検討する。
- 参考スコア（独自算出の注目度）: 0.4915744683251151
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Background and objective: The usage of machine learning in medical diagnosis
and treatment has witnessed significant growth in recent years through the
development of computer-aided diagnosis systems that are often relying on
annotated medical radiology images. However, the availability of large
annotated image datasets remains a major obstacle since the process of
annotation is time-consuming and costly. This paper explores how to
automatically annotate a database of medical radiology images with regard to
their semantic similarity.
Material and methods: An automated, unsupervised approach is used to
construct a large annotated dataset of medical radiology images originating
from Clinical Hospital Centre Rijeka, Croatia, utilising multimodal sources,
including images, DICOM metadata, and narrative diagnoses. Several appropriate
feature extractors are tested for each of the data sources, and their utility
is evaluated using k-means and k-medoids clustering on a representative data
subset.
Results: The optimal feature extractors are then integrated into a multimodal
representation, which is then clustered to create an automated pipeline for
labelling a precursor dataset of 1,337,926 medical images into 50 clusters of
visually similar images. The quality of the clusters is assessed by examining
their homogeneity and mutual information, taking into account the anatomical
region and modality representation.
Conclusion: The results suggest that fusing the embeddings of all three data
sources together works best for the task of unsupervised clustering of
large-scale medical data, resulting in the most concise clusters. Hence, this
work is the first step towards building a much larger and more fine-grained
annotated dataset of medical radiology images.
- Abstract（参考訳）: 背景と目的: 医学診断と治療における機械学習の使用は、しばしば注記医療放射線画像に依存するコンピュータ支援診断システムの開発を通じて、近年顕著な成長を遂げている。
しかし、アノテーションのプロセスは時間がかかり、コストがかかるため、大きな注釈付き画像データセットが利用できることは大きな障害である。
本稿では,その意味的類似性に関して,医用放射線画像のデータベースを自動アノテートする方法を検討する。
材料と方法: クロアチアのリイェカにある臨床病院にある医用放射線画像の大規模な注釈付きデータセットを構築し、画像、ダイコンメタデータ、ナラティブ診断などのマルチモーダルソースを活用するために、自動化された教師なしのアプローチが用いられている。
データソース毎に複数の適切な特徴抽出器をテストし、そのユーティリティを代表データサブセット上にクラスタリングするk-meansとk-medoidsを用いて評価する。
結果: 最適な特徴抽出器はマルチモーダル表現に統合され、クラスタ化され、1,337,926個の医療画像の前駆的データセットを50個の視覚類似画像にラベル付けする自動化パイプラインが作成される。
クラスターの質は、その均質性と相互情報を調べ、解剖学的領域とモダリティ表現を考慮して評価される。
結論: 結果は,3つのデータソースの埋め込みを融合させることが,大規模医療データの教師なしクラスタリング作業に最適であることが示唆された。
したがって、この研究は、医療放射線画像のより大きくよりきめ細かな注釈付きデータセットを構築するための最初のステップである。
関連論文リスト
- Efficient Medical Image Retrieval Using DenseNet and FAISS for BIRADS Classification [0.0]
本稿では,DenseNetとFAISSを用いた医用画像検索手法を提案する。
DenseNetは複雑な医療画像の特徴抽出に適している。
FAISSは大規模データセットにおける高次元データの効率的な処理を可能にする。
論文 参考訳（メタデータ） (2024-11-03T08:14:31Z) - Unlocking the Power of Spatial and Temporal Information in Medical Multimodal Pre-training [99.2891802841936]
我々は,空間的・時間的微粒なモデリングのためのMed-STフレームワークを提案する。
空間モデリングでは、Med-STはMixture of View Expert (MoVE)アーキテクチャを使用して、正面と横の両方のビューから異なる視覚的特徴を統合する。
時間的モデリングのために,フォワードマッピング分類 (FMC) とリバースマッピング回帰 (RMR) による新たな双方向サイクル整合性目標を提案する。
論文 参考訳（メタデータ） (2024-05-30T03:15:09Z) - HyperFusion: A Hypernetwork Approach to Multimodal Integration of Tabular and Medical Imaging Data for Predictive Modeling [4.44283662576491]
EHRの値と測定値に画像処理を条件付け,臨床画像と表層データを融合させるハイパーネットワークに基づく新しいフレームワークを提案する。
我々は, 単一モダリティモデルと最先端MRI-タブラルデータ融合法の両方に優れることを示す。
論文 参考訳（メタデータ） (2024-03-20T05:50:04Z) - Eye-gaze Guided Multi-modal Alignment for Medical Representation Learning [65.54680361074882]
アイゲイズガイドマルチモーダルアライメント(EGMA)フレームワークは、アイゲイズデータを利用して、医用視覚的特徴とテキスト的特徴のアライメントを改善する。
我々は4つの医療データセット上で画像分類と画像テキスト検索の下流タスクを行う。
論文 参考訳（メタデータ） (2024-03-19T03:59:14Z) - Radiology Report Generation Using Transformers Conditioned with
Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。
提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文 参考訳（メタデータ） (2023-11-18T14:52:26Z) - Beyond Images: An Integrative Multi-modal Approach to Chest X-Ray Report
Generation [47.250147322130545]
画像からテキストまでの放射線学レポート生成は,医療画像の発見を記述した放射線学レポートを自動生成することを目的としている。
既存の方法の多くは画像データのみに焦点をあてており、他の患者情報は放射線科医に公開されていない。
胸部X線レポートを生成するための多モードディープニューラルネットワークフレームワークを,非構造的臨床ノートとともにバイタルサインや症状などの構造化された患者データを統合することで提案する。
論文 参考訳（メタデータ） (2023-11-18T14:37:53Z) - C^2M-DoT: Cross-modal consistent multi-view medical report generation
with domain transfer network [67.97926983664676]
ドメイン転送ネットワーク(C2M-DoT)を用いたクロスモーダルなマルチビュー医療レポート生成を提案する。
C2M-DoTは、すべてのメトリクスで最先端のベースラインを大幅に上回る。
論文 参考訳（メタデータ） (2023-10-09T02:31:36Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳（メタデータ） (2023-06-20T22:21:34Z) - A Spatial Guided Self-supervised Clustering Network for Medical Image
Segmentation [16.448375091671004]
医用画像分割のための空間ガイド型自己監視クラスタリングネットワーク(SGSCN)を提案する。
単一の画像から、各ピクセルの特徴表現とクラスタリングの割り当てをエンドツーエンドで反復的に学習する。
本手法を2つの公開医用画像データセット上で評価し,従来の自己監督型クラスタリング法と比較した。
論文 参考訳（メタデータ） (2021-07-11T00:40:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。