論文の概要: Multimodal self-supervised learning for lesion localization
- arxiv url: http://arxiv.org/abs/2401.01524v3
- Date: Tue, 20 Aug 2024 03:49:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-21 20:30:33.929574
- Title: Multimodal self-supervised learning for lesion localization
- Title(参考訳): 病変局所化のためのマルチモーダル自己教師型学習
- Authors: Hao Yang, Hong-Yu Zhou, Cheng Li, Weijian Huang, Jiarun Liu, Yong Liang, Guangming Shi, Hairong Zheng, Qiegen Liu, Shanshan Wang,
- Abstract要約: テキストレポートから全文を局所的意味的アライメントの基本単位として取り出す新しい手法が導入された。
このアプローチは胸部X線画像と対応するテキストレポートを組み合わせることで、グローバルレベルとローカルレベルの両方でコントラスト学習を行う。
- 参考スコア(独自算出の注目度): 41.7046184109176
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal deep learning utilizing imaging and diagnostic reports has made impressive progress in the field of medical imaging diagnostics, demonstrating a particularly strong capability for auxiliary diagnosis in cases where sufficient annotation information is lacking. Nonetheless, localizing diseases accurately without detailed positional annotations remains a challenge. Although existing methods have attempted to utilize local information to achieve fine-grained semantic alignment, their capability in extracting the fine-grained semantics of the comprehensive context within reports is limited. To address this problem, a new method is introduced that takes full sentences from textual reports as the basic units for local semantic alignment. This approach combines chest X-ray images with their corresponding textual reports, performing contrastive learning at both global and local levels. The leading results obtained by this method on multiple datasets confirm its efficacy in the task of lesion localization.
- Abstract(参考訳): 画像診断と診断レポートを利用したマルチモーダル深層学習は, 医用画像診断の分野で顕著な進歩を遂げており, 十分なアノテーション情報が欠如している場合に, 特に補助的診断能力を示す。
それにもかかわらず、詳細な位置アノテーションを使わずに、病気を正確に位置決めすることは依然として困難である。
既存の手法では,局所的な情報を利用して詳細なセマンティックアライメントを実現しているが,レポート内の包括的コンテキストの詳細なセマンティックスを抽出する能力は限られている。
この問題に対処するため,テキストレポートから全文を局所的セマンティックアライメントの基本単位として取り出す新しい手法が導入された。
このアプローチは胸部X線画像と対応するテキストレポートを組み合わせることで、グローバルレベルとローカルレベルの両方でコントラスト学習を行う。
本手法を複数のデータセットに適用し, 病変局所化作業における有効性を確認した。
関連論文リスト
- Large Multimodal Model based Standardisation of Pathology Reports with Confidence and their Prognostic Significance [4.777807873917223]
本稿では,病理報告のスキャン画像から情報を自動的に抽出するために,大規模マルチモーダルモデル(LMM)を用いた実践的アプローチを提案する。
提案手法は,情報抽出と検証にLMM(Large Multimodal Model)の2つの段階を利用する。
推定された信頼度は、抽出されたフィールドのみを正確に選択できる抽出情報の精度の効果的な指標であることを示す。
論文 参考訳(メタデータ) (2024-05-03T12:19:38Z) - Improving Multiple Sclerosis Lesion Segmentation Across Clinical Sites:
A Federated Learning Approach with Noise-Resilient Training [75.40980802817349]
深層学習モデルは、自動的にMS病変を分節する約束を示しているが、正確な注釈付きデータの不足は、この分野の進歩を妨げている。
我々は,MS病変の不均衡分布とファジィ境界を考慮したDecoupled Hard Label Correction(DHLC)戦略を導入する。
また,集約型中央モデルを利用したCELC(Centrally Enhanced Label Correction)戦略も導入した。
論文 参考訳(メタデータ) (2023-08-31T00:36:10Z) - Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。
正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。
本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文 参考訳(メタデータ) (2023-05-30T22:05:11Z) - Cross-Modal Causal Intervention for Medical Report Generation [109.83549148448469]
医療報告生成(MRG)は、コンピュータ支援診断と治療指導に不可欠である。
視覚的および言語的バイアスによって引き起こされる画像テキストデータ内の素早い相関のため、病変領域を確実に記述した正確なレポートを生成することは困難である。
本稿では,視覚分解モジュール (VDM) と言語分解モジュール (LDM) からなるMRGのための新しい視覚言語因果干渉 (VLCI) フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-16T07:23:55Z) - PCA: Semi-supervised Segmentation with Patch Confidence Adversarial
Training [52.895952593202054]
医用画像セグメンテーションのためのPatch Confidence Adrial Training (PCA) と呼ばれる半教師付き対向法を提案する。
PCAは各パッチの画素構造とコンテキスト情報を学習し、十分な勾配フィードバックを得る。
本手法は, 医用画像のセグメンテーションにおいて, 最先端の半教師付き手法より優れており, その有効性を示している。
論文 参考訳(メタデータ) (2022-07-24T07:45:47Z) - Voxel-wise Adversarial Semi-supervised Learning for Medical Image
Segmentation [4.489713477369384]
医用画像セグメンテーションのための新しい対向学習に基づく半教師付きセグメンテーション手法を提案する。
本手法では,複数の階層から局所的特徴とグローバルな特徴を埋め込んで,複数のクラス間のコンテキスト関係を学習する。
左心房(シングルクラス)とマルチオーガニックデータセット(マルチクラス)のイメージセグメンテーションにおける、最先端の半教師あり学習手法よりも優れています。
論文 参考訳(メタデータ) (2022-05-14T06:57:19Z) - Radiology Report Generation with a Learned Knowledge Base and
Multi-modal Alignment [27.111857943935725]
胸部X線からのレポート生成のための自動マルチモーダルアプローチを提案する。
本手法は,学習知識ベースとマルチモーダルアライメントの2つの異なるモジュールを特徴とする。
両モジュールの助けを借りて、我々のアプローチは明らかに最先端の手法よりも優れている。
論文 参考訳(メタデータ) (2021-12-30T10:43:56Z) - Generative Residual Attention Network for Disease Detection [51.60842580044539]
本稿では, 条件付き生成逆学習を用いたX線疾患発生のための新しいアプローチを提案する。
我々は,患者の身元を保存しながら,対象領域に対応する放射線画像を生成する。
次に、ターゲット領域で生成されたX線画像を用いてトレーニングを増強し、検出性能を向上させる。
論文 参考訳(メタデータ) (2021-10-25T14:15:57Z) - Variational Topic Inference for Chest X-Ray Report Generation [102.04931207504173]
医療画像のレポート生成は、作業負荷を減らし、臨床実習における診断を支援することを約束する。
近年の研究では、ディープラーニングモデルが自然画像のキャプションに成功していることが示された。
本稿では,自動レポート生成のための変分トピック推論を提案する。
論文 参考訳(メタデータ) (2021-07-15T13:34:38Z) - Weakly-supervised High-resolution Segmentation of Mammography Images for
Breast Cancer Diagnosis [17.936019428281586]
がん診断において、入力画像の出力に責任のある領域を局在させることにより、解釈可能性を実現することができる。
本稿では,高解像度画像の弱教師付きセグメンテーションを実現するニューラルネットワークアーキテクチャを提案する。
乳がん検診にマンモグラフィーを用いて適用し, 大規模臨床応用データセットで検証した。
論文 参考訳(メタデータ) (2021-06-13T17:25:21Z) - Belief function-based semi-supervised learning for brain tumor
segmentation [23.21410263735263]
ディープラーニングは、注釈付きデータを使用して病変フィールドを検出し、セグメンテーションすることを可能にする。
しかし、医療分野では、正確に注釈付きデータを取得することが非常に難しい。
本稿では,情報融合戦略を持つ新しい明示的ニューラルネットワークを用いて,不確実な境界問題に対処する。
論文 参考訳(メタデータ) (2021-01-29T22:39:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。