論文の概要: Multimodal self-supervised learning for lesion localization

• arxiv url: http://arxiv.org/abs/2401.01524v2
• Date: Sun, 17 Mar 2024 08:42:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 02:32:43.005038
• Title: Multimodal self-supervised learning for lesion localization
• Title（参考訳）: 病変局所化のためのマルチモーダル自己教師型学習
• Authors: Hao Yang, Hong-Yu Zhou, Cheng Li, Weijian Huang, Jiarun Liu, Yong Liang, Shanshan Wang,
• Abstract要約: テキストレポートから全文を局所的意味的アライメントの基本単位として取り出す新しい手法が導入された。 このアプローチは胸部X線画像と対応するテキストレポートを組み合わせることで、グローバルレベルとローカルレベルの両方でコントラスト学習を行う。
• 参考スコア（独自算出の注目度）: 19.365179001250674
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal deep learning utilizing imaging and diagnostic reports has made impressive progress in the field of medical imaging diagnostics, demonstrating a particularly strong capability for auxiliary diagnosis in cases where sufficient annotation information is lacking. Nonetheless, localizing diseases accurately without detailed positional annotations remains a challenge. Although existing methods have attempted to utilize local information to achieve fine-grained semantic alignment, their capability in extracting the fine-grained semantics of the comprehensive context within reports is limited. To address this problem, a new method is introduced that takes full sentences from textual reports as the basic units for local semantic alignment. This approach combines chest X-ray images with their corresponding textual reports, performing contrastive learning at both global and local levels. The leading results obtained by this method on multiple datasets confirm its efficacy in the task of lesion localization.
• Abstract（参考訳）: 画像診断と診断レポートを利用したマルチモーダル深層学習は, 医用画像診断の分野で顕著な進歩を遂げており, 十分なアノテーション情報が欠如している場合に, 特に補助的診断能力を示す。 それにもかかわらず、詳細な位置アノテーションを使わずに、病気を正確に位置決めすることは依然として困難である。 既存の手法では,局所的な情報を利用して詳細なセマンティックアライメントを実現しているが,レポート内の包括的コンテキストの詳細なセマンティックスを抽出する能力は限られている。 この問題に対処するため,テキストレポートから全文を局所的セマンティックアライメントの基本単位として取り出す新しい手法が導入された。 このアプローチは胸部X線画像と対応するテキストレポートを組み合わせることで、グローバルレベルとローカルレベルの両方でコントラスト学習を行う。 本手法を複数のデータセットに適用し, 病変局所化作業における有効性を確認した。

関連論文リスト

• SGSeg: Enabling Text-free Inference in Language-guided Segmentation of Chest X-rays via Self-guidance [10.075820470715374]
  テキストフリー推論(ユニモーダル)を実現しつつ、学習のための言語指導(マルチモーダル)を活用するセルフガイドセグメンテーションフレームワーク(SGSeg)を提案する。 本報告では, 肺, 病理組織ともに重要な位置情報を活用するとともに, 自己指導のための臨床報告を生成するために, 新たな局所化強化レポート生成(LERG)モジュールを導入する。 我々のLERGは、位置認識型擬似ラベル抽出モジュールによって弱制御された、オブジェクト検出器と位置ベースアグリゲータを統合している。
  論文  参考訳（メタデータ） (2024-09-07T08:16:00Z)
• Large Multimodal Model based Standardisation of Pathology Reports with Confidence and their Prognostic Significance [4.777807873917223]
  本稿では,病理報告のスキャン画像から情報を自動的に抽出するために,大規模マルチモーダルモデル(LMM)を用いた実践的アプローチを提案する。 提案手法は,情報抽出と検証にLMM(Large Multimodal Model)の2つの段階を利用する。 推定された信頼度は、抽出されたフィールドのみを正確に選択できる抽出情報の精度の効果的な指標であることを示す。
  論文  参考訳（メタデータ） (2024-05-03T12:19:38Z)
• Improving Multiple Sclerosis Lesion Segmentation Across Clinical Sites: A Federated Learning Approach with Noise-Resilient Training [75.40980802817349]
  深層学習モデルは、自動的にMS病変を分節する約束を示しているが、正確な注釈付きデータの不足は、この分野の進歩を妨げている。 我々は,MS病変の不均衡分布とファジィ境界を考慮したDecoupled Hard Label Correction(DHLC)戦略を導入する。 また,集約型中央モデルを利用したCELC(Centrally Enhanced Label Correction)戦略も導入した。
  論文  参考訳（メタデータ） (2023-08-31T00:36:10Z)
• Cross-Modal Causal Intervention for Medical Report Generation [109.83549148448469]
  医療報告生成(MRG)は、コンピュータ支援診断と治療指導に不可欠である。 視覚的および言語的バイアスによって引き起こされる画像テキストデータ内の素早い相関のため、病変領域を確実に記述した正確なレポートを生成することは困難である。 本稿では,視覚分解モジュール (VDM) と言語分解モジュール (LDM) からなるMRGのための新しい視覚言語因果干渉 (VLCI) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-16T07:23:55Z)
• PCA: Semi-supervised Segmentation with Patch Confidence Adversarial Training [52.895952593202054]
  医用画像セグメンテーションのためのPatch Confidence Adrial Training (PCA) と呼ばれる半教師付き対向法を提案する。 PCAは各パッチの画素構造とコンテキスト情報を学習し、十分な勾配フィードバックを得る。 本手法は, 医用画像のセグメンテーションにおいて, 最先端の半教師付き手法より優れており, その有効性を示している。
  論文  参考訳（メタデータ） (2022-07-24T07:45:47Z)
• Voxel-wise Adversarial Semi-supervised Learning for Medical Image Segmentation [4.489713477369384]
  医用画像セグメンテーションのための新しい対向学習に基づく半教師付きセグメンテーション手法を提案する。 本手法では,複数の階層から局所的特徴とグローバルな特徴を埋め込んで,複数のクラス間のコンテキスト関係を学習する。 左心房(シングルクラス)とマルチオーガニックデータセット(マルチクラス)のイメージセグメンテーションにおける、最先端の半教師あり学習手法よりも優れています。
  論文  参考訳（メタデータ） (2022-05-14T06:57:19Z)
• Radiology Report Generation with a Learned Knowledge Base and Multi-modal Alignment [27.111857943935725]
  胸部X線からのレポート生成のための自動マルチモーダルアプローチを提案する。 本手法は,学習知識ベースとマルチモーダルアライメントの2つの異なるモジュールを特徴とする。 両モジュールの助けを借りて、我々のアプローチは明らかに最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2021-12-30T10:43:56Z)
• Generative Residual Attention Network for Disease Detection [51.60842580044539]
  本稿では, 条件付き生成逆学習を用いたX線疾患発生のための新しいアプローチを提案する。 我々は,患者の身元を保存しながら,対象領域に対応する放射線画像を生成する。 次に、ターゲット領域で生成されたX線画像を用いてトレーニングを増強し、検出性能を向上させる。
  論文  参考訳（メタデータ） (2021-10-25T14:15:57Z)
• Variational Topic Inference for Chest X-Ray Report Generation [102.04931207504173]
  医療画像のレポート生成は、作業負荷を減らし、臨床実習における診断を支援することを約束する。 近年の研究では、ディープラーニングモデルが自然画像のキャプションに成功していることが示された。 本稿では,自動レポート生成のための変分トピック推論を提案する。
  論文  参考訳（メタデータ） (2021-07-15T13:34:38Z)
• Belief function-based semi-supervised learning for brain tumor segmentation [23.21410263735263]
  ディープラーニングは、注釈付きデータを使用して病変フィールドを検出し、セグメンテーションすることを可能にする。 しかし、医療分野では、正確に注釈付きデータを取得することが非常に難しい。 本稿では,情報融合戦略を持つ新しい明示的ニューラルネットワークを用いて,不確実な境界問題に対処する。
  論文  参考訳（メタデータ） (2021-01-29T22:39:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。