論文の概要: Anatomical Structure-Guided Medical Vision-Language Pre-training
- arxiv url: http://arxiv.org/abs/2403.09294v1
- Date: Thu, 14 Mar 2024 11:29:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-15 20:47:15.579714
- Title: Anatomical Structure-Guided Medical Vision-Language Pre-training
- Title(参考訳): 解剖学的構造誘導型医用視力訓練
- Authors: Qingqiu Li, Xiaohan Yan, Jilan Xu, Runtian Yuan, Yuejie Zhang, Rui Feng, Quanli Shen, Xiaobo Zhang, Shujun Wang,
- Abstract要約: 医用視覚表現を学習するための解剖学的構造ガイド(ASG)フレームワークを提案する。
解剖学的領域に対しては,放射線技師と協調して自動解剖学的領域文アライメントパラダイムを設計する。
画像の特徴を各サンプル内の各タグに関連付けるために,画像タグ認識デコーダを適用して画像タグとみなす。
- 参考スコア(独自算出の注目度): 21.68719061251635
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning medical visual representations through vision-language pre-training has reached remarkable progress. Despite the promising performance, it still faces challenges, i.e., local alignment lacks interpretability and clinical relevance, and the insufficient internal and external representation learning of image-report pairs. To address these issues, we propose an Anatomical Structure-Guided (ASG) framework. Specifically, we parse raw reports into triplets <anatomical region, finding, existence>, and fully utilize each element as supervision to enhance representation learning. For anatomical region, we design an automatic anatomical region-sentence alignment paradigm in collaboration with radiologists, considering them as the minimum semantic units to explore fine-grained local alignment. For finding and existence, we regard them as image tags, applying an image-tag recognition decoder to associate image features with their respective tags within each sample and constructing soft labels for contrastive learning to improve the semantic association of different image-report pairs. We evaluate the proposed ASG framework on two downstream tasks, including five public benchmarks. Experimental results demonstrate that our method outperforms the state-of-the-art methods.
- Abstract(参考訳): 視覚言語による事前学習による医用視覚表現の学習は目覚ましい進歩を遂げた。
有望な性能にもかかわらず、局所的なアライメントは解釈可能性と臨床的関連性に欠けており、画像-レポートペアの内部および外部表現学習が不十分である。
これらの問題に対処するために、解剖学的構造ガイド(ASG)フレームワークを提案する。
具体的には, 生のレポートを解剖学的領域, 発見, 存在>に解析し, 各要素を教師として活用し, 表現学習の促進を図る。
解剖学的領域に対しては,局所的な微粒なアライメントを探索するための最小のセマンティック単位として,放射線学者と共同で自動解剖学的領域文アライメントパラダイムを設計する。
画像タグの発見と存在をイメージタグとみなし,画像特徴とそれぞれのタグを関連づける画像タグ認識デコーダを適用し,コントラスト学習のためのソフトラベルを構築して,異なる画像レポートペアのセマンティックアソシエーションを改善する。
提案したASGフレームワークを5つの公開ベンチマークを含む2つの下流タスクで評価する。
実験の結果,本手法は最先端の手法よりも優れていた。
関連論文リスト
- Decomposing Disease Descriptions for Enhanced Pathology Detection: A
Multi-Aspect Vision-Language Matching Framework [46.35091679002615]
医学的な視覚言語事前訓練は研究の最前線として現れ、ゼロショットの病理診断を可能にしている。
現在, 医療画像と病理所見の整合に苦慮している。
これは、大きな言語モデルと医療専門家に相談することで達成される。
我々の成績は最近の手法を8.07%、AUCでは11.23%で上回っている。
論文 参考訳(メタデータ) (2024-03-12T13:18:22Z) - UAE: Universal Anatomical Embedding on Multi-modality Medical Images [7.589247017940839]
汎用解剖学的埋め込み (UAE) を提案し, 外観, 意味, 異質な解剖学的埋め込みを学習する。
UAEには,(1)原型的コントラスト損失を伴うセマンティック埋め込み学習,(2)固定点型マッチング戦略,(3)モダリティ間埋め込み学習の反復的アプローチの3つの革新が含まれている。
以上の結果から,UAEは最先端の手法よりも優れており,ランドマークに基づく医用画像解析タスクに対して,堅牢で多目的なアプローチが可能であることが示唆された。
論文 参考訳(メタデータ) (2023-11-25T20:01:20Z) - IMITATE: Clinical Prior Guided Hierarchical Vision-Language Pre-training [15.79642614851724]
階層的視覚言語アライメントを用いた医療報告から構造情報を学習するための新しいフレームワークImitateを提案する。
このフレームワークは胸部X線(CXR)画像から多段階の視覚特徴を導出し、これらの特徴を階層的な医療報告に符号化された記述的および決定的テキストと別々に整列する。
論文 参考訳(メタデータ) (2023-10-11T10:12:43Z) - Region-based Contrastive Pretraining for Medical Image Retrieval with
Anatomic Query [56.54255735943497]
医用画像検索のための地域別コントラスト事前トレーニング(RegionMIR)
医用画像検索のための領域ベースコントラスト事前トレーニング(RegionMIR)について紹介する。
論文 参考訳(メタデータ) (2023-05-09T16:46:33Z) - Multi-Granularity Cross-modal Alignment for Generalized Medical Visual
Representation Learning [24.215619918283462]
本報告では, 医用画像の表現を直接学習するための新しい枠組みについて述べる。
本フレームワークは,医用画像と放射線学レポートの自然に現れる意味的対応を3段階に分けて活用する。
論文 参考訳(メタデータ) (2022-10-12T09:31:39Z) - Stain based contrastive co-training for histopathological image analysis [61.87751502143719]
本稿では,ヒストリボリューション画像の分類のための,新しい半教師付き学習手法を提案する。
我々は、半教師付き学習フレームワークを作成するために、パッチレベルのアノテーションと、新しいコトレーニング損失を併用した強力な監視を採用する。
透明細胞腎細胞および前立腺癌に対するアプローチを評価し,最先端の半教師あり学習法の改善を実証した。
論文 参考訳(メタデータ) (2022-06-24T22:25:31Z) - Cross-level Contrastive Learning and Consistency Constraint for
Semi-supervised Medical Image Segmentation [46.678279106837294]
半教師型医用画像セグメンテーションにおける局所特徴の表現能力を高めるためのクロスレベルコンストラシティブ学習手法を提案する。
クロスレベルなコントラスト学習と一貫性制約の助けを借りて、非ラベル付きデータを効果的に探索してセグメンテーション性能を向上させることができる。
論文 参考訳(メタデータ) (2022-02-08T15:12:11Z) - Few-shot Medical Image Segmentation using a Global Correlation Network
with Discriminative Embedding [60.89561661441736]
医療画像分割のための新しい手法を提案する。
深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。
深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
論文 参考訳(メタデータ) (2020-12-10T04:01:07Z) - Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report
Generation [107.3538598876467]
放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。
ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
論文 参考訳(メタデータ) (2020-06-06T01:00:15Z) - Unsupervised Bidirectional Cross-Modality Adaptation via Deeply
Synergistic Image and Feature Alignment for Medical Image Segmentation [73.84166499988443]
我々は、Synergistic Image and Feature Alignment (SIFA)と名付けられた新しい教師なしドメイン適応フレームワークを提案する。
提案するSIFAは、画像と特徴の両方の観点から、ドメインの相乗的アライメントを行う。
2つの異なるタスクに対する実験結果から,SIFA法は未ラベル対象画像のセグメンテーション性能を向上させるのに有効であることが示された。
論文 参考訳(メタデータ) (2020-02-06T13:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。