論文の概要: Progressive Local Alignment for Medical Multimodal Pre-training

• arxiv url: http://arxiv.org/abs/2502.18047v1
• Date: Tue, 25 Feb 2025 10:13:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:22:34.944995
• Title: Progressive Local Alignment for Medical Multimodal Pre-training
• Title（参考訳）: 医療用マルチモーダルプレトレーニングのためのプログレッシブローカルアライメント
• Authors: Huimin Yan, Xian Yang, Liang Bai, Jiye Liang,
• Abstract要約: そこで本研究では,局所的なアライメントを学習に応用して,意味のある単語・画素関係を確立する手法を提案する。 PLANは、ノイズ干渉を抑制しながら、ソフト領域認識を効果的に改善する。 PLANは、フレーズグラウンド、画像テキスト検索、オブジェクト検出、ゼロショット分類において最先端の手法を超越している。
• 参考スコア（独自算出の注目度）: 24.56496333066882
• License:
• Abstract: Local alignment between medical images and text is essential for accurate diagnosis, though it remains challenging due to the absence of natural local pairings and the limitations of rigid region recognition methods. Traditional approaches rely on hard boundaries, which introduce uncertainty, whereas medical imaging demands flexible soft region recognition to handle irregular structures. To overcome these challenges, we propose the Progressive Local Alignment Network (PLAN), which designs a novel contrastive learning-based approach for local alignment to establish meaningful word-pixel relationships and introduces a progressive learning strategy to iteratively refine these relationships, enhancing alignment precision and robustness. By combining these techniques, PLAN effectively improves soft region recognition while suppressing noise interference. Extensive experiments on multiple medical datasets demonstrate that PLAN surpasses state-of-the-art methods in phrase grounding, image-text retrieval, object detection, and zero-shot classification, setting a new benchmark for medical image-text alignment.
• Abstract（参考訳）: 医用画像とテキストの局所的なアライメントは正確な診断には不可欠であるが、自然の局所的なペアリングが欠如し、厳密な領域認識法が制限されているため、依然として困難である。 従来のアプローチでは、不確実性をもたらすハードバウンダリに依存していたが、医療画像は不規則構造を扱うために柔軟な軟部領域認識を必要とする。 これらの課題を克服するために,我々は,局所的アライメントのための新しいコントラッシブな学習ベースアプローチを設計し,これらの関係を反復的に洗練し,アライメント精度とロバスト性を向上するプログレッシブ学習戦略を提案する。 これらの手法を組み合わせることで、PLANはノイズ干渉を抑制しながら、ソフト領域認識を効果的に改善する。 複数の医療データセットに対する大規模な実験により、PLANはフレーズグラウンド、画像テキスト検索、オブジェクト検出、ゼロショット分類において最先端の手法を超越し、医用画像テキストアライメントのための新しいベンチマークが設定された。

関連論文リスト

• Structure-Aware Stylized Image Synthesis for Robust Medical Image Segmentation [10.776242801237862]
  本稿では,拡散モデルと構造保存ネットワークを組み合わせた新しい医用画像分割手法を提案する。 本手法は, 病変の位置, サイズ, 形状を維持しつつ, 様々なソースからの画像を一貫したスタイルに変換することで, 領域シフトを効果的に軽減する。
  論文  参考訳（メタデータ） (2024-12-05T16:15:32Z)
• Multimodal self-supervised learning for lesion localization [41.7046184109176]
  テキストレポートから全文を局所的意味的アライメントの基本単位として取り出す新しい手法が導入された。 このアプローチは胸部X線画像と対応するテキストレポートを組み合わせることで、グローバルレベルとローカルレベルの両方でコントラスト学習を行う。
  論文  参考訳（メタデータ） (2024-01-03T03:33:48Z)
• Improving Multiple Sclerosis Lesion Segmentation Across Clinical Sites: A Federated Learning Approach with Noise-Resilient Training [75.40980802817349]
  深層学習モデルは、自動的にMS病変を分節する約束を示しているが、正確な注釈付きデータの不足は、この分野の進歩を妨げている。 我々は,MS病変の不均衡分布とファジィ境界を考慮したDecoupled Hard Label Correction(DHLC)戦略を導入する。 また,集約型中央モデルを利用したCELC(Centrally Enhanced Label Correction)戦略も導入した。
  論文  参考訳（メタデータ） (2023-08-31T00:36:10Z)
• Local Contrastive Learning for Medical Image Recognition [0.0]
  Local Region Contrastive Learning(LRCLR)は、画像領域の選択と相互モダリティの相互作用のためのレイヤを追加するフレキシブルな微調整フレームワークである。 胸部X線検査の結果から,LRCLRは重要な局所画像領域を同定し,放射線学的テキストに対して有意義な解釈を提供する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-03-24T17:04:26Z)
• Joint segmentation and discontinuity-preserving deformable registration: Application to cardiac cine-MR images [74.99415008543276]
  多くの深層学習に基づく登録法は、変形場は画像領域の至る所で滑らかで連続的であると仮定する。 本研究では,この課題に対処するために,不連続かつ局所的に滑らかな変形場を確保するための新しい不連続保存画像登録手法を提案する。 入力画像の構造的相関を学習するために,ネットワークのセグメンテーション成分にコアテンションブロックを提案する。 大規模心磁気共鳴画像系列を用いた物体内時間画像登録の課題について検討した。
  論文  参考訳（メタデータ） (2022-11-24T23:45:01Z)
• Image-Specific Information Suppression and Implicit Local Alignment for Text-based Person Search [61.24539128142504]
  テキストベースの人物検索(TBPS)は,問合せテキストが与えられた画像ギャラリーから同一の身元で歩行者画像を検索することを目的とした課題である。 既存の手法の多くは、モダリティ間の微粒な対応をモデル化するために、明示的に生成された局所的な部分に依存している。 TBPSのためのマルチレベルアライメントネットワーク(MANet)を提案する。
  論文  参考訳（メタデータ） (2022-08-30T16:14:18Z)
• Cross-level Contrastive Learning and Consistency Constraint for Semi-supervised Medical Image Segmentation [46.678279106837294]
  半教師型医用画像セグメンテーションにおける局所特徴の表現能力を高めるためのクロスレベルコンストラシティブ学習手法を提案する。 クロスレベルなコントラスト学習と一貫性制約の助けを借りて、非ラベル付きデータを効果的に探索してセグメンテーション性能を向上させることができる。
  論文  参考訳（メタデータ） (2022-02-08T15:12:11Z)
• A Deep Discontinuity-Preserving Image Registration Network [73.03885837923599]
  ほとんどの深層学習に基づく登録法は、所望の変形場が全世界的に滑らかで連続的であると仮定する。 本稿では、より優れた登録性能とリアルな変形場を得るために、弱い教師付き深部不連続保存画像登録ネットワーク(DDIR)を提案する。 本研究では, 心臓磁気共鳴(MR)画像の登録実験において, 登録精度を大幅に向上し, より現実的な変形を予測できることを実証した。
  論文  参考訳（メタデータ） (2021-07-09T13:35:59Z)
• Explaining Clinical Decision Support Systems in Medical Imaging using Cycle-Consistent Activation Maximization [112.2628296775395]
  ディープニューラルネットワークを用いた臨床意思決定支援は、着実に関心が高まりつつあるトピックとなっている。 臨床医は、その根底にある意思決定プロセスが不透明で理解しにくいため、この技術の採用をためらうことが多い。 そこで我々は,より小さなデータセットであっても,分類器決定の高品質な可視化を生成するCycleGANアクティベーションに基づく,新たな意思決定手法を提案する。
  論文  参考訳（メタデータ） (2020-10-09T14:39:27Z)
• Interpreting Medical Image Classifiers by Optimization Based Counterfactual Impact Analysis [2.512212190779389]
  医用画像に適合したモデル唾液度マッピングフレームワークを提案する。 本手法は, 工芸品を不明瞭に回避する, 強い近傍条件の塗工法に置き換える。
  論文  参考訳（メタデータ） (2020-04-03T14:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。