論文の概要: Ultrasound Report Generation with Cross-Modality Feature Alignment via Unsupervised Guidance
- arxiv url: http://arxiv.org/abs/2406.00644v1
- Date: Sun, 2 Jun 2024 07:16:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 03:56:22.864368
- Title: Ultrasound Report Generation with Cross-Modality Feature Alignment via Unsupervised Guidance
- Title（参考訳）: 教師なし誘導によるクロスモーダル特徴アライメントを用いた超音波レポート生成
- Authors: Jun Li, Tongkun Su, Baoliang Zhao, Faqin Lv, Qiong Wang, Nassir Navab, Ying Hu, Zhongliang Jiang,
- Abstract要約: 教師なしおよび教師なしの学習手法を併用した,超音波自動レポート生成のための新しいフレームワークを提案する。
本フレームワークは,超音波テキストレポートから潜在的知識を抽出するための教師なし学習手法を取り入れている。
我々は、より包括的で正確な医療報告を生成する能力を高めるために、グローバルな意味比較機構を設計する。
- 参考スコア（独自算出の注目度）: 37.37279393074854
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatic report generation has arisen as a significant research area in computer-aided diagnosis, aiming to alleviate the burden on clinicians by generating reports automatically based on medical images. In this work, we propose a novel framework for automatic ultrasound report generation, leveraging a combination of unsupervised and supervised learning methods to aid the report generation process. Our framework incorporates unsupervised learning methods to extract potential knowledge from ultrasound text reports, serving as the prior information to guide the model in aligning visual and textual features, thereby addressing the challenge of feature discrepancy. Additionally, we design a global semantic comparison mechanism to enhance the performance of generating more comprehensive and accurate medical reports. To enable the implementation of ultrasound report generation, we constructed three large-scale ultrasound image-text datasets from different organs for training and validation purposes. Extensive evaluations with other state-of-the-art approaches exhibit its superior performance across all three datasets. Code and dataset are valuable at this link.
- Abstract（参考訳）: 自動レポート生成は, 臨床医の負担を軽減するために, 医用画像に基づいて自動レポート作成を行うことによって, 臨床医の負担を軽減することを目的として, コンピュータ支援診断において重要な研究領域となっている。
本研究では,教師なし学習法と教師なし学習法を組み合わせた自動超音波レポート生成手法を提案する。
本フレームワークは,超音波テキストレポートから潜在的知識を抽出するための教師なし学習手法を取り入れ,視覚的特徴とテキスト的特徴の整合性を導出するための事前情報として機能し,特徴の相違に対処する。
さらに,より包括的で正確な医療報告の生成性能を向上させるために,グローバルな意味比較機構を設計する。
超音波レポート生成を実現するために,異なる臓器から大規模超音波画像テキストデータセットを3つ構築し,訓練と検証を行った。
他の最先端のアプローチによる広範囲な評価は、3つのデータセットすべてで優れたパフォーマンスを示している。
コードとデータセットはこのリンクで価値がある。
関連論文リスト
- 3D-CT-GPT: Generating 3D Radiology Reports through Integration of Large Vision-Language Models [51.855377054763345]
本稿では,VQAに基づく医用視覚言語モデルである3D-CT-GPTについて紹介する。
パブリックデータセットとプライベートデータセットの両方の実験により、3D-CT-GPTはレポートの正確さと品質という点で既存の手法を著しく上回っていることが示された。
論文 参考訳（メタデータ） (2024-09-28T12:31:07Z) - HERGen: Elevating Radiology Report Generation with Longitudinal Data [18.370515015160912]
本研究では,患者訪問における経時的データを効率的に統合するHERGen(History Enhanced Radiology Report Generation)フレームワークを提案する。
本手法は, 各種歴史データの包括的解析を可能にするだけでなく, 補助的コントラスト的目的により, 生成した報告の質を向上させる。
3つのデータセットにまたがる広範囲な評価結果から,我々のフレームワークは,正確な放射線診断レポートを作成し,医用画像から疾患の進行を効果的に予測する上で,既存の手法を超越していることが明らかとなった。
論文 参考訳（メタデータ） (2024-07-21T13:29:16Z) - Structural Entities Extraction and Patient Indications Incorporation for Chest X-ray Report Generation [10.46031380503486]
胸部X線レポート生成のための新しい方法である textbfStructural textbfEntities 抽出法と textbfIncorporation (SEI) を考案した。
我々は、レポートにおけるプレゼンテーションスタイルの語彙を排除するために、構造エンティティ抽出(SEE)アプローチを採用する。
我々は,X線画像,類似の歴史的症例,患者固有の指標からの情報を統合するクロスモーダル融合ネットワークを提案する。
論文 参考訳（メタデータ） (2024-05-23T01:29:47Z) - Eye-gaze Guided Multi-modal Alignment for Medical Representation Learning [65.54680361074882]
アイゲイズガイドマルチモーダルアライメント(EGMA)フレームワークは、アイゲイズデータを利用して、医用視覚的特徴とテキスト的特徴のアライメントを改善する。
我々は4つの医療データセット上で画像分類と画像テキスト検索の下流タスクを行う。
論文 参考訳（メタデータ） (2024-03-19T03:59:14Z) - HistGen: Histopathology Report Generation via Local-Global Feature Encoding and Cross-modal Context Interaction [16.060286162384536]
HistGenは、病理組織学レポート生成のための学習可能なフレームワークである。
スライド画像全体(WSI)と局所的およびグローバルな粒度からの診断レポートを整列させることで、レポート生成を促進することを目的としている。
WSIレポート生成実験の結果,提案手法は最先端モデル(SOTA)よりも大きなマージンで優れていた。
論文 参考訳（メタデータ） (2024-03-08T15:51:43Z) - Radiology Report Generation Using Transformers Conditioned with
Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。
提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文 参考訳（メタデータ） (2023-11-18T14:52:26Z) - Dynamic Graph Enhanced Contrastive Learning for Chest X-ray Report
Generation [92.73584302508907]
コントラスト学習を用いた医療レポート作成を支援するために,動的構造とノードを持つ知識グラフを提案する。
詳しくは、グラフの基本構造は一般知識から事前構築される。
各イメージ機能は、レポート生成のためにデコーダモジュールに入力する前に、独自の更新グラフに統合される。
論文 参考訳（メタデータ） (2023-03-18T03:53:43Z) - Factored Attention and Embedding for Unstructured-view Topic-related
Ultrasound Report Generation [70.7778938191405]
本研究では,非構造的トピック関連超音波レポート生成のための新しい因子的注意・埋め込みモデル(FAE-Gen)を提案する。
提案したFAE-Genは主に2つのモジュール、すなわちビュー誘導因子の注意とトピック指向因子の埋め込みから構成されており、異なるビューで均質および不均一な形態的特徴を捉えている。
論文 参考訳（メタデータ） (2022-03-12T15:24:03Z) - Radiology Report Generation with a Learned Knowledge Base and
Multi-modal Alignment [27.111857943935725]
胸部X線からのレポート生成のための自動マルチモーダルアプローチを提案する。
本手法は,学習知識ベースとマルチモーダルアライメントの2つの異なるモジュールを特徴とする。
両モジュールの助けを借りて、我々のアプローチは明らかに最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2021-12-30T10:43:56Z) - A Multisite, Report-Based, Centralized Infrastructure for Feedback and
Monitoring of Radiology AI/ML Development and Clinical Deployment [0.0]
インタラクティブな放射線学報告手法は、画像の視聴、予測、自然言語処理(NLP)、および画像発見とレポート間のハイパーリンクの生成を統合する。
これらのイメージとラベルは、クラウドベースのシステムでキャプチャして集中することができる。
本手法は, 市販後監視および外部データに対する規制要件に対処する。
論文 参考訳（メタデータ） (2020-08-31T17:59:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。