論文の概要: Learning Visual-Semantic Embeddings for Reporting Abnormal Findings on
Chest X-rays
- arxiv url: http://arxiv.org/abs/2010.02467v1
- Date: Tue, 6 Oct 2020 04:18:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 05:18:46.522110
- Title: Learning Visual-Semantic Embeddings for Reporting Abnormal Findings on
Chest X-rays
- Title(参考訳): 胸部X線異常所見の報告のための視覚的セマンティックな埋め込み学習
- Authors: Jianmo Ni, Chun-Nan Hsu, Amilcare Gentili, Julian McAuley
- Abstract要約: 本研究は放射線画像の異常所見の報告に焦点を当てる。
本稿では, レポートから異常な発見を識別し, 教師なしクラスタリングと最小限のルールで分類する手法を提案する。
本手法は, 異常所見を回収し, 臨床正当性およびテキスト生成量の両方で既存の世代モデルより優れていることを示す。
- 参考スコア(独自算出の注目度): 6.686095511538683
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatic medical image report generation has drawn growing attention due to
its potential to alleviate radiologists' workload. Existing work on report
generation often trains encoder-decoder networks to generate complete reports.
However, such models are affected by data bias (e.g.~label imbalance) and face
common issues inherent in text generation models (e.g.~repetition). In this
work, we focus on reporting abnormal findings on radiology images; instead of
training on complete radiology reports, we propose a method to identify
abnormal findings from the reports in addition to grouping them with
unsupervised clustering and minimal rules. We formulate the task as cross-modal
retrieval and propose Conditional Visual-Semantic Embeddings to align images
and fine-grained abnormal findings in a joint embedding space. We demonstrate
that our method is able to retrieve abnormal findings and outperforms existing
generation models on both clinical correctness and text generation metrics.
- Abstract(参考訳): 医療画像の自動レポート生成は、放射線技師の作業負荷を軽減する可能性から注目されている。
レポート生成に関する既存の作業は、しばしば完全なレポートを生成するためにエンコーダデコーダネットワークを訓練する。
しかし、そのようなモデルはデータバイアス(例えば〜ラベルの不均衡)の影響を受け、テキスト生成モデル(例えば〜繰り返し)に固有の共通の問題に直面している。
本研究は, 放射線画像の異常所見の報告に焦点をあて, 完全放射線画像のトレーニングではなく, レポートから異常所見を同定し, 教師なしクラスタリングと最小限のルールで分類する手法を提案する。
本稿では,この課題をクロスモーダル検索として定式化し,ジョイント埋め込み空間における画像の整列と微細な異常発見のための条件付き視覚意味埋め込みを提案する。
本手法は, 異常所見を検索し, 臨床精度とテキスト生成指標の両方で既存の生成モデルより優れていることを示す。
関連論文リスト
- Structural Entities Extraction and Patient Indications Incorporation for Chest X-ray Report Generation [10.46031380503486]
胸部X線レポート生成のための新しい方法である textbfStructural textbfEntities 抽出法と textbfIncorporation (SEI) を考案した。
我々は、レポートにおけるプレゼンテーションスタイルの語彙を排除するために、構造エンティティ抽出(SEE)アプローチを採用する。
我々は,X線画像,類似の歴史的症例,患者固有の指標からの情報を統合するクロスモーダル融合ネットワークを提案する。
論文 参考訳(メタデータ) (2024-05-23T01:29:47Z) - Spatial-aware Attention Generative Adversarial Network for Semi-supervised Anomaly Detection in Medical Image [63.59114880750643]
本稿では,一級半教師付き健康画像生成のための空間意識生成ネットワーク(SAGAN)について紹介する。
SAGANは、正常な画像の復元と擬似異常画像の復元によって導かれる、ラベルのないデータに対応する高品質な健康画像を生成する。
3つの医学データセットに対する大規模な実験は、提案されたSAGANが最先端の手法よりも優れていることを示した。
論文 参考訳(メタデータ) (2024-05-21T15:41:34Z) - MedCycle: Unpaired Medical Report Generation via Cycle-Consistency [11.190146577567548]
一貫性のあるラベリングスキーマを必要としない革新的なアプローチを導入する。
このアプローチは、画像埋め込みをレポート埋め込みに変換するサイクル一貫性マッピング関数に基づいている。
胸部X線所見の発生は、最先端の結果よりも優れており、言語と臨床の両方の指標の改善が示されている。
論文 参考訳(メタデータ) (2024-03-20T09:40:11Z) - Radiology Report Generation Using Transformers Conditioned with
Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。
提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文 参考訳(メタデータ) (2023-11-18T14:52:26Z) - Cross-Modal Causal Intervention for Medical Report Generation [109.83549148448469]
医療報告生成(MRG)は、コンピュータ支援診断と治療指導に不可欠である。
視覚的および言語的バイアスによって引き起こされる画像テキストデータ内の素早い相関のため、病変領域を確実に記述した正確なレポートを生成することは困難である。
本稿では,視覚分解モジュール (VDM) と言語分解モジュール (LDM) からなるMRGのための新しい視覚言語因果干渉 (VLCI) フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-16T07:23:55Z) - Attributed Abnormality Graph Embedding for Clinically Accurate X-Ray
Report Generation [7.118069629513661]
我々は、属性異常グラフ(ATAG)と呼ばれる、新しい微粒化知識グラフ構造を導入する。
ATAGは相互接続された異常ノードと属性ノードで構成されており、異常の詳細をより正確に把握することができる。
提案したATAG-based Deep ModelはSOTA法よりも大きなマージンで優れており, 得られた報告の臨床的精度を向上させることができる。
論文 参考訳(メタデータ) (2022-07-04T05:32:00Z) - Generative Residual Attention Network for Disease Detection [51.60842580044539]
本稿では, 条件付き生成逆学習を用いたX線疾患発生のための新しいアプローチを提案する。
我々は,患者の身元を保存しながら,対象領域に対応する放射線画像を生成する。
次に、ターゲット領域で生成されたX線画像を用いてトレーニングを増強し、検出性能を向上させる。
論文 参考訳(メタデータ) (2021-10-25T14:15:57Z) - Weakly Supervised Contrastive Learning for Chest X-Ray Report Generation [3.3978173451092437]
放射線画像から記述テキストを自動的に生成することを目的とした放射線学レポート生成。
典型的な設定は、エンコーダとデコーダのモデルを、クロスエントロピー損失のあるイメージレポートペアでトレーニングする。
本稿では,医療報告生成におけるコントラスト損失の弱化について提案する。
論文 参考訳(メタデータ) (2021-09-25T00:06:23Z) - Variational Topic Inference for Chest X-Ray Report Generation [102.04931207504173]
医療画像のレポート生成は、作業負荷を減らし、臨床実習における診断を支援することを約束する。
近年の研究では、ディープラーニングモデルが自然画像のキャプションに成功していることが示された。
本稿では,自動レポート生成のための変分トピック推論を提案する。
論文 参考訳(メタデータ) (2021-07-15T13:34:38Z) - Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report
Generation [107.3538598876467]
放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。
ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
論文 参考訳(メタデータ) (2020-06-06T01:00:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。