論文の概要: ChEX: Interactive Localization and Region Description in Chest X-rays
- arxiv url: http://arxiv.org/abs/2404.15770v1
- Date: Wed, 24 Apr 2024 09:44:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 19:40:12.061740
- Title: ChEX: Interactive Localization and Region Description in Chest X-rays
- Title(参考訳): ChEX:胸部X線におけるインタラクティブな局在と領域記述
- Authors: Philip Müller, Georgios Kaissis, Daniel Rueckert,
- Abstract要約: レポート生成モデルは、胸部X線のような医療画像の微細なテキスト解釈を提供する。
レポート生成モデルは、しばしば相互作用性(すなわち、ユーザクエリを通じて生成プロセスをステアリングする能力)と局所的解釈可能性に欠ける。
解剖学的領域や病理などの多様な側面を対象としたテキストプロンプトとバウンディングボックスを統合した,新しいマルチタスクアーキテクチャとトレーニングパラダイムを提案する。
- 参考スコア(独自算出の注目度): 15.57447423062306
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Report generation models offer fine-grained textual interpretations of medical images like chest X-rays, yet they often lack interactivity (i.e. the ability to steer the generation process through user queries) and localized interpretability (i.e. visually grounding their predictions), which we deem essential for future adoption in clinical practice. While there have been efforts to tackle these issues, they are either limited in their interactivity by not supporting textual queries or fail to also offer localized interpretability. Therefore, we propose a novel multitask architecture and training paradigm integrating textual prompts and bounding boxes for diverse aspects like anatomical regions and pathologies. We call this approach the Chest X-Ray Explainer (ChEX). Evaluations across a heterogeneous set of 9 chest X-ray tasks, including localized image interpretation and report generation, showcase its competitiveness with SOTA models while additional analysis demonstrates ChEX's interactive capabilities.
- Abstract(参考訳): レポート生成モデルは、胸部X線のような医療画像のきめ細かいテキスト解釈を提供するが、対話性(すなわち、ユーザクエリを通じて生成プロセスを操る能力)と局所的解釈可能性(すなわち、その予測を視覚的に根拠づけること)が欠如していることが多い。
これらの問題に対処する努力はあったが、テキストクエリをサポートしない、あるいはローカライズされた解釈性を提供しないなど、対話性に制限がある。
そこで本研究では,解剖学的領域や病理などの多様な側面を対象としたテキストプロンプトとバウンディングボックスを統合した,新しいマルチタスクアーキテクチャとトレーニングパラダイムを提案する。
このアプローチをChest X-Ray Explainer (ChEX)と呼ぶ。
画像のローカライズされた解釈やレポート生成を含む9つの胸部X線タスクの不均一なセットに対する評価は、SOTAモデルとの競合性を示し、さらなる分析はChEXのインタラクティブ機能を示している。
関連論文リスト
- XrayGPT: Chest Radiographs Summarization using Medical Vision-Language
Models [60.437091462613544]
我々は,会話型医療ビジョン言語モデルであるXrayGPTを紹介する。
胸部X線写真に関するオープンエンドの質問を分析し、答えることができる。
自由テキストラジオグラフィーレポートから217kの対話的かつ高品質な要約を生成する。
論文 参考訳(メタデータ) (2023-06-13T17:59:59Z) - Local Contrastive Learning for Medical Image Recognition [0.0]
Local Region Contrastive Learning(LRCLR)は、画像領域の選択と相互モダリティの相互作用のためのレイヤを追加するフレキシブルな微調整フレームワークである。
胸部X線検査の結果から,LRCLRは重要な局所画像領域を同定し,放射線学的テキストに対して有意義な解釈を提供する可能性が示唆された。
論文 参考訳(メタデータ) (2023-03-24T17:04:26Z) - Medical Image Captioning via Generative Pretrained Transformers [57.308920993032274]
我々は、Show-Attend-Tell と GPT-3 という2つの言語モデルを組み合わせて、包括的で記述的な放射線学記録を生成する。
提案モデルは、Open-I、MIMIC-CXR、汎用MS-COCOの2つの医療データセットで検証される。
論文 参考訳(メタデータ) (2022-09-28T10:27:10Z) - CheXRelNet: An Anatomy-Aware Model for Tracking Longitudinal
Relationships between Chest X-Rays [2.9212099078191764]
我々は2つの胸部X線間の縦断的病理変化関係を追跡できる神経モデルであるCheXRelNetを提案する。
CheXRelNetは、ローカルおよびグローバルな視覚機能を導入し、画像内および画像内解剖情報を使用し、解剖学的領域属性間の依存関係を学習する。
論文 参考訳(メタデータ) (2022-08-08T02:22:09Z) - Generative Residual Attention Network for Disease Detection [51.60842580044539]
本稿では, 条件付き生成逆学習を用いたX線疾患発生のための新しいアプローチを提案する。
我々は,患者の身元を保存しながら,対象領域に対応する放射線画像を生成する。
次に、ターゲット領域で生成されたX線画像を用いてトレーニングを増強し、検出性能を向上させる。
論文 参考訳(メタデータ) (2021-10-25T14:15:57Z) - Variational Topic Inference for Chest X-Ray Report Generation [102.04931207504173]
医療画像のレポート生成は、作業負荷を減らし、臨床実習における診断を支援することを約束する。
近年の研究では、ディープラーニングモデルが自然画像のキャプションに成功していることが示された。
本稿では,自動レポート生成のための変分トピック推論を提案する。
論文 参考訳(メタデータ) (2021-07-15T13:34:38Z) - Cross-Modal Contrastive Learning for Abnormality Classification and
Localization in Chest X-rays with Radiomics using a Feedback Loop [63.81818077092879]
医療画像のためのエンドツーエンドのセミスーパーバイスドクロスモーダルコントラスト学習フレームワークを提案する。
まず、胸部X線を分類し、画像特徴を生成するために画像エンコーダを適用する。
放射能の特徴は別の専用エンコーダを通過し、同じ胸部x線から生成された画像の特徴の正のサンプルとして機能する。
論文 参考訳(メタデータ) (2021-04-11T09:16:29Z) - Cross Chest Graph for Disease Diagnosis with Structural Relational
Reasoning [2.7148274921314615]
X線画像のコンピュータ診断において位置病変は重要である。
一般に弱教師付き手法はX線像の特性を考慮できなかった。
自動病変検出の性能を向上させるCross-chest Graph (CCG)を提案する。
論文 参考訳(メタデータ) (2021-01-22T08:24:04Z) - Contralaterally Enhanced Networks for Thoracic Disease Detection [120.60868136876599]
胸骨、肺野、気管支管など、胸部左右に類似した構造が多数存在する。
このような類似性は、広義の放射線学者の経験から、胸部X線における疾患の同定に利用することができる。
本稿では,病状提案の特徴表現を強化するために,対向的コンテキスト情報を活用するディープ・エンド・ツー・エンド・モジュールを提案する。
論文 参考訳(メタデータ) (2020-10-09T10:15:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。