論文の概要: LIMITR: Leveraging Local Information for Medical Image-Text
Representation
- arxiv url: http://arxiv.org/abs/2303.11755v1
- Date: Tue, 21 Mar 2023 11:20:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-22 15:25:39.257444
- Title: LIMITR: Leveraging Local Information for Medical Image-Text
Representation
- Title(参考訳): LIMITR: 医用画像テキスト表現のためのローカル情報を活用する
- Authors: Gefen Dawidowicz, Elad Hirsch, Ayellet Tal
- Abstract要約: 胸部X線画像とそれに対応する放射線学的報告に焦点を当てた。
共同X線画像とレポート表現を学習する新しいモデルを提案する。
- 参考スコア(独自算出の注目度): 17.102338932907294
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Medical imaging analysis plays a critical role in the diagnosis and treatment
of various medical conditions. This paper focuses on chest X-ray images and
their corresponding radiological reports. It presents a new model that learns a
joint X-ray image & report representation. The model is based on a novel
alignment scheme between the visual data and the text, which takes into account
both local and global information. Furthermore, the model integrates
domain-specific information of two types -- lateral images and the consistent
visual structure of chest images. Our representation is shown to benefit three
types of retrieval tasks: text-image retrieval, class-based retrieval, and
phrase-grounding.
- Abstract(参考訳): 画像診断は様々な疾患の診断と治療において重要な役割を担っている。
胸部X線画像とそれに対応する放射線学的報告に焦点を当てた。
共同X線画像とレポート表現を学習する新しいモデルを提案する。
このモデルは、ローカル情報とグローバル情報の両方を考慮に入れた、視覚データとテキストの間の新しいアライメントスキームに基づいている。
さらに、モデルでは、側方画像と胸部画像の一貫した視覚構造という、2つのタイプのドメイン固有情報を統合する。
我々の表現は,テキストイメージ検索,クラスベース検索,フレーズグラウンドという3種類の検索タスクに有効であることが示されている。
関連論文リスト
- Unified Medical Image Pre-training in Language-Guided Common Semantic
Space [41.10756702551621]
我々はUnified Medical Image Pre-Trainingフレームワーク(UniMedI)を提案する。
UniMedIは、診断レポートを一般的な意味空間として使用し、医療画像の多様なモダリティの統一表現を作成する。
10種類のデータセットにまたがる2次元画像と3次元画像の性能評価を行った。
論文 参考訳(メタデータ) (2023-11-24T22:01:12Z) - XrayGPT: Chest Radiographs Summarization using Medical Vision-Language
Models [60.437091462613544]
我々は,会話型医療ビジョン言語モデルであるXrayGPTを紹介する。
胸部X線写真に関するオープンエンドの質問を分析し、答えることができる。
自由テキストラジオグラフィーレポートから217kの対話的かつ高品質な要約を生成する。
論文 参考訳(メタデータ) (2023-06-13T17:59:59Z) - Vision-Language Modelling For Radiological Imaging and Reports In The
Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。
本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。
テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文 参考訳(メタデータ) (2023-03-30T18:20:00Z) - Cyclic Generative Adversarial Networks With Congruent Image-Report
Generation For Explainable Medical Image Analysis [5.6512908295414]
医用画像の説明可能なラベリングと解釈のための新しい枠組みを提案する。
本研究の目的は、胸部X線画像を診断するモデルの出力について、信頼できる、忠実な説明を生成することである。
論文 参考訳(メタデータ) (2022-11-16T12:41:21Z) - Multi-Granularity Cross-modal Alignment for Generalized Medical Visual
Representation Learning [24.215619918283462]
本報告では, 医用画像の表現を直接学習するための新しい枠組みについて述べる。
本フレームワークは,医用画像と放射線学レポートの自然に現れる意味的対応を3段階に分けて活用する。
論文 参考訳(メタデータ) (2022-10-12T09:31:39Z) - Medical Image Captioning via Generative Pretrained Transformers [57.308920993032274]
我々は、Show-Attend-Tell と GPT-3 という2つの言語モデルを組み合わせて、包括的で記述的な放射線学記録を生成する。
提案モデルは、Open-I、MIMIC-CXR、汎用MS-COCOの2つの医療データセットで検証される。
論文 参考訳(メタデータ) (2022-09-28T10:27:10Z) - Generative Residual Attention Network for Disease Detection [51.60842580044539]
本稿では, 条件付き生成逆学習を用いたX線疾患発生のための新しいアプローチを提案する。
我々は,患者の身元を保存しながら,対象領域に対応する放射線画像を生成する。
次に、ターゲット領域で生成されたX線画像を用いてトレーニングを増強し、検出性能を向上させる。
論文 参考訳(メタデータ) (2021-10-25T14:15:57Z) - Variational Topic Inference for Chest X-Ray Report Generation [102.04931207504173]
医療画像のレポート生成は、作業負荷を減らし、臨床実習における診断を支援することを約束する。
近年の研究では、ディープラーニングモデルが自然画像のキャプションに成功していることが示された。
本稿では,自動レポート生成のための変分トピック推論を提案する。
論文 参考訳(メタデータ) (2021-07-15T13:34:38Z) - Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report
Generation [107.3538598876467]
放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。
ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
論文 参考訳(メタデータ) (2020-06-06T01:00:15Z) - Show, Describe and Conclude: On Exploiting the Structure Information of
Chest X-Ray Reports [5.6070625920019825]
胸部X線像(CXR)は臨床検診や診断に一般的に用いられる。
レポートのセクションと内部の複雑な構造は、自動レポート生成に大きな課題をもたらします。
本稿では,CXRイメージングレポートを生成するために,レポートセクション間の構造情報を利用する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2020-04-26T02:29:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。