Fugu-MT 論文翻訳(概要): LIMITR: Leveraging Local Information for Medical Image-Text Representation

論文の概要: LIMITR: Leveraging Local Information for Medical Image-Text Representation

arxiv url: http://arxiv.org/abs/2303.11755v1
Date: Tue, 21 Mar 2023 11:20:34 GMT
ステータス: 処理完了
システム内更新日: 2023-03-22 15:25:39.257444
Title: LIMITR: Leveraging Local Information for Medical Image-Text Representation
Title（参考訳）: LIMITR: 医用画像テキスト表現のためのローカル情報を活用する
Authors: Gefen Dawidowicz, Elad Hirsch, Ayellet Tal
Abstract要約: 胸部X線画像とそれに対応する放射線学的報告に焦点を当てた。共同X線画像とレポート表現を学習する新しいモデルを提案する。
参考スコア（独自算出の注目度）: 17.102338932907294
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Medical imaging analysis plays a critical role in the diagnosis and treatment of various medical conditions. This paper focuses on chest X-ray images and their corresponding radiological reports. It presents a new model that learns a joint X-ray image & report representation. The model is based on a novel alignment scheme between the visual data and the text, which takes into account both local and global information. Furthermore, the model integrates domain-specific information of two types -- lateral images and the consistent visual structure of chest images. Our representation is shown to benefit three types of retrieval tasks: text-image retrieval, class-based retrieval, and phrase-grounding.
Abstract（参考訳）: 画像診断は様々な疾患の診断と治療において重要な役割を担っている。胸部X線画像とそれに対応する放射線学的報告に焦点を当てた。共同X線画像とレポート表現を学習する新しいモデルを提案する。このモデルは、ローカル情報とグローバル情報の両方を考慮に入れた、視覚データとテキストの間の新しいアライメントスキームに基づいている。さらに、モデルでは、側方画像と胸部画像の一貫した視覚構造という、2つのタイプのドメイン固有情報を統合する。我々の表現は,テキストイメージ検索,クラスベース検索,フレーズグラウンドという3種類の検索タスクに有効であることが示されている。

関連論文リスト

Unlocking the Power of Spatial and Temporal Information in Medical Multimodal Pre-training [99.2891802841936]
我々は,空間的・時間的微粒なモデリングのためのMed-STフレームワークを提案する。空間モデリングでは、Med-STはMixture of View Expert (MoVE)アーキテクチャを使用して、正面と横の両方のビューから異なる視覚的特徴を統合する。時間的モデリングのために,フォワードマッピング分類 (FMC) とリバースマッピング回帰 (RMR) による新たな双方向サイクル整合性目標を提案する。
論文参考訳（メタデータ） (2024-05-30T03:15:09Z)
Self-supervised vision-langage alignment of deep learning representations for bone X-rays analysis [53.809054774037214]
本稿では, 骨X線とフレンチレポートを組み合わせることで, 視覚言語による事前訓練を活用することを提案する。骨X線表現にまつわる埋め込み空間を形成するために、フランスの報告を統合する最初の研究である。
論文参考訳（メタデータ） (2024-05-14T19:53:20Z)
A Novel Corpus of Annotated Medical Imaging Reports and Information Extraction Results Using BERT-based Language Models [4.023338734079828]
医療画像は多くの健康状態の診断、監視、治療に重要である。放射線学者は、これらの複雑で非構造的なイメージを解釈し、ほとんど非構造的のままの物語報告を通じてその評価を明確にする。この非構造化の物語は、振り返り分析や臨床決定支援のような二次的な応用を促進するために、構造化された意味表現に変換されなければならない。
論文参考訳（メタデータ） (2024-03-27T19:43:45Z)
Unified Medical Image Pre-training in Language-Guided Common Semantic Space [39.61770813855078]
我々はUnified Medical Image Pre-Trainingフレームワーク(UniMedI)を提案する。 UniMedIは、診断レポートを一般的な意味空間として使用し、医療画像の多様なモダリティの統一表現を作成する。 10種類のデータセットにまたがる2次元画像と3次元画像の性能評価を行った。
論文参考訳（メタデータ） (2023-11-24T22:01:12Z)
Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文参考訳（メタデータ） (2023-03-30T18:20:00Z)
Cyclic Generative Adversarial Networks With Congruent Image-Report Generation For Explainable Medical Image Analysis [5.6512908295414]
医用画像の説明可能なラベリングと解釈のための新しい枠組みを提案する。本研究の目的は、胸部X線画像を診断するモデルの出力について、信頼できる、忠実な説明を生成することである。
論文参考訳（メタデータ） (2022-11-16T12:41:21Z)
Medical Image Captioning via Generative Pretrained Transformers [57.308920993032274]
我々は、Show-Attend-Tell と GPT-3 という2つの言語モデルを組み合わせて、包括的で記述的な放射線学記録を生成する。提案モデルは、Open-I、MIMIC-CXR、汎用MS-COCOの2つの医療データセットで検証される。
論文参考訳（メタデータ） (2022-09-28T10:27:10Z)
Variational Topic Inference for Chest X-Ray Report Generation [102.04931207504173]
医療画像のレポート生成は、作業負荷を減らし、臨床実習における診断を支援することを約束する。近年の研究では、ディープラーニングモデルが自然画像のキャプションに成功していることが示された。本稿では,自動レポート生成のための変分トピック推論を提案する。
論文参考訳（メタデータ） (2021-07-15T13:34:38Z)
Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report Generation [107.3538598876467]
放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。 ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
論文参考訳（メタデータ） (2020-06-06T01:00:15Z)
Show, Describe and Conclude: On Exploiting the Structure Information of Chest X-Ray Reports [5.6070625920019825]
胸部X線像(CXR)は臨床検診や診断に一般的に用いられる。レポートのセクションと内部の複雑な構造は、自動レポート生成に大きな課題をもたらします。本稿では,CXRイメージングレポートを生成するために,レポートセクション間の構造情報を利用する新しいフレームワークを提案する。
論文参考訳（メタデータ） (2020-04-26T02:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。