論文の概要: ELIXR: Towards a general purpose X-ray artificial intelligence system through alignment of large language models and radiology vision encoders

• arxiv url: http://arxiv.org/abs/2308.01317v2
• Date: Thu, 7 Sep 2023 23:07:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-09-11 17:34:32.762965
• Title: ELIXR: Towards a general purpose X-ray artificial intelligence system through alignment of large language models and radiology vision encoders
• Title（参考訳）: ELIXR:大規模言語モデルと放射線ビジョンエンコーダのアライメントによる汎用X線人工知能システムを目指して
• Abstract要約: 言語/画像対応X線(ELIXR)の埋め込み手法として,胸部X線タスクを広範囲に行う手法を提案する。 ELIXRはゼロショット胸部X線分類(CXR)で最先端の性能を達成した。 ELIXRはまた、CXRの視覚言語タスクを約束し、視覚的質問応答と報告品質保証タスクで58.7%と62.5%の精度を示した。
• 参考スコア（独自算出の注目度）: 16.86405732921508
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we present an approach, which we call Embeddings for Language/Image-aligned X-Rays, or ELIXR, that leverages a language-aligned image encoder combined or grafted onto a fixed LLM, PaLM 2, to perform a broad range of chest X-ray tasks. We train this lightweight adapter architecture using images paired with corresponding free-text radiology reports from the MIMIC-CXR dataset. ELIXR achieved state-of-the-art performance on zero-shot chest X-ray (CXR) classification (mean AUC of 0.850 across 13 findings), data-efficient CXR classification (mean AUCs of 0.893 and 0.898 across five findings (atelectasis, cardiomegaly, consolidation, pleural effusion, and pulmonary edema) for 1% (~2,200 images) and 10% (~22,000 images) training data), and semantic search (0.76 normalized discounted cumulative gain (NDCG) across nineteen queries, including perfect retrieval on twelve of them). Compared to existing data-efficient methods including supervised contrastive learning (SupCon), ELIXR required two orders of magnitude less data to reach similar performance. ELIXR also showed promise on CXR vision-language tasks, demonstrating overall accuracies of 58.7% and 62.5% on visual question answering and report quality assurance tasks, respectively. These results suggest that ELIXR is a robust and versatile approach to CXR AI.
• Abstract（参考訳）: 本研究では,言語/画像対応X線エンコーダを固定LLM, PaLM 2に組み合わせて, 広範囲の胸部X線処理を行うEmbddings for Language/Image-aligned X-rays(ELIXR)を提案する。 我々は、MIMIC-CXRデータセットからの対応する自由テキストラジオグラフィーレポートと組み合わせた画像を用いて、この軽量アダプタアーキテクチャを訓練する。 ELIXR achieved state-of-the-art performance on zero-shot chest X-ray (CXR) classification (mean AUC of 0.850 across 13 findings), data-efficient CXR classification (mean AUCs of 0.893 and 0.898 across five findings (atelectasis, cardiomegaly, consolidation, pleural effusion, and pulmonary edema) for 1% (~2,200 images) and 10% (~22,000 images) training data), and semantic search (0.76 normalized discounted cumulative gain (NDCG) across nineteen queries, including perfect retrieval on twelve of them). 教師付きコントラスト学習(supcon:supervised contrastive learning)を含む既存のデータ効率のよい方法と比較して、elixrは同等の性能に達するのに2桁少ないデータを必要とした。 ELIXRはまた、CXRの視覚言語タスクを約束し、視覚的質問応答と報告品質保証タスクでそれぞれ58.7%と62.5%の精度を示した。 これらの結果はelixrがcxr aiに対する堅牢で多用途なアプローチであることを示唆している。

関連論文リスト

• Radiology Report Generation with Layer-Wise Anatomical Attention [35.18016233072556]
  我々は胸部X線レポートのFinderingsセクションを生成するコンパクトな画像からテキストへのアーキテクチャを提案する。 このモデルは凍結した自己蒸留とNo Labels v3 (DINOv3) Vision Transformer (ViT)エンコーダとGenerative Pre-trained Transformer 2 (GPT-2)デコーダを組み合わせたものである。
  論文  参考訳（メタデータ） (2025-12-18T18:17:57Z)
• Advanced Chest X-Ray Analysis via Transformer-Based Image Descriptors and Cross-Model Attention Mechanism [2.186901738997927]
  本研究では、視覚変換器(ViT)エンコーダと、GPT-4ベースのトランスフォーマーデコーダを統合した新しい画像記述生成モデルを提案する。 このモデルは、国立衛生研究所(NIH)とインディアナ大学(IU)のチェストX線データセットでテストされた。
  論文  参考訳（メタデータ） (2025-04-23T14:46:10Z)
• Enhancing zero-shot learning in medical imaging: integrating clip with advanced techniques for improved chest x-ray analysis [3.4916237834391874]
  CLIP(Contrastive Language- Image Pre-Training)をMomentum Contrast(MoCo)と統合することにより、医用画像におけるゼロショット学習の強化に向けた既存のアプローチを拡張した。 本手法は, クラス不均衡データセットとラベルなしデータセットによる課題に対処し, 肺病変の検出精度の向上を実現する。
  論文  参考訳（メタデータ） (2025-03-17T12:59:34Z)
• RadIR: A Scalable Framework for Multi-Grained Medical Image Retrieval via Radiology Report Mining [64.66825253356869]
  本稿では,複数の粒度で画像の類似度を決定するために,高密度ラジオロジーレポートを利用した新しい手法を提案する。 我々は、胸部X線用MIMIC-IRとCTスキャン用CTRATE-IRの2つの総合的な医用画像検索データセットを構築した。 RadIR-CXR と Model-ChestCT という2つの検索システムを開発し,従来の画像画像検索と画像レポート検索に優れた性能を示す。
  論文  参考訳（メタデータ） (2025-03-06T17:43:03Z)
• Fine-Grained Image-Text Alignment in Medical Imaging Enables Explainable Cyclic Image-Report Generation [91.63262242041695]
  本稿では,胸部X線画像領域と医療報告における単語を関連付けるために,適応パッチワードマッチング(AdaMatch)モデルを提案する。 AdaMatchは、適応パッチと単語のきめ細かい関係を利用して、対応する単語で特定の画像領域の説明を提供する。 CXRレポート生成タスクの明示的な説明性を提供するため,循環型CXRレポート生成のためのAdaMatchベースの双方向大言語モデルを提案する。
  論文  参考訳（メタデータ） (2023-12-13T11:47:28Z)
• CXR-LLAVA: a multimodal large language model for interpreting chest X-ray images [3.0757789554622597]
  本研究の目的は,胸部X線画像(CXR)を解釈するためのオープンソースのマルチモーダル大言語モデル(CXR-LLAVA)を開発することである。 トレーニングでは,592,580個のCXRを収集し,そのうち374,881個のX線写真異常のラベルが得られた。 主な病理所見に対する診断成績と,ヒト放射線技師による放射線学的報告の受容性について検討した。
  論文  参考訳（メタデータ） (2023-10-22T06:22:37Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Attention-based Saliency Maps Improve Interpretability of Pneumothorax Classification [52.77024349608834]
  視覚変換器(ViT)の胸部X線撮影(CXR)分類性能と注意ベース唾液の解釈可能性について検討する。 ViTは、CheXpert、Chest X-Ray 14、MIMIC CXR、VinBigDataの4つの公開データセットを用いて、肺疾患分類のために微調整された。 ViTsは最先端のCNNと比べてCXR分類AUCに匹敵するものであった。
  論文  参考訳（メタデータ） (2023-03-03T12:05:41Z)
• Optimising Chest X-Rays for Image Analysis by Identifying and Removing Confounding Factors [49.005337470305584]
  新型コロナウイルス(COVID-19)のパンデミック(パンデミック)の間、新型コロナウイルス(COVID-19)の診断のための緊急設定で実施される画像の量は、臨床用CXRの取得が広範囲に及んだ。 公開データセット内の臨床的に取得されたCXRの変動品質は、アルゴリズムのパフォーマンスに大きな影響を及ぼす可能性がある。 我々は、新型コロナウイルスの胸部X線データセットを前処理し、望ましくないバイアスを取り除くための、シンプルで効果的なステップワイズアプローチを提案する。
  論文  参考訳（メタデータ） (2022-08-22T13:57:04Z)
• COVID-19 Severity Classification on Chest X-ray Images [0.0]
  本研究は,感染の重症度に基づいて画像の分類を行う。 ResNet-50モデルは精度95%、リコール(0.94)、F1スコア(0.92)、精度(0.91)で顕著な分類結果を得た。
  論文  参考訳（メタデータ） (2022-05-25T12:01:03Z)
• COVID-Net CXR-2: An Enhanced Deep Convolutional Neural Network Design for Detection of COVID-19 Cases from Chest X-ray Images [58.35627258364233]
  RT-PCR検査への無料スクリーニング戦略として胸部X線(CXR)イメージングの使用は成長し続けています。 我々は、CXR画像からCOVID-19を検出するための深層畳み込みニューラルネットワーク設計であるCOVID-Net CXR-2を紹介する。 ベンチマークデータセットは、少なくとも51カ国16,656人の多国籍コホートから19,203個のCXR画像で構成された。
  論文  参考訳（メタデータ） (2021-05-14T04:29:21Z)
• Image Embedding and Model Ensembling for Automated Chest X-Ray Interpretation [0.0]
  我々は、自動胸部X線診断モデルを開発するための機械学習アプローチをいくつか提示および研究する。 特に,chexpertデータセット上で複数の畳み込みニューラルネットワーク(cnn)をトレーニングした。 学習したCNNを用いてCXR画像の埋め込みを計算し、2組のツリーベース分類器を訓練した。
  論文  参考訳（メタデータ） (2021-05-05T14:48:59Z)
• Chest x-ray automated triage: a semiologic approach designed for clinical implementation, exploiting different types of labels through a combination of four Deep Learning architectures [83.48996461770017]
  本研究では,異なる畳み込みアーキテクチャの後期融合に基づく深層学習手法を提案する。 公開胸部x線画像と機関アーカイブを組み合わせたトレーニングデータセットを4つ構築した。 4つの異なるディープラーニングアーキテクチャをトレーニングし、それらのアウトプットとレイトフュージョン戦略を組み合わせることで、統一されたツールを得ました。
  論文  参考訳（メタデータ） (2020-12-23T14:38:35Z)
• Chest X-ray Image Phase Features for Improved Diagnosis of COVID-19 Using Convolutional Neural Network [2.752817022620644]
  最近の研究で、新型コロナウイルス患者のX線写真には、新型コロナウイルスに関する情報が含まれていることが示されている。 胸部X線(CXR)は、高速な撮像時間、広範囲の可用性、低コスト、可搬性から注目されている。 本研究では、CXR画像から新型コロナウイルスの分類を改善するために、新しい多機能畳み込みニューラルネットワーク(CNN)アーキテクチャを設計する。
  論文  参考訳（メタデータ） (2020-11-06T20:26:26Z)
• Fused Deep Convolutional Neural Network for Precision Diagnosis of COVID-19 Using Chest X-Ray Images [0.0]
  複数のニューラルネットワークを微調整することで、新型コロナウイルスと正常者の胸部X線スキャンを正確に分類するコンピュータ支援診断(CAD)を提案する。 k倍のクロスバリデーションとベージングアンサンブルを用いることで、99.7%の精度と100%の感度が得られる。
  論文  参考訳（メタデータ） (2020-09-15T02:27:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。