論文の概要: ELIXR: Towards a general purpose X-ray artificial intelligence system through alignment of large language models and radiology vision encoders

• arxiv url: http://arxiv.org/abs/2308.01317v2
• Date: Thu, 7 Sep 2023 23:07:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-11 17:34:32.762965
• Title: ELIXR: Towards a general purpose X-ray artificial intelligence system through alignment of large language models and radiology vision encoders
• Title（参考訳）: ELIXR:大規模言語モデルと放射線ビジョンエンコーダのアライメントによる汎用X線人工知能システムを目指して
• Authors: Shawn Xu, Lin Yang, Christopher Kelly, Marcin Sieniek, Timo Kohlberger, Martin Ma, Wei-Hung Weng, Atilla Kiraly, Sahar Kazemzadeh, Zakkai Melamed, Jungyeon Park, Patricia Strachan, Yun Liu, Chuck Lau, Preeti Singh, Christina Chen, Mozziyar Etemadi, Sreenivasa Raju Kalidindi, Yossi Matias, Katherine Chou, Greg S. Corrado, Shravya Shetty, Daniel Tse, Shruthi Prabhakara, Daniel Golden, Rory Pilgrim, Krish Eswaran, Andrew Sellergren
• Abstract要約: 言語/画像対応X線(ELIXR)の埋め込み手法として,胸部X線タスクを広範囲に行う手法を提案する。 ELIXRはゼロショット胸部X線分類(CXR)で最先端の性能を達成した。 ELIXRはまた、CXRの視覚言語タスクを約束し、視覚的質問応答と報告品質保証タスクで58.7%と62.5%の精度を示した。
• 参考スコア（独自算出の注目度）: 16.86405732921508
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we present an approach, which we call Embeddings for Language/Image-aligned X-Rays, or ELIXR, that leverages a language-aligned image encoder combined or grafted onto a fixed LLM, PaLM 2, to perform a broad range of chest X-ray tasks. We train this lightweight adapter architecture using images paired with corresponding free-text radiology reports from the MIMIC-CXR dataset. ELIXR achieved state-of-the-art performance on zero-shot chest X-ray (CXR) classification (mean AUC of 0.850 across 13 findings), data-efficient CXR classification (mean AUCs of 0.893 and 0.898 across five findings (atelectasis, cardiomegaly, consolidation, pleural effusion, and pulmonary edema) for 1% (~2,200 images) and 10% (~22,000 images) training data), and semantic search (0.76 normalized discounted cumulative gain (NDCG) across nineteen queries, including perfect retrieval on twelve of them). Compared to existing data-efficient methods including supervised contrastive learning (SupCon), ELIXR required two orders of magnitude less data to reach similar performance. ELIXR also showed promise on CXR vision-language tasks, demonstrating overall accuracies of 58.7% and 62.5% on visual question answering and report quality assurance tasks, respectively. These results suggest that ELIXR is a robust and versatile approach to CXR AI.
• Abstract（参考訳）: 本研究では,言語/画像対応X線エンコーダを固定LLM, PaLM 2に組み合わせて, 広範囲の胸部X線処理を行うEmbddings for Language/Image-aligned X-rays(ELIXR)を提案する。 我々は、MIMIC-CXRデータセットからの対応する自由テキストラジオグラフィーレポートと組み合わせた画像を用いて、この軽量アダプタアーキテクチャを訓練する。 ELIXR achieved state-of-the-art performance on zero-shot chest X-ray (CXR) classification (mean AUC of 0.850 across 13 findings), data-efficient CXR classification (mean AUCs of 0.893 and 0.898 across five findings (atelectasis, cardiomegaly, consolidation, pleural effusion, and pulmonary edema) for 1% (~2,200 images) and 10% (~22,000 images) training data), and semantic search (0.76 normalized discounted cumulative gain (NDCG) across nineteen queries, including perfect retrieval on twelve of them). 教師付きコントラスト学習(supcon:supervised contrastive learning)を含む既存のデータ効率のよい方法と比較して、elixrは同等の性能に達するのに2桁少ないデータを必要とした。 ELIXRはまた、CXRの視覚言語タスクを約束し、視覚的質問応答と報告品質保証タスクでそれぞれ58.7%と62.5%の精度を示した。 これらの結果はelixrがcxr aiに対する堅牢で多用途なアプローチであることを示唆している。

関連論文リスト

• Fine-Grained Image-Text Alignment in Medical Imaging Enables Explainable Cyclic Image-Report Generation [91.63262242041695]
  本稿では,胸部X線画像領域と医療報告における単語を関連付けるために,適応パッチワードマッチング(AdaMatch)モデルを提案する。 AdaMatchは、適応パッチと単語のきめ細かい関係を利用して、対応する単語で特定の画像領域の説明を提供する。 CXRレポート生成タスクの明示的な説明性を提供するため,循環型CXRレポート生成のためのAdaMatchベースの双方向大言語モデルを提案する。
  論文  参考訳（メタデータ） (2023-12-13T11:47:28Z)
• CXR-LLAVA: a multimodal large language model for interpreting chest X-ray images [3.0757789554622597]
  本研究の目的は,胸部X線画像(CXR)を解釈するためのオープンソースのマルチモーダル大言語モデル(CXR-LLAVA)を開発することである。 トレーニングでは,592,580個のCXRを収集し,そのうち374,881個のX線写真異常のラベルが得られた。 主な病理所見に対する診断成績と,ヒト放射線技師による放射線学的報告の受容性について検討した。
  論文  参考訳（メタデータ） (2023-10-22T06:22:37Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Attention-based Saliency Maps Improve Interpretability of Pneumothorax Classification [52.77024349608834]
  視覚変換器(ViT)の胸部X線撮影(CXR)分類性能と注意ベース唾液の解釈可能性について検討する。 ViTは、CheXpert、Chest X-Ray 14、MIMIC CXR、VinBigDataの4つの公開データセットを用いて、肺疾患分類のために微調整された。 ViTsは最先端のCNNと比べてCXR分類AUCに匹敵するものであった。
  論文  参考訳（メタデータ） (2023-03-03T12:05:41Z)
• Optimising Chest X-Rays for Image Analysis by Identifying and Removing Confounding Factors [49.005337470305584]
  新型コロナウイルス(COVID-19)のパンデミック(パンデミック)の間、新型コロナウイルス(COVID-19)の診断のための緊急設定で実施される画像の量は、臨床用CXRの取得が広範囲に及んだ。 公開データセット内の臨床的に取得されたCXRの変動品質は、アルゴリズムのパフォーマンスに大きな影響を及ぼす可能性がある。 我々は、新型コロナウイルスの胸部X線データセットを前処理し、望ましくないバイアスを取り除くための、シンプルで効果的なステップワイズアプローチを提案する。
  論文  参考訳（メタデータ） (2022-08-22T13:57:04Z)
• COVID-19 Severity Classification on Chest X-ray Images [0.0]
  本研究は,感染の重症度に基づいて画像の分類を行う。 ResNet-50モデルは精度95%、リコール(0.94)、F1スコア(0.92)、精度(0.91)で顕著な分類結果を得た。
  論文  参考訳（メタデータ） (2022-05-25T12:01:03Z)
• COVID-Net CXR-2: An Enhanced Deep Convolutional Neural Network Design for Detection of COVID-19 Cases from Chest X-ray Images [58.35627258364233]
  RT-PCR検査への無料スクリーニング戦略として胸部X線(CXR)イメージングの使用は成長し続けています。 我々は、CXR画像からCOVID-19を検出するための深層畳み込みニューラルネットワーク設計であるCOVID-Net CXR-2を紹介する。 ベンチマークデータセットは、少なくとも51カ国16,656人の多国籍コホートから19,203個のCXR画像で構成された。
  論文  参考訳（メタデータ） (2021-05-14T04:29:21Z)
• Image Embedding and Model Ensembling for Automated Chest X-Ray Interpretation [0.0]
  我々は、自動胸部X線診断モデルを開発するための機械学習アプローチをいくつか提示および研究する。 特に,chexpertデータセット上で複数の畳み込みニューラルネットワーク(cnn)をトレーニングした。 学習したCNNを用いてCXR画像の埋め込みを計算し、2組のツリーベース分類器を訓練した。
  論文  参考訳（メタデータ） (2021-05-05T14:48:59Z)
• Chest x-ray automated triage: a semiologic approach designed for clinical implementation, exploiting different types of labels through a combination of four Deep Learning architectures [83.48996461770017]
  本研究では,異なる畳み込みアーキテクチャの後期融合に基づく深層学習手法を提案する。 公開胸部x線画像と機関アーカイブを組み合わせたトレーニングデータセットを4つ構築した。 4つの異なるディープラーニングアーキテクチャをトレーニングし、それらのアウトプットとレイトフュージョン戦略を組み合わせることで、統一されたツールを得ました。
  論文  参考訳（メタデータ） (2020-12-23T14:38:35Z)
• Chest X-ray Image Phase Features for Improved Diagnosis of COVID-19 Using Convolutional Neural Network [2.752817022620644]
  最近の研究で、新型コロナウイルス患者のX線写真には、新型コロナウイルスに関する情報が含まれていることが示されている。 胸部X線(CXR)は、高速な撮像時間、広範囲の可用性、低コスト、可搬性から注目されている。 本研究では、CXR画像から新型コロナウイルスの分類を改善するために、新しい多機能畳み込みニューラルネットワーク(CNN)アーキテクチャを設計する。
  論文  参考訳（メタデータ） (2020-11-06T20:26:26Z)
• Fused Deep Convolutional Neural Network for Precision Diagnosis of COVID-19 Using Chest X-Ray Images [0.0]
  複数のニューラルネットワークを微調整することで、新型コロナウイルスと正常者の胸部X線スキャンを正確に分類するコンピュータ支援診断(CAD)を提案する。 k倍のクロスバリデーションとベージングアンサンブルを用いることで、99.7%の精度と100%の感度が得られる。
  論文  参考訳（メタデータ） (2020-09-15T02:27:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。