論文の概要: WoLF: Large Language Model Framework for CXR Understanding

• arxiv url: http://arxiv.org/abs/2403.15456v1
• Date: Tue, 19 Mar 2024 06:39:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 22:41:56.567479
• Title: WoLF: Large Language Model Framework for CXR Understanding
• Title（参考訳）: WoLF: CXR理解のための大規模言語モデルフレームワーク
• Authors: Seil Kang, Donghyun Kim, Junhyeok Kim, Hyo Kyung Lee, Seong Jae Hwang,
• Abstract要約: 胸部X線理解のための広スコープ大言語モデルフレームワークを提案する。 実際の臨床シナリオにおける正確な診断に利用される多面的患者の記録を収集する。
• 参考スコア（独自算出の注目度）: 8.265578494822087
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Significant methodological strides have been made toward Chest X-ray (CXR) understanding via modern vision-language models (VLMs), demonstrating impressive Visual Question Answering (VQA) and CXR report generation abilities. However, existing CXR understanding frameworks still possess several procedural caveats. (1) Previous methods solely use CXR reports, which are insufficient for comprehensive Visual Question Answering (VQA), especially when additional health-related data like medication history and prior diagnoses are needed. (2) Previous methods use raw CXR reports, which are often arbitrarily structured. While modern language models can understand various text formats, restructuring reports for clearer, organized anatomy-based information could enhance their usefulness. (3) Current evaluation methods for CXR-VQA primarily emphasize linguistic correctness, lacking the capability to offer nuanced assessments of the generated answers. In this work, to address the aforementioned caveats, we introduce WoLF, a Wide-scope Large Language Model Framework for CXR understanding. To resolve (1), we capture multi-faceted records of patients, which are utilized for accurate diagnoses in real-world clinical scenarios. Specifically, we adopt the Electronic Health Records (EHR) to generate instruction-following data suited for CXR understanding. Regarding (2), we enhance report generation performance by decoupling knowledge in CXR reports based on anatomical structure even within the attention step via masked attention. To address (3), we introduce an AI-evaluation protocol optimized for assessing the capabilities of LLM. Through extensive experimental validations, WoLF demonstrates superior performance over other models on MIMIC-CXR in the AI-evaluation arena about VQA (up to +9.47%p mean score) and by metrics about report generation (+7.3%p BLEU-1).
• Abstract（参考訳）: 最新の視覚言語モデル(VLM)による胸部X線(CXR)の理解に向けた重要な手法が開発され、視覚質問応答(VQA)とCXRレポート生成能力が目覚ましい。 しかし、既存のCXR理解フレームワークには、手続き上の注意事項がいくつか残っている。 1) 総合的視覚質問応答 (VQA) には不十分なCXRレポートのみを使用する従来手法では, 薬物歴や先行診断などの健康関連データが必要であった。 2) 従来の手法では生のCXRレポートを使用しており, 任意に構造化されることが多い。 現代の言語モデルは、様々なテキスト形式を理解できるが、より明確で組織化された解剖学的情報のためのレポートの再構築は、それらの有用性を高めることができる。 3) CXR-VQAの現在の評価手法は, 主に言語的正当性を重視しており, 生成した回答の微妙な評価を行う能力は欠如している。 本稿では,CXR理解のための広スコープ大言語モデルフレームワークであるWoLFを紹介する。 1) 実際の臨床シナリオにおいて, 正確な診断に利用される多面的な患者の記録を収集する。 具体的には、電子健康記録(EHR)を用いて、CXR理解に適した指示追従データを生成する。 2)CXRレポートでは,注意ステップ内においても注意を隠蔽して,解剖学的構造に基づく知識の疎結合化によるレポート生成性能の向上が図られている。 (3)に対処するため,LLMの性能評価に最適化されたAI評価プロトコルを提案する。 大規模な実験的検証を通じて、WoLFはVQA(平均スコア+9.47%まで)とレポート生成(+7.3%p BLEU-1まで)に関するAI評価領域におけるMIMIC-CXRの他のモデルよりも優れた性能を示す。

関連論文リスト

• CXR-Agent: Vision-language models for chest X-ray interpretation with uncertainty aware radiology reporting [0.0]
  胸部X線解釈のための基礎的視覚言語モデルとして, 一般に公開されている技術の現状を評価した。 視覚言語モデルは、しばしば自信のある言語と幻覚し、臨床解釈を遅くする。 我々は,CheXagentの線形プローブとBioViL-Tのフレーズグラウンドティングツールを用いて,エージェントベースの視覚言語によるレポート生成手法を開発した。
  論文  参考訳（メタデータ） (2024-07-11T18:39:19Z)
• CheXagent: Towards a Foundation Model for Chest X-Ray Interpretation [21.31741755127183]
  胸部X線 (CXRs) は, 臨床検査において最も頻度の高い画像検査である。 近年,視覚言語基礎モデル(FM)の開発が進み,CXRの自動解釈が可能になった。
  論文  参考訳（メタデータ） (2024-01-22T18:51:07Z)
• Longitudinal Data and a Semantic Similarity Reward for Chest X-Ray Report Generation [7.586632627817609]
  放射線学者は、解釈と報告を必要とする胸部X線(CXR)の量の増加のために、高いバーンアウト率に直面している。 提案するCXRレポートジェネレータは,ワークフローの要素を統合し,強化学習のための新たな報酬を導入する。 本研究の結果から, 提案モデルでは, 最新技術モデルよりも, 放射線学者の報告に適合した報告が生成されることがわかった。
  論文  参考訳（メタデータ） (2023-07-19T05:41:14Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Dynamic Graph Enhanced Contrastive Learning for Chest X-ray Report Generation [92.73584302508907]
  コントラスト学習を用いた医療レポート作成を支援するために,動的構造とノードを持つ知識グラフを提案する。 詳しくは、グラフの基本構造は一般知識から事前構築される。 各イメージ機能は、レポート生成のためにデコーダモジュールに入力する前に、独自の更新グラフに統合される。
  論文  参考訳（メタデータ） (2023-03-18T03:53:43Z)
• Medical Image Captioning via Generative Pretrained Transformers [57.308920993032274]
  我々は、Show-Attend-Tell と GPT-3 という2つの言語モデルを組み合わせて、包括的で記述的な放射線学記録を生成する。 提案モデルは、Open-I、MIMIC-CXR、汎用MS-COCOの2つの医療データセットで検証される。
  論文  参考訳（メタデータ） (2022-09-28T10:27:10Z)
• Improving Radiology Report Generation Systems by Removing Hallucinated References to Non-existent Priors [1.1110995501996481]
  本稿では,放射線学報告における過去の文献参照を除去する2つの方法を提案する。 GPT-3をベースとした少数ショットによる医療報告の書き直し手法と,BioBERTをベースとしたトークン分類手法により,先行参照語を直接削除する手法である。 CXR-ReDonEと呼ばれる再学習モデルでは,臨床測定値に対する従来のレポート生成手法を上回り,平均BERTSスコア0.2351(絶対改善率2.57%)を達成した。
  論文  参考訳（メタデータ） (2022-09-27T00:44:41Z)
• Cross-modal Clinical Graph Transformer for Ophthalmic Report Generation [116.87918100031153]
  眼科報告生成(ORG)のためのクロスモーダルな臨床グラフ変換器(CGT)を提案する。 CGTは、デコード手順を駆動する事前知識として、臨床関係を視覚特徴に注入する。 大規模FFA-IRベンチマークの実験は、提案したCGTが従来のベンチマーク手法より優れていることを示した。
  論文  参考訳（メタデータ） (2022-06-04T13:16:30Z)
• Improving Classification Model Performance on Chest X-Rays through Lung Segmentation [63.45024974079371]
  本稿では, セグメンテーションによる異常胸部X線(CXR)識別性能を向上させるための深層学習手法を提案する。 提案手法は,CXR画像中の肺領域を局所化するための深層ニューラルネットワーク(XLSor)と,大規模CXRデータセットで事前学習した自己教師あり運動量コントラスト(MoCo)モデルのバックボーンを用いたCXR分類モデルである。
  論文  参考訳（メタデータ） (2022-02-22T15:24:06Z)
• Radiology Report Generation with a Learned Knowledge Base and Multi-modal Alignment [27.111857943935725]
  胸部X線からのレポート生成のための自動マルチモーダルアプローチを提案する。 本手法は,学習知識ベースとマルチモーダルアライメントの2つの異なるモジュールを特徴とする。 両モジュールの助けを借りて、我々のアプローチは明らかに最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2021-12-30T10:43:56Z)
• Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report Generation [107.3538598876467]
  放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。 ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
  論文  参考訳（メタデータ） (2020-06-06T01:00:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。