論文の概要: TiBiX: Leveraging Temporal Information for Bidirectional X-ray and Report Generation

• arxiv url: http://arxiv.org/abs/2403.13343v1
• Date: Wed, 20 Mar 2024 07:00:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 17:48:13.142486
• Title: TiBiX: Leveraging Temporal Information for Bidirectional X-ray and Report Generation
• Title（参考訳）: TiBiX:双方向X線とレポート生成のための時間情報を活用する
• Authors: Santosh Sanjeev, Fadillah Adamsyah Maani, Arsen Abzhanov, Vijay Ram Papineni, Ibrahim Almakky, Bartłomiej W. Papież, Mohammad Yaqub,
• Abstract要約: TiBiX:双方向X線とレポート生成のための時間情報を活用する。 双方向X線とレポート生成のための時間情報を活用するTiBiXを提案する。
• 参考スコア（独自算出の注目度）: 0.7381551917607596
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: With the emergence of vision language models in the medical imaging domain, numerous studies have focused on two dominant research activities: (1) report generation from Chest X-rays (CXR), and (2) synthetic scan generation from text or reports. Despite some research incorporating multi-view CXRs into the generative process, prior patient scans and reports have been generally disregarded. This can inadvertently lead to the leaving out of important medical information, thus affecting generation quality. To address this, we propose TiBiX: Leveraging Temporal information for Bidirectional X-ray and Report Generation. Considering previous scans, our approach facilitates bidirectional generation, primarily addressing two challenging problems: (1) generating the current image from the previous image and current report and (2) generating the current report based on both the previous and current images. Moreover, we extract and release a curated temporal benchmark dataset derived from the MIMIC-CXR dataset, which focuses on temporal data. Our comprehensive experiments and ablation studies explore the merits of incorporating prior CXRs and achieve state-of-the-art (SOTA) results on the report generation task. Furthermore, we attain on-par performance with SOTA image generation efforts, thus serving as a new baseline in longitudinal bidirectional CXR-to-report generation. The code is available at https://github.com/BioMedIA-MBZUAI/TiBiX.
• Abstract（参考訳）: 医用画像領域における視覚言語モデルの出現に伴い,(1)胸部X線(CXR)からの報告,(2)テキストやレポートからの合成スキャン生成の2つの主要な研究活動に焦点が当てられている。 マルチビューCXRを生成過程に組み込んだ研究もあるが、以前の患者スキャンや報告は一般的に無視されている。 これは必然的に重要な医療情報の流出につながり、それによって生成品質に影響を及ぼす。 そこで本研究では,TiBiX: 双方向X線とレポート生成のための時間情報を活用することを提案する。 提案手法は,従来の画像と現在のレポートから現在の画像を生成すること,および,以前の画像と現在の画像の両方に基づいて現在のレポートを生成すること,という2つの課題に対処する。 さらに、時間データに焦点を当てたMIMIC-CXRデータセットから得られた時間的ベンチマークデータセットを抽出し、リリースする。 本研究は, 従来のCXRを組み込んで, レポート生成作業におけるSOTA(State-of-the-art)の成果を実現することのメリットについて, 総合的な実験と合理化研究を行った。 さらに,SOTA画像生成によるオンパー性能を実現し,縦方向双方向CXR-to-Report生成における新たなベースラインとして機能する。 コードはhttps://github.com/BioMedIA-MBzuAI/TiBiXで公開されている。

関連論文リスト

• CXPMRG-Bench: Pre-training and Benchmarking for X-ray Medical Report Generation on CheXpert Plus Dataset [14.911363203907008]
  X線画像に基づく医療報告生成は、診断上の負担と患者待ち時間を著しく削減することができる。 我々は、CheXpert Plusデータセット上で、既存の主流X線レポート生成モデルと大規模言語モデル(LLM)の包括的なベンチマークを行う。 自己教師付き自己回帰生成やX線レポートによるコントラスト学習を含む,多段階事前学習戦略を用いたX線画像生成のための大規模モデルを提案する。
  論文  参考訳（メタデータ） (2024-10-01T04:07:01Z)
• MAIRA-2: Grounded Radiology Report Generation [39.7576903743788]
  放射線学報告は、詳細な画像理解、複数入力の統合、正確な言語生成を必要とする複雑なタスクである。 ここでは、画像上の個々の発見の局所化を含むレポート生成を拡張し、そのタスクをグラウンドドレポート生成と呼ぶ。 放射線学固有の画像エンコーダをLCMと組み合わせた大規模マルチモーダルモデルMAIRA-2を導入し,胸部X線に基づく新たな報告生成の課題を訓練した。
  論文  参考訳（メタデータ） (2024-06-06T19:12:41Z)
• ORGAN: Observation-Guided Radiology Report Generation via Tree Reasoning [9.316999438459794]
  観測誘導放射線学レポート生成フレームワーク(ORGAN)を提案する。 最初は観測計画を作成し、その後、レポート生成のための計画と電信の両方を供給している。 本フレームワークは,テキストの品質と臨床効果に関して,これまでの最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-06-10T15:36:04Z)
• Boosting Radiology Report Generation by Infusing Comparison Prior [7.054671146863795]
  近年の変圧器を用いたモデルでは胸部X線画像から放射線学レポートを生成するために大きな進歩を遂げている。 これらのモデルは、しばしば事前の知識を欠いているため、誤って存在しない事前試験を参照する合成レポートが生成される。 本稿では,ルールに基づくラベル付け手法を用いて,放射線学報告から先行情報を抽出する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-08T09:12:44Z)
• Dynamic Graph Enhanced Contrastive Learning for Chest X-ray Report Generation [92.73584302508907]
  コントラスト学習を用いた医療レポート作成を支援するために,動的構造とノードを持つ知識グラフを提案する。 詳しくは、グラフの基本構造は一般知識から事前構築される。 各イメージ機能は、レポート生成のためにデコーダモジュールに入力する前に、独自の更新グラフに統合される。
  論文  参考訳（メタデータ） (2023-03-18T03:53:43Z)
• Medical Image Captioning via Generative Pretrained Transformers [57.308920993032274]
  我々は、Show-Attend-Tell と GPT-3 という2つの言語モデルを組み合わせて、包括的で記述的な放射線学記録を生成する。 提案モデルは、Open-I、MIMIC-CXR、汎用MS-COCOの2つの医療データセットで検証される。
  論文  参考訳（メタデータ） (2022-09-28T10:27:10Z)
• AlignTransformer: Hierarchical Alignment of Visual Regions and Disease Tags for Medical Report Generation [50.21065317817769]
  本稿では,Align Hierarchical Attention (AHA)とMulti-Grained Transformer (MGT)モジュールを含むAlign Transformerフレームワークを提案する。 パブリックなIU-XrayとMIMIC-CXRデータセットの実験は、AlignTransformerが2つのデータセットの最先端メソッドと競合する結果が得られることを示している。
  論文  参考訳（メタデータ） (2022-03-18T13:43:53Z)
• Contrastive Attention for Automatic Chest X-ray Report Generation [124.60087367316531]
  ほとんどの場合、正常領域が胸部X線像全体を支配し、これらの正常領域の対応する記述が最終報告を支配している。 本稿では,現在の入力画像と通常の画像を比較してコントラスト情報を抽出するContrastive Attention(CA)モデルを提案する。 2つの公開データセットで最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-06-13T11:20:31Z)
• Exploring and Distilling Posterior and Prior Knowledge for Radiology Report Generation [55.00308939833555]
  PPKEDには、Posterior Knowledge Explorer (PoKE), Prior Knowledge Explorer (PrKE), Multi-domain Knowledge Distiller (MKD)の3つのモジュールが含まれている。 PoKEは後部知識を探求し、視覚データのバイアスを軽減するために明確な異常な視覚領域を提供する。 PrKEは、以前の医学知識グラフ(医学知識)と以前の放射線学レポート(作業経験)から以前の知識を探り、テキストデータのバイアスを軽減する。
  論文  参考訳（メタデータ） (2021-06-13T11:10:02Z)
• Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report Generation [107.3538598876467]
  放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。 ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
  論文  参考訳（メタデータ） (2020-06-06T01:00:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。