論文の概要: Improving Radiology Summarization with Radiograph and Anatomy Prompts

• arxiv url: http://arxiv.org/abs/2210.08303v1
• Date: Sat, 15 Oct 2022 14:05:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 15:44:31.534750
• Title: Improving Radiology Summarization with Radiograph and Anatomy Prompts
• Title（参考訳）: 放射線画像と解剖プロンプトによる放射線要約の改善
• Authors: Jinpeng Hu, Zhihong Chen, Yang Liu, Xiang Wan, Tsung-Hui Chang
• Abstract要約: 本稿では,印象生成を促進するために,新しい解剖学的拡張型マルチモーダルモデルを提案する。 より詳しくは、まず、解剖学を抽出する一連のルールを構築し、各文にこれらのプロンプトを配置し、解剖学的特徴を強調する。 コントラスト学習モジュールを用いて、これらの2つの表現を全体レベルで整列させ、コアテンションを用いて文レベルで融合させる。
• 参考スコア（独自算出の注目度）: 28.155503137401556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The impression is crucial for the referring physicians to grasp key information since it is concluded from the findings and reasoning of radiologists. To alleviate the workload of radiologists and reduce repetitive human labor in impression writing, many researchers have focused on automatic impression generation. However, recent works on this task mainly summarize the corresponding findings and pay less attention to the radiology images. In clinical, radiographs can provide more detailed valuable observations to enhance radiologists' impression writing, especially for complicated cases. Besides, each sentence in findings usually focuses on single anatomy, so they only need to be matched to corresponding anatomical regions instead of the whole image, which is beneficial for textual and visual features alignment. Therefore, we propose a novel anatomy-enhanced multimodal model to promote impression generation. In detail, we first construct a set of rules to extract anatomies and put these prompts into each sentence to highlight anatomy characteristics. Then, two separate encoders are applied to extract features from the radiograph and findings. Afterward, we utilize a contrastive learning module to align these two representations at the overall level and use a co-attention to fuse them at the sentence level with the help of anatomy-enhanced sentence representation. Finally, the decoder takes the fused information as the input to generate impressions. The experimental results on two benchmark datasets confirm the effectiveness of the proposed method, which achieves state-of-the-art results.
• Abstract（参考訳）: この印象は,放射線科医の知見と推理から結論づけられるため,参考医にとって重要な情報を把握することが重要である。 放射線技師の作業量を軽減し、印象書における繰り返しの人的労働を減らすために、多くの研究者が自動印象生成に焦点を合わせてきた。 しかし,近年の研究では,対応する知見を概説し,放射線画像に対する注意を払拭した。 臨床的には、ラジオグラフィーは、特に複雑な症例において、放射線学者の印象記述を強化するために、より詳細な貴重な観察を提供することができる。 さらに、各文は、通常、単一の解剖に焦点を当てているため、画像全体ではなく、対応する解剖学的領域にのみマッチする必要があり、テキスト的および視覚的特徴のアライメントに有用である。 そこで我々は,印象生成を促進するために,新しい解剖学的拡張型マルチモーダルモデルを提案する。 より詳しくは、まず解剖学を抽出する一連のルールを構築し、各文にこれらのプロンプトを置き、解剖学的特徴を強調する。 次に、ラジオグラフと所見から特徴を抽出するために2つの異なるエンコーダを適用する。 その後,コントラスト学習モジュールを用いて,これら2つの表現を全体レベルで整列させ,解剖学的に強調された文表現の助けを借りて,文レベルでの融合を行う。 そして、デコーダは融合情報を入力としてインプレッションを生成する。 2つのベンチマークデータセットにおける実験結果から,提案手法の有効性を確認した。

関連論文リスト

• Self-supervised vision-langage alignment of deep learning representations for bone X-rays analysis [53.809054774037214]
  本稿では, 骨X線とフレンチレポートを組み合わせることで, 視覚言語による事前訓練を活用することを提案する。 骨X線表現にまつわる埋め込み空間を形成するために、フランスの報告を統合する最初の研究である。
  論文  参考訳（メタデータ） (2024-05-14T19:53:20Z)
• Parse and Recall: Towards Accurate Lung Nodule Malignancy Prediction like Radiologists [39.907916342786564]
  肺がんは世界中で主要な死因であり、早期検診は生存率の向上に不可欠である。 臨床的には、結節の文脈構造と放射線医の蓄積した経験は良性結節と悪性結節の同定の正確性に関連する2つの中核要素である。 本稿では,無線研究者の診断過程をシミュレートする手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T12:38:17Z)
• Generation of Radiology Findings in Chest X-Ray by Leveraging Collaborative Knowledge [6.792487817626456]
  医学的イメージを解釈する認知的タスクは、放射線学のワークフローにおいて最も重要であり、しばしば時間を要するステップである。 この研究は、ほとんどの時間をFindingsの執筆またはナレーションに費やしている放射線学者の作業量を削減することに焦点を当てている。 単段階画像キャプションタスクとして放射線学レポートを生成する過去の研究とは異なり、CXR画像の解釈の複雑さを考慮に入れている。
  論文  参考訳（メタデータ） (2023-06-18T00:51:28Z)
• XrayGPT: Chest Radiographs Summarization using Medical Vision-Language Models [60.437091462613544]
  我々は,会話型医療ビジョン言語モデルであるXrayGPTを紹介する。 胸部X線写真に関するオープンエンドの質問を分析し、答えることができる。 自由テキストラジオグラフィーレポートから217kの対話的かつ高品質な要約を生成する。
  論文  参考訳（メタデータ） (2023-06-13T17:59:59Z)
• Act Like a Radiologist: Radiology Report Generation across Anatomical Regions [50.13206214694885]
  X-RGenは6つの解剖学的領域にわたる放射線学者によるレポート生成フレームワークである。 X-RGenでは、ヒトの放射線学者の行動を模倣し、これらを4つの主要な段階に分解する。 画像エンコーダの認識能力は,各領域にまたがる画像やレポートを分析して向上する。
  論文  参考訳（メタデータ） (2023-05-26T07:12:35Z)
• Medical Image Captioning via Generative Pretrained Transformers [57.308920993032274]
  我々は、Show-Attend-Tell と GPT-3 という2つの言語モデルを組み合わせて、包括的で記述的な放射線学記録を生成する。 提案モデルは、Open-I、MIMIC-CXR、汎用MS-COCOの2つの医療データセットで検証される。
  論文  参考訳（メタデータ） (2022-09-28T10:27:10Z)
• Graph Enhanced Contrastive Learning for Radiology Findings Summarization [25.377658879658306]
  放射線学レポートのセクションでは、この発見から最も顕著な観察を要約している。 余分な知識と元の知見の両方を活用する統一的なフレームワークを提案する。 キーワードとその関係を適切な方法で抽出し、印象生成を容易にする。
  論文  参考訳（メタデータ） (2022-04-01T04:39:44Z)
• Word Graph Guided Summarization for Radiology Findings [24.790502861602075]
  そこで本研究では, 単語グラフを抽出し, 単語とその関係を自動印象生成する手法を提案する。 WGSum(Word Graph guided Summarization model)は、単語グラフの助けを借りて印象を生成するように設計されている。 OpenIとMIMIC-CXRの2つのデータセットによる実験結果から,提案手法の有効性と有効性が確認された。
  論文  参考訳（メタデータ） (2021-12-18T13:20:18Z)
• Extracting Radiological Findings With Normalized Anatomical Information Using a Span-Based BERT Relation Extraction Model [0.20999222360659603]
  医用イメージングレポートは、放射線技師の発見と観察を精査する。 このテキストエンコードされた情報の大規模利用には、構造化されていないテキストを構造化された意味表現に変換する必要がある。 放射線学的所見に関連する放射線学的報告における解剖学的情報の抽出と正規化について検討する。
  論文  参考訳（メタデータ） (2021-08-20T15:02:59Z)
• XraySyn: Realistic View Synthesis From a Single Radiograph Through CT Priors [118.27130593216096]
  放射線写真は、X線を用いて患者の内部解剖を視覚化し、3D情報を2次元平面に投影する。 私たちの知る限りでは、ラジオグラフィビューの合成に関する最初の研究である。 本手法は,3次元空間におけるX線撮影の理解を得ることにより,地中骨ラベルを使わずに,X線撮影による骨抽出と骨抑制に応用できることが示唆された。
  論文  参考訳（メタデータ） (2020-12-04T05:08:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。