論文の概要: Enhanced Knowledge Injection for Radiology Report Generation

• arxiv url: http://arxiv.org/abs/2311.00399v1
• Date: Wed, 1 Nov 2023 09:50:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 14:05:44.154454
• Title: Enhanced Knowledge Injection for Radiology Report Generation
• Title（参考訳）: 放射線レポート作成のための知識注入の強化
• Authors: Qingqiu Li, Jilan Xu, Runtian Yuan, Mohan Chen, Yuejie Zhang, Rui Feng, Xiaobo Zhang, Shang Gao
• Abstract要約: 本稿では,異なる種類の知識を抽出するために2つの分野を利用する知識注入フレームワークを提案する。 この微細でよく構造化された知識を現在の画像と統合することにより、マルチソースの知識の獲得を活用して、最終的により正確なレポート生成を可能にします。
• 参考スコア（独自算出の注目度）: 21.937372129714884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic generation of radiology reports holds crucial clinical value, as it can alleviate substantial workload on radiologists and remind less experienced ones of potential anomalies. Despite the remarkable performance of various image captioning methods in the natural image field, generating accurate reports for medical images still faces challenges, i.e., disparities in visual and textual data, and lack of accurate domain knowledge. To address these issues, we propose an enhanced knowledge injection framework, which utilizes two branches to extract different types of knowledge. The Weighted Concept Knowledge (WCK) branch is responsible for introducing clinical medical concepts weighted by TF-IDF scores. The Multimodal Retrieval Knowledge (MRK) branch extracts triplets from similar reports, emphasizing crucial clinical information related to entity positions and existence. By integrating this finer-grained and well-structured knowledge with the current image, we are able to leverage the multi-source knowledge gain to ultimately facilitate more accurate report generation. Extensive experiments have been conducted on two public benchmarks, demonstrating that our method achieves superior performance over other state-of-the-art methods. Ablation studies further validate the effectiveness of two extracted knowledge sources.
• Abstract（参考訳）: 放射線科医のかなりの作業負荷を軽減し、経験の少ない患者に潜在的な異常を思い出させるので、放射線学レポートの自動生成は重要な臨床的価値を持っている。 自然画像領域における様々な画像キャプション手法の顕著な性能にもかかわらず、医用画像の正確なレポートを生成することは依然として課題に直面している。 そこで本研究では,2つの分枝を用いて異なる知識を抽出できる知識注入フレームワークを提案する。 重み付き概念知識(wck)部門はtf-idfスコアに重みづけられた臨床医学的概念を導入する責任がある。 マルチモーダル検索知識(mrk)は類似した報告から三重項を抽出し、実体の位置や存在に関する重要な臨床情報を強調している。 この精細で構造化された知識を現在のイメージに統合することで、マルチソースの知識を活用し、最終的により正確なレポート生成を可能にします。 2つの公開ベンチマークで広範な実験が行われ、この手法が他の最先端手法よりも優れた性能を達成することを実証した。 アブレーション研究は、2つの抽出された知識源の有効性をさらに検証する。

関連論文リスト

• MLIP: Enhancing Medical Visual Representation with Divergence Encoder and Knowledge-guided Contrastive Learning [48.97640824497327]
  本稿では、画像テキストのコントラスト学習を通じて、言語情報を視覚領域に統合するための案内信号として、ドメイン固有の医療知識を活用する新しいフレームワークを提案する。 我々のモデルには、設計した分散エンコーダによるグローバルコントラスト学習、局所トークン・知識・パッチアライメントコントラスト学習、知識誘導型カテゴリレベルのコントラスト学習、エキスパートナレッジによるコントラスト学習が含まれる。 特に、MLIPは、限られた注釈付きデータであっても最先端の手法を超越し、医療表現学習の進歩におけるマルチモーダル事前学習の可能性を強調している。
  論文  参考訳（メタデータ） (2024-02-03T05:48:50Z)
• Beyond Images: An Integrative Multi-modal Approach to Chest X-Ray Report Generation [47.250147322130545]
  画像からテキストまでの放射線学レポート生成は,医療画像の発見を記述した放射線学レポートを自動生成することを目的としている。 既存の方法の多くは画像データのみに焦点をあてており、他の患者情報は放射線科医に公開されていない。 胸部X線レポートを生成するための多モードディープニューラルネットワークフレームワークを,非構造的臨床ノートとともにバイタルサインや症状などの構造化された患者データを統合することで提案する。
  論文  参考訳（メタデータ） (2023-11-18T14:37:53Z)
• KiUT: Knowledge-injected U-Transformer for Radiology Report Generation [10.139767157037829]
  X線画像から臨床的正確で一貫性のある段落を自動的に生成することを目的とする。 知識注入型U-Transformer (KiUT) を提案する。
  論文  参考訳（メタデータ） (2023-06-20T07:27:28Z)
• K-Diag: Knowledge-enhanced Disease Diagnosis in Radiographic Imaging [40.52487429030841]
  医用領域知識の指導による視覚表現の訓練を可能にする知識強化フレームワークを提案する。 まず、専門家の知識を明示的に取り入れるために、医療知識グラフの神経表現を学ぶことを提案する。 第二に、ビジュアルエンコーダのトレーニング中に、知識エンコーダのパラメータを凍結させ、効率的な適応のためのプロンプトベクトルのセットを学ぶことを提案する。
  論文  参考訳（メタデータ） (2023-02-22T18:53:57Z)
• Cross-modal Clinical Graph Transformer for Ophthalmic Report Generation [116.87918100031153]
  眼科報告生成(ORG)のためのクロスモーダルな臨床グラフ変換器(CGT)を提案する。 CGTは、デコード手順を駆動する事前知識として、臨床関係を視覚特徴に注入する。 大規模FFA-IRベンチマークの実験は、提案したCGTが従来のベンチマーク手法より優れていることを示した。
  論文  参考訳（メタデータ） (2022-06-04T13:16:30Z)
• Radiology Report Generation with a Learned Knowledge Base and Multi-modal Alignment [27.111857943935725]
  胸部X線からのレポート生成のための自動マルチモーダルアプローチを提案する。 本手法は,学習知識ベースとマルチモーダルアライメントの2つの異なるモジュールを特徴とする。 両モジュールの助けを借りて、我々のアプローチは明らかに最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2021-12-30T10:43:56Z)
• Knowledge Matters: Radiology Report Generation with General and Specific Knowledge [24.995748604459013]
  本稿では,知識に富んだ放射線学レポート生成手法を提案する。 放射線画像の視覚的特徴を一般知識と具体的知識と組み合わせることで,提案モデルは生成したレポートの品質を向上させることができる。
  論文  参考訳（メタデータ） (2021-12-30T10:36:04Z)
• Exploring and Distilling Posterior and Prior Knowledge for Radiology Report Generation [55.00308939833555]
  PPKEDには、Posterior Knowledge Explorer (PoKE), Prior Knowledge Explorer (PrKE), Multi-domain Knowledge Distiller (MKD)の3つのモジュールが含まれている。 PoKEは後部知識を探求し、視覚データのバイアスを軽減するために明確な異常な視覚領域を提供する。 PrKEは、以前の医学知識グラフ(医学知識)と以前の放射線学レポート(作業経験)から以前の知識を探り、テキストデータのバイアスを軽減する。
  論文  参考訳（メタデータ） (2021-06-13T11:10:02Z)
• Variational Knowledge Distillation for Disease Classification in Chest X-Rays [102.04931207504173]
  我々は,X線に基づく疾患分類のための新しい確率的推論フレームワークである反復的知識蒸留(VKD)を提案する。 提案手法の有効性を,X線画像とEHRを用いた3つの公開ベンチマークデータセットに示す。
  論文  参考訳（メタデータ） (2021-03-19T14:13:56Z)
• Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
  病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。 これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。 テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-20T20:05:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。