論文の概要: Efficient Multi-Granularity Knowledge Transfer for Radiology Report Generation
- arxiv url: http://arxiv.org/abs/2610.11303v2
- Date: Tue, 13 Oct 2026 06:40:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-14 23:39:49.6932
- Title: Efficient Multi-Granularity Knowledge Transfer for Radiology Report Generation
- Title(参考訳): 放射線学レポート生成のための効率的な多粒度知識伝達
- Abstract要約: 放射線診断レポート生成は、X線画像から自動的に臨床記述を生成することができる。
textbfEMGKTは、既存のほとんどのメソッドに効率的に適用できる。
- 参考スコア(独自算出の注目度): 5.065675226470693
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Radiology report generation can automatically generate clinical descriptions from X-ray images, thereby significantly improving the efficiency of radiologists. This task is challenging because it requires medical knowledge to accurately identify diseases and describe them in a professional manner. However, existing methods often overlook the importance of enhancing medical knowledge in describing pivotal areas, a capability that requires models to effectively extract and aggregate knowledge at multiple levels of granularity. Accordingly, we herein propose a novel and compact Efficient Multi-Granularity Knowledge Transfer (\textbf{EMGKT}) method to address the above issues. First, we encode global knowledge embeddings using a medical vision-language model, which provides contextual medical knowledge. Moreover, we devise a novel Fine-Grained Knowledge Distillation (FGKD) training task which efficiently extract fine-grained knowledge. Specifically, the FGKD training task contains teacher embeddings and student embeddings. Teacher embeddings are encoded using extra priors; while student embeddings are learned from the teacher embeddings through knowledge distillation. During inference, the student embeddings are used to enhance fine-grained knowledge while the teacher embeddings are discarded, resulting in negligible computational costs and no need for extra priors. Finally, we further develop a mixture of disease diagnosis expert classifiers to enhance knowledge extraction. The classifiers are initialized using disease embeddings and are modeled as different experts to address various granularity features. Notably, \textbf{EMGKT} can be efficiently applied to most existing methods. Extensive experiments are conducted on two widely-used public datasets and various baselines, which demonstrates the effectiveness and transferability of \textbf{EMGKT}.
- Abstract(参考訳): 放射線医学報告生成は、X線画像から臨床記述を自動的に生成し、放射線医の効率を大幅に向上させることができる。
この課題は、病気を正確に識別し、専門的な方法で記述するために医学的な知識を必要とするため、難しい。
しかし、既存の手法は、複数のレベルの粒度の知識を効果的に抽出・集約するモデルを必要とする、重要な領域を記述する上で、医学的知識を高めることの重要性をしばしば見落としている。
そこで本稿では, 上記の問題に対処するための, 効率的かつコンパクトな多言語知識伝達法を提案する。
まず,文脈的医療知識を提供する医用視覚言語モデルを用いて,グローバルな知識埋め込みを符号化する。
さらに, ファイングラインド・ナレッジ蒸留(FGKD)の学習課題を考案し, きめ細かい知識を効率的に抽出する。
具体的には、FGKDトレーニングタスクには、教師の埋め込みと生徒の埋め込みが含まれる。
教師の埋め込みは余分な事前情報を用いて符号化されるが、生徒の埋め込みは知識蒸留を通じて教師の埋め込みから学習される。
推論の間、生徒の埋め込みは、教師の埋め込みが破棄される間、きめ細かい知識を高めるために使用され、従って計算コストが無視され、余分な事前の必要がなくなる。
最後に,知識抽出を促進するための診断専門家分類器の混合物を更に開発する。
分類器は病気の埋め込みを用いて初期化され、様々な粒度の特徴に対処するために異なる専門家としてモデル化される。
特に、 textbf{EMGKT} は既存のほとんどのメソッドに効率的に適用できる。
広範に使われている2つの公開データセットと様々なベースラインで大規模な実験が行われ、これは \textbf{EMGKT}の有効性と転送性を示す。
関連論文リスト
- Synthetic Knowledge Ingestion: Towards Knowledge Refinement and Injection for Enhancing Large Language Models [1.753683416932648]
大規模言語モデル(LLM)は、様々な領域における事実知識の収集に長けている。
本研究では,Skiと呼ばれる新しい合成知識摂取法を提案する。
次に、Skiとそのバリエーションを3つの知識注入技術と統合し、言語モデルにおける知識を注入し、洗練する。
論文 参考訳(メタデータ) (2024-10-12T19:38:09Z) - Diversifying Knowledge Enhancement of Biomedical Language Models using
Adapter Modules and Knowledge Graphs [54.223394825528665]
我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。
バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。
計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
論文 参考訳(メタデータ) (2023-12-21T14:26:57Z) - Enhanced Knowledge Injection for Radiology Report Generation [21.937372129714884]
本稿では,異なる種類の知識を抽出するために2つの分野を利用する知識注入フレームワークを提案する。
この微細でよく構造化された知識を現在の画像と統合することにより、マルチソースの知識の獲得を活用して、最終的により正確なレポート生成を可能にします。
論文 参考訳(メタデータ) (2023-11-01T09:50:55Z) - Learning Through Guidance: Knowledge Distillation for Endoscopic Image
Classification [40.366659911178964]
内視鏡は消化管(GI)の根底にある異常を同定する上で重要な役割を担っている。
ディープラーニング、特にCNN(Convolution Neural Networks)は、従来の機能エンジニアリングを使わずに自動機能学習を実行するように設計されている。
KDに基づく3つの学習フレームワーク、応答ベース、特徴ベース、関係ベースメカニズムについて検討し、関係ベース学習を支援するために、新しい多面的注意型特徴融合機構を導入する。
論文 参考訳(メタデータ) (2023-08-17T02:02:11Z) - Deep Reinforcement Learning Framework for Thoracic Diseases
Classification via Prior Knowledge Guidance [49.87607548975686]
関連疾患に対するラベル付きデータの不足は、正確な診断にとって大きな課題となる。
本稿では,診断エージェントの学習を指導するための事前知識を導入する,新しい深層強化学習フレームワークを提案する。
提案手法の性能はNIHX-ray 14とCheXpertデータセットを用いて実証した。
論文 参考訳(メタデータ) (2023-06-02T01:46:31Z) - Adapter Learning in Pretrained Feature Extractor for Continual Learning
of Diseases [66.27889778566734]
現在、インテリジェント診断システムには、デプロイされたばかりの新しい病気を継続的に診断する能力がない。
特に、新しい疾患のトレーニングデータを用いたインテリジェント診断システムの更新は、古い疾患の知識を壊滅的に忘れてしまう可能性がある。
ACLと呼ばれるアダプタベースの連続学習フレームワークは、新しい病気の集合を効果的に学習するために提案されている。
論文 参考訳(メタデータ) (2023-04-18T15:01:45Z) - K-Diag: Knowledge-enhanced Disease Diagnosis in Radiographic Imaging [40.52487429030841]
医用領域知識の指導による視覚表現の訓練を可能にする知識強化フレームワークを提案する。
まず、専門家の知識を明示的に取り入れるために、医療知識グラフの神経表現を学ぶことを提案する。
第二に、ビジュアルエンコーダのトレーニング中に、知識エンコーダのパラメータを凍結させ、効率的な適応のためのプロンプトベクトルのセットを学ぶことを提案する。
論文 参考訳(メタデータ) (2023-02-22T18:53:57Z) - Cross-modal Clinical Graph Transformer for Ophthalmic Report Generation [116.87918100031153]
眼科報告生成(ORG)のためのクロスモーダルな臨床グラフ変換器(CGT)を提案する。
CGTは、デコード手順を駆動する事前知識として、臨床関係を視覚特徴に注入する。
大規模FFA-IRベンチマークの実験は、提案したCGTが従来のベンチマーク手法より優れていることを示した。
論文 参考訳(メタデータ) (2022-06-04T13:16:30Z) - SSD-KD: A Self-supervised Diverse Knowledge Distillation Method for
Lightweight Skin Lesion Classification Using Dermoscopic Images [62.60956024215873]
皮膚がんは最も一般的な悪性腫瘍の1つであり、人口に影響を与え、世界中で経済的な重荷を負っている。
皮膚がん検出のほとんどの研究は、ポータブルデバイス上での計算資源の制限を考慮せずに、高い予測精度を追求している。
本研究は,皮膚疾患分類のための汎用的なKDフレームワークに多様な知識を統一する,SSD-KDと呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2022-03-22T06:54:29Z) - Benchmark and Best Practices for Biomedical Knowledge Graph Embeddings [8.835844347471626]
SNOMED-CT知識グラフ上に,いくつかの最先端知識グラフ埋め込みモデルを学習する。
本稿では,バイオメディカル知識表現の学習に知識グラフのマルチリレーショナルな性質を活用することの重要性を論じる。
論文 参考訳(メタデータ) (2020-06-24T14:47:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。