論文の概要: CLIP-Lung: Textual Knowledge-Guided Lung Nodule Malignancy Prediction
- arxiv url: http://arxiv.org/abs/2304.08013v1
- Date: Mon, 17 Apr 2023 06:29:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-18 16:13:42.401048
- Title: CLIP-Lung: Textual Knowledge-Guided Lung Nodule Malignancy Prediction
- Title(参考訳): CLIP-Lung:テキスト知識による肺結節悪性度予測
- Authors: Yiming Lei, Zilong Li, Yan Shen, Junping Zhang, Hongming Shan
- Abstract要約: 肺結節の予測は、高度なディープラーニング技術と効果的なトリックによって強化されている。
現在の手法は主に1ホットカテゴリーラベルを用いたクロスエントロピー損失で訓練されている。
肺悪性度予測のためのテキスト知識誘導フレームワークであるCLIP-Lungを提案する。
- 参考スコア(独自算出の注目度): 34.35547775426628
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Lung nodule malignancy prediction has been enhanced by advanced deep-learning
techniques and effective tricks. Nevertheless, current methods are mainly
trained with cross-entropy loss using one-hot categorical labels, which results
in difficulty in distinguishing those nodules with closer progression labels.
Interestingly, we observe that clinical text information annotated by
radiologists provides us with discriminative knowledge to identify challenging
samples. Drawing on the capability of the contrastive language-image
pre-training (CLIP) model to learn generalized visual representations from text
annotations, in this paper, we propose CLIP-Lung, a textual knowledge-guided
framework for lung nodule malignancy prediction. First, CLIP-Lung introduces
both class and attribute annotations into the training of the lung nodule
classifier without any additional overheads in inference. Second, we designed a
channel-wise conditional prompt (CCP) module to establish consistent
relationships between learnable context prompts and specific feature maps.
Third, we align image features with both class and attribute features via
contrastive learning, rectifying false positives and false negatives in latent
space. The experimental results on the benchmark LIDC-IDRI dataset have
demonstrated the superiority of CLIP-Lung, both in classification performance
and interpretability of attention maps.
- Abstract(参考訳): 高度なディープラーニング技術と効果的な手技によって肺結節悪性度予測が強化されている。
それにもかかわらず、現在の手法は主に1ホットのカテゴリラベルを用いてクロスエントロピー損失で訓練されており、より近い進行ラベルを持つ結節を区別することが困難である。
興味深いことに,放射線科医がアノテートした臨床テキスト情報は,難解なサンプルを識別するための識別的知識を提供する。
テキストアノテーションから一般化された視覚表現を学習するための比較言語画像事前学習(CLIP)モデルの能力に基づいて,肺結節悪性度予測のためのテキスト知識誘導フレームワークCLIP-Lungを提案する。
第一に、CLIP-Lungは推論のオーバーヘッドを伴わずに、クラスアノテーションと属性アノテーションを肺結節分類器のトレーニングに導入する。
第2に,学習可能なコンテキストプロンプトと特定の特徴マップ間の一貫した関係を確立するために,チャネルワイズ条件付きプロンプト(CCP)モジュールを設計した。
第3に、画像特徴とクラスと属性の特徴を対比学習、偽陽性の是正、潜在空間における偽陰性により一致させる。
LIDC-IDRIデータセットを用いた実験結果から,CLIP-Lungの分類性能とアテンションマップの解釈性の両方において優位性が示された。
関連論文リスト
- Contrastive Learning with Counterfactual Explanations for Radiology Report Generation [83.30609465252441]
放射線学レポート生成のためのtextbfCountertextbfFactual textbfExplanations-based framework (CoFE) を提案する。
反現実的な説明は、アルゴリズムによってなされた決定をどのように変えられるかを理解するための強力なツールとして、シナリオが何であるかを問うことによって役立ちます。
2つのベンチマークの実験では、反ファクト的な説明を活用することで、CoFEは意味的に一貫性があり、事実的に完全なレポートを生成することができる。
論文 参考訳(メタデータ) (2024-07-19T17:24:25Z) - MLIP: Enhancing Medical Visual Representation with Divergence Encoder
and Knowledge-guided Contrastive Learning [48.97640824497327]
本稿では、画像テキストのコントラスト学習を通じて、言語情報を視覚領域に統合するための案内信号として、ドメイン固有の医療知識を活用する新しいフレームワークを提案する。
我々のモデルには、設計した分散エンコーダによるグローバルコントラスト学習、局所トークン・知識・パッチアライメントコントラスト学習、知識誘導型カテゴリレベルのコントラスト学習、エキスパートナレッジによるコントラスト学習が含まれる。
特に、MLIPは、限られた注釈付きデータであっても最先端の手法を超越し、医療表現学習の進歩におけるマルチモーダル事前学習の可能性を強調している。
論文 参考訳(メタデータ) (2024-02-03T05:48:50Z) - Clinically Acceptable Segmentation of Organs at Risk in Cervical Cancer
Radiation Treatment from Clinically Available Annotations [0.0]
子宮頸癌放射線治療におけるOAR(Organs at Risk)の自動セグメンテーションのためのディープラーニングモデルを学習するためのアプローチを提案する。
我々は、データの不均一性、ラベルノイズ、アノテーションの欠如を最小限に抑えるために、自動データのクリーニングにシンプルな手法を採用している。
そこで本研究では,教師が指導するシステム,アノテーション命令,不確実性誘導学習を利用して,アノテーションの欠如の有無を学習する半教師付き学習手法を開発した。
論文 参考訳(メタデータ) (2023-02-21T13:24:40Z) - Learning disentangled representations for explainable chest X-ray
classification using Dirichlet VAEs [68.73427163074015]
本研究では,胸部X線像の非絡み合った潜在表現の学習にDirVAE(Dirichlet Variational Autoencoder)を用いることを検討した。
DirVAEモデルにより学習された多モード潜在表現の予測能力について,補助的多ラベル分類タスクの実装により検討した。
論文 参考訳(メタデータ) (2023-02-06T18:10:08Z) - Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。
我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
論文 参考訳(メタデータ) (2022-10-17T17:57:46Z) - PCA: Semi-supervised Segmentation with Patch Confidence Adversarial
Training [52.895952593202054]
医用画像セグメンテーションのためのPatch Confidence Adrial Training (PCA) と呼ばれる半教師付き対向法を提案する。
PCAは各パッチの画素構造とコンテキスト情報を学習し、十分な勾配フィードバックを得る。
本手法は, 医用画像のセグメンテーションにおいて, 最先端の半教師付き手法より優れており, その有効性を示している。
論文 参考訳(メタデータ) (2022-07-24T07:45:47Z) - Reducing Annotation Need in Self-Explanatory Models for Lung Nodule
Diagnosis [10.413504599164106]
肺結節診断のためのデータ/アノテーション効率の高い自己説明法であるcRedAnnoを提案する。
cRedAnnoは、自己教師付きコントラスト学習を導入することで、アノテーションの必要性を大幅に減らす。
学習空間の可視化は,悪性度と結節属性の相関が臨床知識と一致することを示している。
論文 参考訳(メタデータ) (2022-06-27T20:01:41Z) - Faithful learning with sure data for lung nodule diagnosis [34.55176532924471]
結節分類を確実にするための協調学習フレームワークを提案する。
損失関数は,ノード分割マップに規制された解釈可能性制約を導入することで,信頼性の高い特徴を学習するように設計されている。
論文 参考訳(メタデータ) (2022-02-25T06:33:11Z) - DenseCLIP: Extract Free Dense Labels from CLIP [130.3830819077699]
対照的に、CLIP(Contrastive Language- Image Pre-Training)は、オープンボキャブラリゼロショット画像認識において画期的な進歩を遂げた。
DenseCLIP+はSOTAトランスダクティブなゼロショットセマンティックセグメンテーション法を大きなマージンで上回る。
我々の発見は、DenseCLIPが高密度予測タスクの信頼性の高い新たな監視源となることを示唆している。
論文 参考訳(メタデータ) (2021-12-02T09:23:01Z) - Learning and Exploiting Interclass Visual Correlations for Medical Image
Classification [30.88175218665726]
本稿では、クラス相関学習ネットワーク(CCL-Net)を提案し、与えられたトレーニングデータからクラス間の視覚的相関を学習する。
ネットワークが望ましい相関関係を直接学習させる代わりに,クラス固有の埋め込みの距離メートル法学習を通じて暗黙的に学習することを提案する。
相関関係の幾何学的説明に基づく直感的損失は、クラス間の相関関係の学習を促進するために設計されている。
論文 参考訳(メタデータ) (2020-07-13T13:31:38Z) - Semi-supervised lung nodule retrieval [2.055949720959582]
コンテンツベース画像検索(CBIR)システムは、クエリ画像と類似度でランク付けされた一連の画像を出力する。
データセット要素間の類似性(例えばnodules間の類似性)に関する基礎的な真実は、容易には利用できない。
本研究は,(1)部分ラベル付きデータセットの自動アノテーション,(2)述語アノテーションに基づく意味的類似度距離空間の学習,という2つのステップを含む半教師付きアプローチを提案する。
LIDCデータセットを用いて肺結節検索を行い,予測された評価値から埋め込みを学習することが可能であることを示す。
論文 参考訳(メタデータ) (2020-05-04T19:26:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。