論文の概要: CLIP Architecture for Abdominal CT Image-Text Alignment and Zero-Shot Learning: Investigating Batch Composition and Data Scaling
- arxiv url: http://arxiv.org/abs/2604.13561v1
- Date: Wed, 15 Apr 2026 07:10:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-16 20:38:32.430552
- Title: CLIP Architecture for Abdominal CT Image-Text Alignment and Zero-Shot Learning: Investigating Batch Composition and Data Scaling
- Title(参考訳): 腹部CT画像テキストアライメントとゼロショット学習のためのCLIPアーキテクチャ:バッチ構成とデータスケーリングの検討
- Authors: Shivika, Kartik Bose, Pankaj Gupta,
- Abstract要約: 医用画像とレポートの対比学習により訓練された視覚言語モデルは、強力なゼロショット診断能力を示す。
我々は,左右対称InfoNCE損失を用いた3次元腹部CTボリュームと放射線診断レポートとを一致させるデュアルエンコーダモデルであるMerlinを再現する。
- 参考スコア(独自算出の注目度): 1.349025992778434
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Vision-language models trained with contrastive learning on paired medical images and reports show strong zero-shot diagnostic capabilities, yet the effect of training batch composition on learned representations remains unexplored for 3D medical imaging. We reproduce Merlin, a dual-encoder model that aligns 3D abdominal CT volumes with radiology reports using symmetric InfoNCE loss, achieving a zero-shot macro F1 of 74.45% across 30 findings (original: 73.00%). We then investigate two axes of variation. First, we control the normal-to-abnormal ratio within training batches at 25:75, 50:50, and 75:25 using section-level balanced sampling on the full dataset. All three configurations underperform the unbalanced baseline by 2.4 to 2.8 points, with 75:25 achieving the best result (72.02%) among balanced variants. Second, we conduct data scaling ablations on a 4,362-study subset, training with 20%, 40%, and 100% of the data. Performance scales sub-linearly from 65.26% to 71.88%, with individual findings varying dramatically in data sensitivity. Enforcing 50:50 balanced sampling on the same subset further degrades performance to 68.01%, confirming that explicit class balancing hurts regardless of dataset or balancing granularity. Our results indicate that the stochastic diversity of random sampling, combined with Merlin's alternating batching over anatomical subsections, provides more effective regularization than engineered class ratios at the small batch sizes required by 3D medical volumes.
- Abstract(参考訳): 医用画像とレポートの対比学習で訓練された視覚言語モデルは、強力なゼロショット診断能力を示しているが、3次元医用画像では、学習された表現に対する訓練バッチ構成の影響は未解明のままである。
Merlinは3次元腹部CTボリュームを対称なInfoNCE損失を用いた放射線学報告と整合し,30例中74.45%のゼロショットマクロF1を達成した。
次に,2つの変分軸について検討する。
まず,25:75,50:50,75:25のトレーニングバッチにおける正常-異常比を,全データセットの区間レベルのバランスサンプリングを用いて制御する。
3つの構成は全て、バランスの取れていないベースラインを2.4から2.8ポイント下回っており、75:25はバランスの取れた変種の中で最高の結果(72.02%)を達成している。
次に、4,362のスタディサブセットでデータスケーリングのアブリケーションを行い、20%、40%、100%のデータでトレーニングします。
パフォーマンスは65.26%から71.88%に低下し、個々の発見はデータの感度が劇的に変化する。
50:50のバランスの取れたサンプリングを同じサブセットで実施することで、パフォーマンスはさらに68.01%に低下し、明示的なクラスバランスがデータセットや粒度のバランスによらず損なわれることを確認した。
以上の結果から, ランダムサンプリングの確率的多様性と, Merlinの解剖学的部分に対する交互バッチ化とが相まって, 3次元医用ボリュームで要求される小さなバッチサイズにおいて, 工学的クラス比よりも効果的な正則化を実現することが示唆された。
関連論文リスト
- Improving Diagnostic Performance on Small and Imbalanced Datasets Using Class-Based Input Image Composition [0.2676349883103403]
小さく不均衡なデータセットと入力画像の品質の低下は、ディープラーニングモデルによる高い誤予測率につながる可能性がある。
本稿では,同じクラスの複数の画像が統合された視覚合成系に融合することで,学習用インプットを再構成する手法であるクラスベースイメージコンポジションを提案する。
論文 参考訳(メタデータ) (2025-11-05T22:34:06Z) - Taylor-Series Expanded Kolmogorov-Arnold Network for Medical Imaging Classification [0.0]
本研究は,限られた多様なデータセットを用いた正確な医用画像分類のためのKAN(Kolmogorov-Arnold Networks)を紹介する。
モデルはSBTAYLOR-KAN、B-splinesとTaylorシリーズの統合、SBRBF-KAN、Morletウェーブレット変換にB-splinesを埋め込むSBWAVELET-KANである。
脳MRI,胸部X線,結核X線,皮膚病変画像を前処理なしで評価した。
論文 参考訳(メタデータ) (2025-09-17T04:33:54Z) - Automated Radiographic Total Sharp Score (ARTSS) in Rheumatoid Arthritis: A Solution to Reduce Inter-Intra Reader Variation and Enhancing Clinical Practice [3.8516555293145345]
本研究では、深層学習を利用して全手X線画像を解析する自動放射線シャープ符号化フレームワークを提案する。
I) ResNet50, II) UNet.3, III) YOLOv7, IV) VGG16, VGG19, ResNet50, DenseNet201, EfficientNetB0, Vision Transformer (ViT) などのモデルを用いた手指分割による手指識別
論文 参考訳(メタデータ) (2025-09-08T16:21:45Z) - Brain Tumor Classification on MRI in Light of Molecular Markers [56.99710477905796]
1p/19q遺伝子の同時欠失は、低グレードグリオーマの臨床成績と関連している。
本研究の目的は,MRIを用いた畳み込みニューラルネットワークを脳がん検出に活用することである。
論文 参考訳(メタデータ) (2024-09-29T07:04:26Z) - Few-shot learning for COVID-19 Chest X-Ray Classification with
Imbalanced Data: An Inter vs. Intra Domain Study [49.5374512525016]
医療画像データセットは、コンピュータ支援診断、治療計画、医学研究に使用される訓練モデルに不可欠である。
データ分散のばらつき、データの不足、ジェネリックイメージから事前トレーニングされたモデルを使用する場合の転送学習の問題などである。
本稿では,データ不足と分散不均衡の影響を軽減するために,一連の手法を統合したシームズニューラルネットワークに基づく手法を提案する。
論文 参考訳(メタデータ) (2024-01-18T16:59:27Z) - The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease
detection [51.697248252191265]
この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。
我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。
このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
論文 参考訳(メタデータ) (2023-09-13T10:40:41Z) - Active Learning in Brain Tumor Segmentation with Uncertainty Sampling,
Annotation Redundancy Restriction, and Data Initialization [17.3513750927719]
深層学習モデルは、医療用3Dイメージングにおいて大きな可能性を示しているが、その開発は、高価な大量の注釈付きデータによって制限されている。
アクティブラーニング(AL)は、パフォーマンスを損なうことなく、最も情報性の高いデータサンプルのサブセットでモデルをトレーニングすることで、この問題に対処する。
我々は、異なるAL戦略を比較し、最先端のパフォーマンスに必要なデータ量を最小化するフレームワークを提案する。
論文 参考訳(メタデータ) (2023-02-05T04:45:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。