論文の概要: XGLASS: X-Ray, Gaze and Language Assisted Slice Sequencing for CT Volumes
- arxiv url: http://arxiv.org/abs/2610.26255v2
- Date: Wed, 21 Oct 2026 11:27:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.054358
- Title: XGLASS: X-Ray, Gaze and Language Assisted Slice Sequencing for CT Volumes
- Title(参考訳): XGLASS:CTボリュームのためのX線, 迷路, 言語支援スライスシークエンシング
- Abstract要約: 課題認識スライス優先のための2次元X線から3次元CTへ医療知識を伝達するXGLASSを提案する。
XGLASSは2Dおよび3Dネイティブベースラインでの予算付き検索を大幅に改善し、最高のパフォーマンスの疾患では最高で75.9%に達する。
- 参考スコア(独自算出の注目度): 10.82895764809375
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language models (VLMs) achieve remarkable performance on 2D medical images, such as X-rays or pathology images, while 3D VLMs that directly process CT/MRI volumes lag behind due to limited 3D training data and the predominance of 2D foundation architectures. To leverage powerful 2D VLMs for analyzing medical volumes, which contain hundreds of slices, it is therefore necessary to focus only on those few slices, which are diagnostically relevant. To enable such a prioritization, we propose XGLASS, a method that transfers medical expertise from 2D X-rays to 3D CT for task-aware slice prioritization. XGLASS uses disease-conditioned importance maps derived from language-aligned radiologist gaze on X-rays and spatially aligns them with coronal CT projections, bringing gaze priors and CT content into a shared 2D representation. The fused gaze-prior/CT projection is then used to predict a disease-specific ordering of axial slices, prioritizing diagnostically relevant slices. XGLASS significantly improves budgeted retrieval over 2D and 3D-native baselines, achieving a top-10 hit rate up to 75.9% for the best-performing disease. In practice, this means that after inspecting only the top 10 slices (4.17% of a 240-slice scan), XGLASS identifies a diagnostically relevant slice in more than 75% of cases. For downstream slice-wise finding classification, an XGLASS-selected 30-slice candidate set reduces model calls by 87.5% while improving F1 by 11.3 percentage points over all-slice inference, 4.2 points over the strongest 2D selector, and remains competitive with 3D-native selectors while requiring up to 130.8 times less time and 10.9 times less GPU memory per finding, supporting its use as a lightweight preselector for volumetric CT analysis. The code and pretrained checkpoint are available on https://github.com/michaelgloeckler/XGLASS.
- Abstract(参考訳): 視覚言語モデル(VLM)は、X線や病理画像などの2次元の医療画像において、CT/MRIボリュームの遅延を直接処理する3次元VLMに対して、限られた3次元トレーニングデータと2次元基礎アーキテクチャの優位性により、顕著な性能を達成する。
数百個のスライスを含む医用ボリュームの分析に強力な2次元VLMを活用するためには,診断に関係のある数個のスライスにのみ焦点を合わせる必要がある。
このような優先順位付けを可能にするために,2次元X線から3次元CTへ医療知識を伝達してタスク認識スライス優先順位付けを行う手法であるXGLASSを提案する。
XGLASSは、X線で視線を視線し、空間的にCTの投射と整列し、視線前とCTの内容を共有2次元の表現に導く。
次に、融合したガゼプライア/CTプロジェクションを使用して、診断に関係のあるスライスを優先して、軸スライスを疾患特異的に順序付けする。
XGLASSは2Dおよび3Dネイティブベースラインでの予算付き検索を大幅に改善し、最高のパフォーマンスの疾患では最高で75.9%に達する。
実際には、トップ10スライス(240スライススキャンの4.17%)のみを検査した後、XGLASSは75%以上の症例で診断に関係のあるスライスを同定する。
下流スライス検索の分類では、XGLASSが選択した30スライス候補セットがモデルコールを87.5%削減し、全スライス推定でF1を11.3ポイント改善し、最強の2Dセレクタで4.2ポイント、最大130.8倍の時間と10.9倍のGPUメモリを必要とする3Dネイティブセレクタと競合し、ボリュームCT分析の軽量プリセレクタとしての使用をサポートする。
コードと事前訓練されたチェックポイントはhttps://github.com/michaelgloeckler/XGLASSで入手できる。
関連論文リスト
- Multimodal Visual Surrogate Compression for Alzheimer's Disease Classification [69.87877580725768]
MVSC(Multimodal Visual Surrogate Compression)は、大規模な3D sMRIボリュームをコンパクトな2D機能に圧縮し、適応させることを学ぶ。
MVSCには2つの重要なコンポーネントがある: テキストガイダンスの下でグローバルなクロススライスコンテキストをキャプチャするボリュームコンテキストと、テキストエンハンスでパッチワイズな方法でスライスレベルの情報を集約するAdaptive Slice Fusionモジュール。
論文 参考訳(メタデータ) (2026-01-29T13:05:46Z) - A simple and effective approach for body part recognition on CT scans based on projection estimation [3.5436187733613087]
本研究は, 身体領域同定のための3次元CTスキャンの2次元X線的推定に基づく, 単純かつ効果的なアプローチを提案する。
提案手法では,14個の異なる身体領域を識別するために推定された2次元画像を用いて,高品質な医療データセットの構築に有用な情報を提供する。
論文 参考訳(メタデータ) (2025-04-30T17:13:44Z) - OCTCube-M: A 3D multimodal optical coherence tomography foundation model for retinal and systemic diseases with cross-cohort and cross-device validation [20.17448729403084]
OCTと顔画像の共同解析のための3次元OCTに基づく多モード基盤モデルであるOCTCube-Mを提案する。
OCTCube-Mは、最初にOCTCubeを開発した。
新規なマルチモーダルコントラスト学習フレームワークであるCOEPを利用して、底部自己蛍光や赤外網膜イメージングなどの他の網膜イメージングモダリティを統合する。
論文 参考訳(メタデータ) (2024-08-20T22:55:19Z) - CT-GLIP: 3D Grounded Language-Image Pretraining with CT Scans and Radiology Reports for Full-Body Scenarios [53.94122089629544]
我々は,CT-GLIP(Grounded Language- Image Pretraining with CT scans)を導入する。
本手法は,104臓器にわたる17,702症例を対象に,44,011例の臓器レベルの視覚テキストペアからなるマルチモーダルCTデータセットを用いて訓練し,自然言語を用いて臓器と異常をゼロショットで識別できることを実証した。
論文 参考訳(メタデータ) (2024-04-23T17:59:01Z) - Geometry-Aware Attenuation Learning for Sparse-View CBCT Reconstruction [53.93674177236367]
Cone Beam Computed Tomography (CBCT) は臨床画像撮影において重要な役割を担っている。
従来の方法では、高品質な3D CBCT画像の再構成には数百の2次元X線投影が必要である。
これにより、放射線線量を減らすため、スパースビューCBCT再構成への関心が高まっている。
本稿では,この問題を解決するために,新しい幾何対応エンコーダデコーダフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-26T14:38:42Z) - Automated Model Design and Benchmarking of 3D Deep Learning Models for
COVID-19 Detection with Chest CT Scans [72.04652116817238]
3D胸部CTスキャン分類のための3D DLモデルを自動的に検索するための差別化可能なニューラルネットワーク探索(DNAS)フレームワークを提案する。
また,我々のモデルのクラスアクティベーションマッピング(cam)技術を利用して,結果の解釈可能性を提供する。
論文 参考訳(メタデータ) (2021-01-14T03:45:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。