論文の概要: When Two Tracers Disagree: An Investigation of Multimodal Fusion for Clinical PET/CT Segmentation
- arxiv url: http://arxiv.org/abs/2608.19063v1
- Date: Wed, 19 Aug 2026 16:04:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.457229
- Title: When Two Tracers Disagree: An Investigation of Multimodal Fusion for Clinical PET/CT Segmentation
- Title(参考訳): 2つのトレーサが診断された場合 : PET/CT分割術における多モーダル核融合法の検討
- Abstract要約: PSMAとFDG PET/CTは前立腺癌における相補的生物学的情報を可視化する。
これらのモダリティを融合させる効果的なディープラーニングアーキテクチャに関する合意はない。
PET/CT自動病変分割のためのマルチモーダル画像融合法について検討した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: PSMA and FDG PET/CT visualise complementary biological information in prostate cancer. Combining both tracers could capture heterogeneous tumour phenotypes that may be missed by either alone, yet there is no consensus on effective deep learning architectures for fusing these modalities. We evaluated multimodal image-fusion strategies for automatic whole-body PET/CT lesion segmentation to estimate total tumour burden. Using the public DEEP-PSMA Challenge dataset, we trained tracer-specific 3D nnU-Net baselines and compared (i) early fusion with a single encoder and one decoder (OEOD) or two decoders (OETD), and (ii) intermediate fusion via a dual-encoder cross-attention U-Net (DECA-UNet). Tracer-specific baselines performed strongly (PSMA Dice = 0.93; FDG = 0.81). Fusion yielded mixed results: OEOD produced a combined Dice of 0.90 (on an easier, non-tracer-specific task), whilst the tracer-specific fusion models reached PSMA/FDG = 0.69/0.64 (OETD) and 0.76/0.57 (DECA-UNet). Whilst fusion often provided reasonable PSMA segmentation, FDG performance degraded and no strategy consistently exceeded the single-tracer baselines. Under the evaluated setting, tracer-specific models remain the stronger baseline; clinically useful gains from multimodal fusion will likely require architectures that better preserve tracer specific representations. Our code is available at: https://github.com/JackJ3636/DEEP_PSMA_code
- Abstract(参考訳): PSMAとFDG PET/CTは前立腺癌における相補的生物学的情報を可視化する。
両方のトレーサを組み合わせることで、単独で見逃されるかもしれない異種腫瘍の表現型を捉えることができるが、これらのモダリティを融合させる効果的なディープラーニングアーキテクチャについて合意は得られない。
全身PET/CT病変の自動切除のためのマルチモーダル画像融合法について検討した。
公開DEEP-PSMA Challengeデータセットを用いて、トレーサ固有の3D nnU-Netベースラインをトレーニングし、比較した。
(i)単一エンコーダと1つのデコーダ(OEOD)または2つのデコーダ(OETD)との早期融合
(II)デュアルエンコーダクロスアテンションU-Net(DECA-UNet)による中間核融合。
トレーサー固有のベースラインは強く実行された(PSMA Dice = 0.93; FDG = 0.81)。
核融合は混合の結果を得た: OEODはDiceを0.90(より簡単でトラクサに依存しないタスク)で生成し、一方トレーサ固有の核融合モデルはPSMA/FDG = 0.69/0.64 (OETD) と 0.76/0.57 (DECA-UNet) に到達した。
核融合はしばしばPSMAセグメンテーションを合理的に提供したが、FDGの性能は劣化し、戦略は一貫して単一トラクタベースラインを超えなかった。
評価された条件の下では、トレーサ固有のモデルはより強力なベースラインのままであり、多モード融合による臨床的に有用な利得は、トレーサ固有の表現をよりよく保存するアーキテクチャを必要とするだろう。
私たちのコードは、https://github.com/JackJ3636/DEEP_PSMA_codeで利用可能です。
関連論文リスト
- Understanding Synergistic Interactions among Pathology Foundation Models via Adaptive Fusion [49.550545038402184]
病理基盤モデル(PFM)は、大規模病理画像の自己教師付き事前トレーニングを通じて、強力なタイルレベルの表現を提供する。
AdaFusionは軽量な適応型核融合フレームワークで、複数の凍結されたPFMから補完的な信号を統合する。
AdaFusionは、解釈可能な組織可視化を提供しながら、個々のPFMやその他の融合ベースラインを一貫して上回る。
論文 参考訳(メタデータ) (2026-08-02T16:44:45Z) - The autoPET3 Challenge: Automated Lesion Segmentation in Whole-Body PET/CT $\unicode{x2013}$ Multitracer Multicenter Generalization [67.92281859568168]
第3回オートPETチャレンジ(MICCAI 2024)の設計と成果を報告する。
全身PET/CTにおける自動病変分割を, 構成的一般化条件下でベンチマークした。
トップランクのアルゴリズムは平均DSCが0.66、FNVが3.18mL、FPVが2.78mLである。
論文 参考訳(メタデータ) (2026-05-07T07:07:09Z) - GRAFNet: Multiscale Retinal Processing via Guided Cortical Attention Feedback for Enhancing Medical Image Polyp Segmentation [6.834321209531585]
本稿では,人間の視覚システムの階層構造を模倣する生物学的にインスパイアされたアーキテクチャであるGRAFNetを提案する。
GRAFNetは,(1)方向調整された皮質ニューロンをポリプ境界に模倣するガイド非対称注意モジュール(GAAM),(2)平行多機能解析のために網膜神経節細胞経路を複製するマルチスケール網膜モジュール(MSRM),(3)反復精製に予測符号化を適用するガイド非対称注意フィードバックモジュール(GCAFM)の3つの重要なモジュールを統合する。
論文 参考訳(メタデータ) (2026-02-15T17:29:37Z) - A Hybrid Mamba-SAM Architecture for Efficient 3D Medical Image Segmentation [0.4358626952482685]
Mamba-SAMは、凍ったSAMエンコーダと、Mamba-based State Space Models (SSM)の線形時間効率と長距離モデリング機能を組み合わせた、新しくて効率的なハイブリッドアーキテクチャである。
本稿では,MFGC(Multi-Frequency Gated Convolution)を導入し,空間領域情報と周波数領域情報を3次元離散コサイン変換と適応ゲーティングにより共同解析することにより特徴表現を向上させる。
Dual-branch Mamba-SAM-Baseモデルでは、平均Diceスコアが0.906となり、UNet++ (0.907)に匹敵する。
論文 参考訳(メタデータ) (2026-01-31T10:51:17Z) - Multimodal Visual Surrogate Compression for Alzheimer's Disease Classification [69.87877580725768]
MVSC(Multimodal Visual Surrogate Compression)は、大規模な3D sMRIボリュームをコンパクトな2D機能に圧縮し、適応させることを学ぶ。
MVSCには2つの重要なコンポーネントがある: テキストガイダンスの下でグローバルなクロススライスコンテキストをキャプチャするボリュームコンテキストと、テキストエンハンスでパッチワイズな方法でスライスレベルの情報を集約するAdaptive Slice Fusionモジュール。
論文 参考訳(メタデータ) (2026-01-29T13:05:46Z) - VesSAM: Efficient Multi-Prompting for Segmenting Complex Vessel [68.24765319399286]
本稿では,2次元血管セグメンテーションに適した,強力で効率的なフレームワークであるVesSAMを提案する。
VesSAMは、(1)局所的なテクスチャ機能を強化する畳み込みアダプタ、(2)解剖学的プロンプトを融合するマルチプロンプトエンコーダ、(3)ジャグアーティファクトを減らす軽量マスクデコーダを統合する。
VesSAMは、最先端のPEFTベースのSAMを10%以上のDiceと13%のIoUで一貫して上回っている。
論文 参考訳(メタデータ) (2025-11-02T15:47:05Z) - Explainable Deep Neural Network for Multimodal ECG Signals: Intermediate vs Late Fusion [1.1344265020822928]
マルチモーダルディープニューラルネットワーク(MDNN)は、多様なデータドメインを統合する能力を持ち、堅牢で正確な予測のための有望なソリューションを提供する。
本研究は、ECG信号を用いた中間核融合戦略と後期核融合戦略の比較効果について検討する。
論文 参考訳(メタデータ) (2025-08-06T16:26:46Z) - From FDG to PSMA: A Hitchhiker's Guide to Multitracer, Multicenter Lesion Segmentation in PET/CT Imaging [0.9384264274298444]
本稿では,ResEncL アーキテクチャを用いた nnU-Net フレームワークを用いたマルチトラス,マルチセンタの一般化を目的とした AutoPET III チャレンジの解決策を提案する。
主なテクニックは、CT、MR、PETデータセット間での誤調整データ拡張とマルチモーダル事前トレーニングである。
Diceスコアが57.61となったデフォルトのnnU-Netと比較して、Diceスコアが68.40であり、偽陽性(FPvol: 7.82)と偽陰性(FNvol: 10.35)が減少している。
論文 参考訳(メタデータ) (2024-09-14T16:39:17Z) - Lesion-aware Dynamic Kernel for Polyp Segmentation [49.63274623103663]
ポリープセグメンテーションのための障害対応動的ネットワーク(LDNet)を提案する。
従来のU字型エンコーダ・デコーダ構造であり、動的カーネル生成と更新スキームが組み込まれている。
この単純だが効果的なスキームは、我々のモデルに強力なセグメンテーション性能と一般化能力を与える。
論文 参考訳(メタデータ) (2023-01-12T09:53:57Z) - TMSS: An End-to-End Transformer-based Multimodal Network for
Segmentation and Survival Prediction [0.0]
腫瘍学者は、分析においてこれを行うのではなく、医療画像や患者の歴史などの複数のソースから、脳内の情報を融合させる。
本研究は,がんの定量化と患者の生存率推定において,腫瘍学者の分析行動を模倣する深層学習手法を提案する。
論文 参考訳(メタデータ) (2022-09-12T06:22:05Z) - DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection [83.18142309597984]
ライダーとカメラは、自動運転における3D検出を補完する情報を提供する重要なセンサーである。
我々はDeepFusionという名前の汎用マルチモーダル3D検出モデル群を開発した。
論文 参考訳(メタデータ) (2022-03-15T18:46:06Z) - Automatic Polyp Segmentation via Multi-scale Subtraction Network [100.94922587360871]
臨床的には、正確なポリープセグメンテーションは大腸癌の早期発見に重要な情報を提供する。
既存のほとんどの手法はU字型構造に基づいており、デコーダで段階的に異なるレベルの特徴を融合させるために要素ワイド付加または結合を用いる。
大腸内視鏡画像からポリプを抽出するマルチスケールサブトラクションネットワーク(MSNet)を提案する。
論文 参考訳(メタデータ) (2021-08-11T07:54:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。