論文の概要: A Unified Vision-Language Model for PSMA PET/CT Report Generation, Visual Question Answering, and Lesion Segmentation

• arxiv url: http://arxiv.org/abs/2609.15603v1
• Date: Mon, 14 Sep 2026 14:02:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.422053
• Title: A Unified Vision-Language Model for PSMA PET/CT Report Generation, Visual Question Answering, and Lesion Segmentation
• Title（参考訳）: PSMA PET/CTレポート生成, 視覚的質問応答, 病変分割のための統合視覚言語モデル
• Abstract要約: 報告生成,視覚的質問応答,病変分割のための統合PSMA PET/CT視覚モデルを提案する。 このモデルではPET2とCT言語ベースラインを標準レポート生成指標で上回り、VQA質問タイプでのパフォーマンスを改善し、SegAnyPETやnnUNetよりもDiceと病変レベルの重複F1を達成した。
• 参考スコア（独自算出の注目度）: 25.23021765603417
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Accurate PSMA PET/CT interpretation is central to prostate cancer management, yet existing PET/CT AI models typically address isolated tasks. We propose a unified PSMA PET/CT vision-language model for report generation, visual question answering, and lesion segmentation. The framework adopts an LLaVA-style architecture, comprising a PET/CT vision encoder, an MLP-Mixer projection module, a LoRA-tuned large language model, and a 3D segmentation branch. Training followed a four-stage strategy: vision encoder pretraining, projection-layer alignment, VLM fine-tuning, and final multitask tuning. Language tasks used 5,747 PSMA PET/CT datasets with paired reports, while segmentation used the PSMA subset of AutoPET. The model outperformed PET2REP and a CT-based baseline across standard report-generation metrics, improved performance across VQA question types, and achieved higher Dice and lesion-level overlap F1 than SegAnyPET and nnUNet. These results support the feasibility of a unified framework for structured, interactive, interpretable PSMA PET/CT analysis with voxel-level grounding within a single multitask model architecture.
• Abstract（参考訳）: PSMA PET/CTの正確な解釈は前立腺癌管理の中心であるが、既存のPET/CT AIモデルは一般的に孤立したタスクに対処する。 報告生成,視覚的質問応答,病変分割のための統合PSMA PET/CT視覚言語モデルを提案する。 このフレームワークは、PET/CTビジョンエンコーダ、MLP-Mixerプロジェクションモジュール、LoRAで調整された大型言語モデル、および3DセグメンテーションブランチからなるLLaVAスタイルのアーキテクチャを採用している。 トレーニングは、ビジョンエンコーダ事前訓練、プロジェクション層アライメント、VLMファインチューニング、最終マルチタスクチューニングという4段階の戦略を踏襲した。 言語タスクでは、5,747のPSMA PET/CTデータセットとペアレポートを使用し、セグメンテーションではAutoPETのPSMAサブセットを使用した。 このモデルでは、PET2REPとCTベースのベースラインを標準レポート生成指標で上回り、VQA質問タイプでのパフォーマンスを改善し、SegAnyPETやnnUNetよりもDiceと病変レベルの重複F1を達成した。 これらの結果は,単一のマルチタスクモデルアーキテクチャ内でのボクセルレベルのグラウンドディングを用いた構造化,インタラクティブ,解釈可能なPSMA PET/CT解析のための統合フレームワークの実現性を支持する。

関連論文リスト

• Mutual Distillation of Dual-Foundation Models for Semi-Supervised PET/CT Segmentation [8.784478648071547]
  PET/CTの臓器分画は腫瘍学における定量的解析と放射線治療計画に重要である。 半教師付き学習(SSL)は、ラベル付きデータに制限のあるディープモデルを開発するための実用的で効果的なソリューションを提供する。 構造モデルと機能モデルの両方をシームレスに活用する相互蒸留フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-14T05:34:26Z)
• The autoPET3 Challenge: Automated Lesion Segmentation in Whole-Body PET/CT $\unicode{x2013}$ Multitracer Multicenter Generalization [67.92281859568168]
  第3回オートPETチャレンジ(MICCAI 2024)の設計と成果を報告する。 全身PET/CTにおける自動病変分割を, 構成的一般化条件下でベンチマークした。 トップランクのアルゴリズムは平均DSCが0.66、FNVが3.18mL、FPVが2.78mLである。
  論文  参考訳（メタデータ） (2026-05-07T07:07:09Z)
• Unveiling and Bridging the Functional Perception Gap in MLLMs: Atomic Visual Alignment and Hierarchical Evaluation via PET-Bench [48.60251555171943]
  MLLM(Multimodal Large Language Models)は、異常検出や解剖学的モダリティのレポート生成などのタスクにおいて、顕著な熟練性を示した。 本研究では, 機能的トレーサの生体分布を, 形態的先行性とは無関係に復号化できない現状の視覚エンコーダについて, 基本的な機能的知覚ギャップを定量化する。 PET-Benchは52,308個の階層型QAペアからなるPET-Benchの最初の大規模機能評価ベンチマークである。 AVAは認知ギャップを効果的に橋渡しし、CoTを幻覚源から頑健な推論ツールに変換し、診断を改善していることを示す。
  論文  参考訳（メタデータ） (2026-01-06T05:58:50Z)
• Vision-Language Models for Automated 3D PET/CT Report Generation [13.781844347232079]
  自己PET/CTレポート生成は, 臨床負荷軽減にますます重要である。 PETRG-3Dは、PETとCTのボリュームをエンコードし、スタイル適応プロンプトを組み込んだエンドツーエンドの3Dデュアルブランチフレームワークである。 PETRG-Score(PETRG-Score)は、悪性リンパ腫に特異的な評価プロトコルである。
  論文  参考訳（メタデータ） (2025-11-25T10:07:57Z)
• PETAR: Localized Findings Generation with Mask-Aware Vision-Language Modeling for PET Automated Reporting [10.800541081358132]
  5,000点以上のPET/CT検診から3Dセグメンテーションと組み合わせた11,000点以上の病変レベル記述からなる大規模データセットを提案する。 本データセットに基づいて,PET,CT,病変輪郭を統合した3次元マスク対応視覚言語モデルPETAR-4Bを提案する。
  論文  参考訳（メタデータ） (2025-10-31T17:49:01Z)
• Developing a PET/CT Foundation Model for Cross-Modal Anatomical and Functional Imaging [39.59895695500171]
  FratMAE(Cross-Fraternal Twin Masked Autoencoder)は,全身解剖学的および機能的情報を効果的に統合する新しいフレームワークである。 FratMAEは複雑なクロスモーダル関係とグローバルな取り込みパターンをキャプチャし、下流タスクにおいて優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-03-04T17:49:07Z)
• From FDG to PSMA: A Hitchhiker's Guide to Multitracer, Multicenter Lesion Segmentation in PET/CT Imaging [0.9384264274298444]
  本稿では,ResEncL アーキテクチャを用いた nnU-Net フレームワークを用いたマルチトラス,マルチセンタの一般化を目的とした AutoPET III チャレンジの解決策を提案する。 主なテクニックは、CT、MR、PETデータセット間での誤調整データ拡張とマルチモーダル事前トレーニングである。 Diceスコアが57.61となったデフォルトのnnU-Netと比較して、Diceスコアが68.40であり、偽陽性(FPvol: 7.82)と偽陰性(FNvol: 10.35)が減少している。
  論文  参考訳（メタデータ） (2024-09-14T16:39:17Z)
• HiDe-PET: Continual Learning via Hierarchical Decomposition of Parameter-Efficient Tuning [55.88910947643436]
  予備学習モデル(PTM)とパラメータ効率チューニング(PET)を組み合わせた連続学習(CL)統合フレームワークを提案する。 タスク固有知識とタスク共有知識を取り入れることで目的を明示的に最適化する革新的な手法である階層分解PET(HiDe-PET)を提案する。 提案手法は,近年の強いベースラインの幅広いスペクトルに対して,極めて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-07-07T01:50:25Z)
• ConPET: Continual Parameter-Efficient Tuning for Large Language Models [65.48107393731861]
  継続的な学習には、新しいタスクへのモデルの継続的な適応が必要である。 継続性を提案する。 効率的なチューニング(ConPET) - 一般化可能なパラダイム。 大規模言語モデルの連続的なタスク適応。
  論文  参考訳（メタデータ） (2023-09-26T08:52:04Z)
• Contrastive Diffusion Model with Auxiliary Guidance for Coarse-to-Fine PET Reconstruction [62.29541106695824]
  本稿では, 粗い予測モジュール (CPM) と反復的修正モジュール (IRM) から構成される粗大なPET再構成フレームワークを提案する。 計算オーバーヘッドの大部分をCPMに委譲することで,本手法のサンプリング速度を大幅に向上させることができる。 2つの追加戦略、すなわち補助的な誘導戦略と対照的な拡散戦略が提案され、再構築プロセスに統合される。
  論文  参考訳（メタデータ） (2023-08-20T04:10:36Z)
• A Unified Continual Learning Framework with General Parameter-Efficient Tuning [56.250772378174446]
  「事前学習$rightarrow$ダウンストリーム適応」は、継続学習の新しい機会と課題を提示する。 我々は,PETの1つのインスタンス化としてプロンプトを位置づけ,ラーニング・アキュミュレーション・アンサンブル(LAE)と呼ばれる統一的なCLフレームワークを提案する。 PET(Adapter、LoRA、Prefixなど)は、トレーニング済みのモデルをより少ないパラメータとリソースで下流のタスクに適応させることができる。
  論文  参考訳（メタデータ） (2023-03-17T15:52:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。