論文の概要: Sketch2CT: Multimodal Diffusion for Structure-Aware 3D Medical Volume Generation

• arxiv url: http://arxiv.org/abs/2603.22509v1
• Date: Mon, 23 Mar 2026 19:14:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.162722
• Title: Sketch2CT: Multimodal Diffusion for Structure-Aware 3D Medical Volume Generation
• Title（参考訳）: Sketch2CT: 構造を考慮した3次元医用ボリューム生成のためのマルチモーダル拡散
• Authors: Delin An, Chaoli Wang,
• Abstract要約: 構造認識型3D医療ボリューム生成のための多モード拡散フレームワークであるSketch2CTを紹介する。 そこで我々は,局所的なテキストキューでスケッチ機能を洗練し,グローバルなスケッチテキスト表現を統合する2つの重要なモジュールを提案する。 公開CTデータセットの実験により、Sketch2CTはマルチモーダル医療ボリュームの生成において優れた性能を発揮することが示された。
• 参考スコア（独自算出の注目度）: 6.579411113349966
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion probabilistic models have demonstrated significant potential in generating high-quality, realistic medical images, providing a promising solution to the persistent challenge of data scarcity in the medical field. Nevertheless, producing 3D medical volumes with anatomically consistent structures under multimodal conditions remains a complex and unresolved problem. We introduce Sketch2CT, a multimodal diffusion framework for structure-aware 3D medical volume generation, jointly guided by a user-provided 2D sketch and a textual description that captures 3D geometric semantics. The framework initially generates 3D segmentation masks of the target organ from random noise, conditioned on both modalities. To effectively align and fuse these inputs, we propose two key modules that refine sketch features with localized textual cues and integrate global sketch-text representations. Built upon a capsule-attention backbone, these modules leverage the complementary strengths of sketches and text to produce anatomically accurate organ shapes. The synthesized segmentation masks subsequently guide a latent diffusion model for 3D CT volume synthesis, enabling realistic reconstruction of organ appearances that are consistent with user-defined sketches and descriptions. Extensive experiments on public CT datasets demonstrate that Sketch2CT achieves superior performance in generating multimodal medical volumes. Its controllable, low-cost generation pipeline enables principled, efficient augmentation of medical datasets. Code is available at https://github.com/adlsn/Sketch2CT.
• Abstract（参考訳）: 拡散確率モデルは、高品質で現実的な医療画像を生成する上で大きな可能性を示し、医療分野におけるデータの不足という永続的な課題に対する有望な解決策を提供する。 それでも、マルチモーダル条件下で解剖学的に一貫した構造を持つ3次元医療ボリュームの生成は複雑で未解決の課題である。 構造認識型医用ボリューム生成のための多モード拡散フレームワークであるSketch2CTを紹介する。 このフレームワークは最初、両方のモードで条件付けられたランダムノイズから、対象臓器の3Dセグメンテーションマスクを生成する。 これらのインプットを効果的に整合し、融合させるために、スケッチ機能を局所化されたテキストキューで洗練し、グローバルなスケッチテキスト表現を統合する2つの重要なモジュールを提案する。 カプセルを固定したバックボーンの上に構築されたこれらのモジュールは、スケッチとテキストの相補的な強度を利用して、解剖学的に正確な臓器形状を生成する。 合成セグメンテーションマスクはその後、3次元CTボリューム合成のための潜時拡散モデルを示し、ユーザーが定義したスケッチや記述と整合した臓器の外観を現実的に再現することを可能にする。 公開CTデータセットに対する大規模な実験により、Sketch2CTはマルチモーダル医療ボリュームの生成において優れた性能を発揮することが示された。 その制御可能で低コストな生成パイプラインは、医療データセットの原則的かつ効率的な拡張を可能にする。 コードはhttps://github.com/adlsn/Sketch2CTで入手できる。

関連論文リスト

• MedPruner: Training-Free Hierarchical Token Pruning for Efficient 3D Medical Image Understanding in Vision-Language Models [59.180043227905294]
  MedPrunerは、3次元医用画像の効率的な理解のためのトレーニング不要でモデルに依存しない階層的トークンプレーニングフレームワークである。 我々は、MedPrunerによって、MedGemmaのようなモデルが元の性能を維持したり、超えたりすることが可能であり、ビジュアルトークンの5%以下を維持していることを示す。
  論文  参考訳（メタデータ） (2026-03-12T07:37:00Z)
• Stroke3D: Lifting 2D strokes into rigged 3D model via latent diffusion models [53.32092058519587]
  Stroke3Dは、ユーザ入力から2D描画ストロークと記述テキストプロンプトを直接生成する新しいフレームワークである。 私たちの知識を最大限に活用するために、私たちの研究は、ユーザ引き起こされた2Dストロークに条件付けされたトリグされた3Dメッシュを初めて生成しました。
  論文  参考訳（メタデータ） (2026-02-10T12:17:00Z)
• Multimodal Visual Surrogate Compression for Alzheimer's Disease Classification [69.87877580725768]
  MVSC(Multimodal Visual Surrogate Compression)は、大規模な3D sMRIボリュームをコンパクトな2D機能に圧縮し、適応させることを学ぶ。 MVSCには2つの重要なコンポーネントがある: テキストガイダンスの下でグローバルなクロススライスコンテキストをキャプチャするボリュームコンテキストと、テキストエンハンスでパッチワイズな方法でスライスレベルの情報を集約するAdaptive Slice Fusionモジュール。
  論文  参考訳（メタデータ） (2026-01-29T13:05:46Z)
• Enhancing 3D Medical Image Understanding with Pretraining Aided by 2D Multimodal Large Language Models [5.020980730631682]
  既存の3D医療畳み込みとトランスフォーマーベースの自己教師付き学習(SSL)手法は、しばしば深い意味理解を欠いている。 マルチモーダル大規模言語モデル(MLLM)の最近の進歩は、テキスト記述による画像理解を強化するための有望なアプローチを提供する。 Med3DInsightは、3D画像エンコーダと2D MLLMを特別に設計された平面スライス対応トランスモジュールを介して統合する新しい事前学習フレームワークである。
  論文  参考訳（メタデータ） (2025-09-11T00:12:59Z)
• Text-to-CT Generation via 3D Latent Diffusion Model with Contrastive Vision-Language Pretraining [1.447808799346751]
  本稿では,3次元コントラッシブな視覚-言語事前学習方式と潜在拡散モデルを組み合わせたテキスト-CT生成のための新しいアーキテクチャを提案する。 本手法は,テキストから臨床的に有意なCTボリュームを合成するための,スケーラブルで制御可能なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-05-31T16:41:55Z)
• TextDiffSeg: Text-guided Latent Diffusion Model for 3d Medical Images Segmentation [0.0]
  テキスト誘導拡散モデルフレームワークであるTextDiffSegは、3Dボリュームデータを自然言語記述と統合する。 複雑な解剖構造を認識するモデルの能力を高めることで、TextDiffSegは革新的なラベル埋め込み技術を取り入れている。 実験の結果、TextDiffSegは腎臓と膵腫瘍を含む分節作業において、既存の方法よりも一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2025-04-16T07:17:36Z)
• Generative Enhancement for 3D Medical Images [74.17066529847546]
  本稿では,3次元医用画像合成の新しい生成手法であるGEM-3Dを提案する。 本手法は2次元スライスから始まり,3次元スライスマスクを用いて患者に提供するための情報スライスとして機能し,生成過程を伝搬する。 3D医療画像をマスクと患者の事前情報に分解することで、GEM-3Dは多目的な3D画像を生成する柔軟な、かつ効果的なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-03-19T15:57:04Z)
• GuideGen: A Text-Guided Framework for Full-torso Anatomy and CT Volume Generation [1.138481191622247]
  GuideGenは、フリーフォームのテキストプロンプトに基づいて、胸部から骨盤まで、解剖学的マスクとそれに対応するCTボリュームを生成する制御可能なフレームワークである。 提案手法は,リアルなフルトルソ解剖を作成するためのテキスト条件セマンティックシンセサイザー,コントラストを意識した様々なコントラストレベルの詳細な特徴抽出用オートエンコーダ,CT画像,解剖学的セマンティクス,入力プロンプト間のアライメントを保証する潜在特徴生成装置の3つのコアコンポーネントを含む。
  論文  参考訳（メタデータ） (2024-03-12T02:09:39Z)
• Make-A-Volume: Leveraging Latent Diffusion Models for Cross-Modality 3D Brain MRI Synthesis [35.45013834475523]
  クロスモダリティ医療画像合成は重要なトピックであり、医療画像分野における多くの応用を促進する可能性がある。 現在の医療画像合成法のほとんどは、生成的敵ネットワークに依存しており、悪名高いモード崩壊と不安定な訓練に悩まされている。 本稿では,2次元バックボーンを利用した医療データ合成のための新しいパラダイムを提案し,拡散型フレームワークであるMake-A-Volumeを提案する。
  論文  参考訳（メタデータ） (2023-07-19T16:01:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。