論文の概要: Rad-JEPA 3D: Radiology Joint-Embedding Predictive Model for 3D Computed Tomography
- arxiv url: http://arxiv.org/abs/2607.26196v1
- Date: Tue, 28 Jul 2026 19:00:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-30 21:06:25.453677
- Title: Rad-JEPA 3D: Radiology Joint-Embedding Predictive Model for 3D Computed Tomography
- Title(参考訳): Rad-JEPA 3D:3次元CTのためのラジオロジー共同埋め込み予測モデル
- Abstract要約: ボリュームCT表現を学習する共同埋め込み予測フレームワークであるRad-JEPA 3Dを紹介する。
中間表現の質を向上させるために,隠れ状態直交正規化(HSOR)を提案する。
HSORは、生徒と教師の隠れ状態を調整し、エンコーダ全体の特徴冗長性を減少させる。
- 参考スコア(独自算出の注目度): 10.665332135327205
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised pretraining is central to 3D medical image analysis, where unlabeled CT volumes are abundant but expert annotations are scarce. Yet existing volumetric encoders often fail to preserve the coarse spatial and geometric structure that downstream reasoning depends on, limiting their performance on organ disentanglement, abnormality detection, and spatial understanding when paired with language models. We introduce Rad-JEPA 3D, a joint-embedding predictive framework that learns volumetric CT representations by predicting the latent features of a complete scan from a masked view. At its core is a hybrid H-Mamba encoder that fuses a Mamba state-space branch, which models inter-slice continuity through sequential scanning, with a grouped-query attention branch, which captures cross-plane spatial context, combined through a lightweight per-token router. To improve the quality of intermediate representations, we further propose Hidden States Orthogonal Regularization (HSOR), which aligns student-teacher hidden states and reduces feature redundancy throughout the encoder. This layer-wise regularization produces more consistent and discriminative volumetric representations, leading to improved performance on organ recognition and spatial reasoning tasks. Pretrained on approximately 120,000 CT scans, Rad-JEPA 3D attains state-of-the-art results despite its compact size: with only 4.0B total parameters, it achieves competitive results with state-of-the-art on closed-ended VQA and the best average spatial-reasoning score on the Spatial-Med benchmark. Ablation studies confirm that the hybrid block and HSOR contribute complementary gains, and that the induced spatial structure can substitute for raw language-model scale on volumetric reasoning tasks.
- Abstract(参考訳): 自己監督型事前訓練は3次元医用画像解析の中心であり、ラベルなしCTボリュームは豊富だが専門家のアノテーションは乏しい。
しかし、既存の体積エンコーダは、下流の推論が依存する粗い空間的および幾何学的構造を保たず、言語モデルと組み合わせた場合の臓器の絡み合い、異常検出、空間的理解のパフォーマンスを制限している。
マスク付きビューから全スキャンの潜伏した特徴を予測し,ボリュームCT表現を学習する共同埋め込み予測フレームワークであるRad-JEPA 3Dを紹介する。
コアとなるH-MambaエンコーダはMambaステートスペースブランチを融合し、シーケンシャルスキャンによってスライス間連続性をモデル化し、グループ化されたクエリーアテンションブランチは、平面間の空間コンテキストをキャプチャし、軽量なルータを介して結合する。
中間表現の質を向上させるために,学生と教師が隠れた状態を整列し,エンコーダ全体の特徴冗長性を減少させるHidden States Orthogonal Regularization (HSOR)を提案する。
この階層的な正規化は、より一貫性があり識別的な体積表現を生み出し、臓器認識と空間的推論タスクの性能を向上させる。
Rad-JEPA 3Dは、約12万のCTスキャンに基づいて、そのコンパクトなサイズにもかかわらず、最先端の結果を得る: 総パラメータは4.0Bであり、クローズドエンドVQAの最先端とSpatial-Medベンチマークの最高の平均空間推論スコアで競合する。
アブレーション研究により,ハイブリッドブロックとHSORが相補的ゲインに寄与し,空間構造が実言語モデル尺度に代えて容積的推論作業が可能であることが確認された。
関連論文リスト
- Big, Bright, or Invisible: A Frozen-Feature Benchmark of 3D CT Foundation Models [30.102620002840904]
3次元CT基礎モデルは、解剖学と病理学の一般化可能な表現を提供することで、日常的な解釈を支援することができる。
胸部CTスキャンの3コホートに10個の凍結CTエンコーダをベンチマークした。
評価状況によってランクが著しく変動するので、普遍的な最先端技術は見つからない。
論文 参考訳(メタデータ) (2026-08-06T12:34:17Z) - Decouple and Reason: Anatomically Guided Two-Stage Voxel-Level Grounding of Free-Text Findings in 3D Chest CT [4.758987047240808]
3次元胸部CT(CT)における自由テキスト所見の接地は臨床的解釈に重要である。
そこで本研究では,この問題を,クラス非依存的病変セグメント化とテキストボリューム推論という,2つの特殊な段階に分離する,新たな分離フレームワークを提案する。
本手法は, 公式のリーダーボード上での総合的な基礎品質において, 最先端の性能を実現する。
論文 参考訳(メタデータ) (2026-07-14T10:26:14Z) - Topology-Driven Transferability Estimation for 3D Medical Vision Foundation Models [24.834339924064505]
3次元医用画像における高密度予測タスクのためのボクセル・ワイド・フレームワークを提案する。
本フレームワークは,高密度特徴のスパース1-スケルトン幾何グラフと意味ラベルとのアライメントから,転送可能性を直接推定する。
本フレームワークは,平均重み付きケンドール(0.36)を56倍の速度で評価しながら,最先端の転写性評価を実現する。
論文 参考訳(メタデータ) (2026-07-05T09:45:18Z) - 3D Ultrasound-Derived Pseudo-CT Synthesis Using a Transformer-Augmented Residual Network for Real-Time Operator Guidance [0.0]
超音波(US)は非イオン化であり、広くアクセス可能であるが、操作性が高く、定量的な組織特性が欠如している。
本研究は,USから推定されるCTのような解剖学的基準量を生成する3D超音波による擬似CTフレームワークを提案する。
提案手法は, 構造的忠実度と知覚的画像品質において, 確立されたベースラインより優れる。
論文 参考訳(メタデータ) (2026-05-06T12:52:59Z) - 3DGS-HPC: Distractor-free 3D Gaussian Splatting with Hybrid Patch-wise Classification [80.43401018217367]
3D Gaussian Splatting (3DGS) は新規なビュー合成と3Dシーン再構成において顕著な性能を示した。
その品質は、移動物体や様々な影など、過渡的な気晴らしによって、現実世界の環境において劣化することが多い。
既存の方法は、事前訓練された視覚モデルから抽出されたセマンティックな手がかりに頼り、これらの障害を識別し、抑制する。
本稿では,2つの相補的原理を組み合わせることで,これらの制約を回避するフレームワークである3DGS-HPCを提案する。
論文 参考訳(メタデータ) (2026-03-08T11:16:30Z) - Preoperative-to-intraoperative Liver Registration for Laparoscopic Surgery via Latent-Grounded Correspondence Constraints [51.7011449975586]
Land-Regは変形可能な登録フレームワークで、潜伏した2D-3Dのランドマーク対応を学習する。
厳格な登録のために、Land-Regはクロスモーダルラテントアライメントモジュールを採用している。
類似性マッチングを持つ不確実なオーバーラップランドマーク検出器を提案し, 明確な2D-3Dランドマーク対応を強く推定する。
論文 参考訳(メタデータ) (2026-03-02T10:44:03Z) - Multimodal Visual Surrogate Compression for Alzheimer's Disease Classification [69.87877580725768]
MVSC(Multimodal Visual Surrogate Compression)は、大規模な3D sMRIボリュームをコンパクトな2D機能に圧縮し、適応させることを学ぶ。
MVSCには2つの重要なコンポーネントがある: テキストガイダンスの下でグローバルなクロススライスコンテキストをキャプチャするボリュームコンテキストと、テキストエンハンスでパッチワイズな方法でスライスレベルの情報を集約するAdaptive Slice Fusionモジュール。
論文 参考訳(メタデータ) (2026-01-29T13:05:46Z) - Joint Geometry-Appearance Human Reconstruction in a Unified Latent Space via Bridge Diffusion [57.09673862519791]
本稿では,幾何学と外観のモデリングを結合潜在表現に統一する新しいフレームワークである textbfJGA-LBD を紹介する。
実験により、JGA-LBDは、幾何学的忠実度と外観品質の両方の観点から、現在の最先端アプローチよりも優れていることが示された。
論文 参考訳(メタデータ) (2026-01-01T12:48:56Z) - Structured Spectral Graph Learning for Anomaly Classification in 3D Chest CT Scans [0.0]
我々は、スペクトル領域の畳み込みによって処理される軸スライス三重項ノードを利用して、CTスキャンを構造化グラフとしてモデル化し、異常分類性能を向上させる新しいグラフベースのアプローチを提案する。
本手法は,z軸変換に頑健性を実現しつつ,強力なクロスデータセットの一般化と競争性能を示す。
論文 参考訳(メタデータ) (2025-08-01T19:52:34Z) - MOSAIC: A Multi-View 2.5D Organ Slice Selector with Cross-Attentional Reasoning for Anatomically-Aware CT Localization in Medical Organ Segmentation [0.8747606955991707]
既存の3Dセグメンテーションアプローチは計算的かつメモリ集約的であり、多くの場合、多くの解剖学的に無関係なスライスを含む全ボリュームを処理する。
セグメント化に先立って入力量を削減できる新しい解剖学的スライスセレクタパイプラインを提案する。
提案モデルでは, 構造的関連性の高いスライスを選択的に保持する多視点表現を前提として, 解剖学的局所化の「専門家」として機能する。
論文 参考訳(メタデータ) (2025-05-15T19:32:28Z) - JOTR: 3D Joint Contrastive Learning with Transformers for Occluded Human
Mesh Recovery [84.67823511418334]
本稿では,3次元メッシュ復元のためのTRansformersフレームワークを用いた3次元ジョイントコントラスト学習について述べる。
提案手法は,2D$&$3D対応結果を得るために,2Dおよび3D表現を融合するエンコーダ・デコーダ変換器アーキテクチャを含む。
論文 参考訳(メタデータ) (2023-07-31T02:58:58Z) - A unified 3D framework for Organs at Risk Localization and Segmentation
for Radiation Therapy Planning [56.52933974838905]
現在の医療ワークフローは、OAR(Organs-at-risk)のマニュアル記述を必要とする
本研究は,OARローカライゼーション・セグメンテーションのための統合された3Dパイプラインの導入を目的とする。
提案手法は医用画像に固有の3Dコンテキスト情報の活用を可能にする。
論文 参考訳(メタデータ) (2022-03-01T17:08:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。