論文の概要: Compositional Cross-Modality Translation via Whole-Volume Multitask Latent Flow Matching
- arxiv url: http://arxiv.org/abs/2608.08135v1
- Date: Sat, 08 Aug 2026 13:43:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.692828
- Title: Compositional Cross-Modality Translation via Whole-Volume Multitask Latent Flow Matching
- Title（参考訳）: 全体積マルチタスクラテントフローマッチングによる構成的クロスモーダル変換
- Abstract要約: クロスモーダルな医療画像翻訳は、マルチモーダルな買収の負担を軽減することができる。
メソッドはボリューム全体ではなく2Dスライスや3Dパッチで動作し、各翻訳タスクごとに個別のモデルをトレーニングする。
本稿では,大規模な事前学習型3次元変分オートエンコーダを用いて,これらの目的を分離することを提案する。
- 参考スコア（独自算出の注目度）: 1.447808799346751
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Cross-modality medical image translation can reduce the burden of multi-modal acquisitions, yet the field remains constrained by two coupled limitations: methods operate on 2D slices or 3D patches rather than whole volumes, and train a separate model for each translation task. Both stem from a single cause, the absence of a sufficiently strong volumetric prior, which forces generative models to learn anatomical appearance and cross-modality mapping simultaneously, an ill-posed problem at the scale of available paired datasets. We propose to decouple these objectives. A large-scale pretrained 3D variational autoencoder provides a compact latent representation of volumetric appearance, reducing translation to a conditional flow-matching problem. This compression makes whole-volume processing tractable, while a resolution-aware sampling strategy preserves native anatomical scale. We train a single model jointly across inter-modality (MRI$\to$CT, CBCT$\to$CT) and intra-modality (MRI$\to$MRI) tasks over three multi-center datasets. Across all tasks, whole-volume processing outperforms its patch-based counterpart, and the multi-task model matches task-specific baselines while replacing $N$ networks with one. Crucially, joint training unlocks capabilities inaccessible to task-specific approaches: zero-shot generalization to anatomical regions unseen during training, within 0.15 SSIM of the fully supervised model, and compositional cross-dataset translation along paths never directly supervised. These results suggest that combining a strong volumetric prior with multitask training is a scalable route toward synthesis systems that generalize beyond their training distribution. Code is available at https://github.com/arco-group/Whole-Volume-Latent-FM.
- Abstract（参考訳）: クロスモダリティの医療画像翻訳は、マルチモーダルな取得の負担を軽減することができるが、フィールドは2つの制約によって制約されている: メソッドはボリューム全体ではなく2Dスライスまたは3Dパッチで動作し、各翻訳タスクごとに個別のモデルを訓練する。
どちらも単一の原因によるもので、十分な量の先行が存在しないため、生成モデルでは解剖学的外観と相互モダリティマッピングを同時に学習せざるを得なくなり、利用可能なペアデータセットの規模では不適切な問題となっている。
これらの目的を分離することを提案する。
大規模に事前訓練された3次元変分オートエンコーダは、容積的外観のコンパクトな潜在表現を提供し、条件付きフローマッチング問題への変換を減らす。
この圧縮により、全ボリューム処理が抽出可能となり、分解能を意識したサンプリング戦略は、ネイティブな解剖学的スケールを維持できる。
我々は、3つのマルチセンターデータセット上で、モダリティ間(MRI$\to$CT, CBCT$\to$CT)とモダリティ内(MRI$\to$MRI)のタスクを共同でトレーニングする。
すべてのタスクにおいて、全ボリューム処理はパッチベースの処理よりも優れており、マルチタスクモデルはタスク固有のベースラインと一致し、N$ネットワークを1つに置き換える。
重要なことは、ジョイントトレーニングはタスク固有のアプローチに到達できない能力をアンロックする:訓練中に見えない解剖学的領域へのゼロショットの一般化、完全な教師付きモデルの0.15 SSIM、直接教師なしパスに沿った構成的クロスデータセット翻訳である。
これらの結果から, マルチタスク学習に先立って, 高い容積を組み込むことは, 学習分布を超えて一般化する合成システムへのスケーラブルな経路であることが示唆された。
コードはhttps://github.com/arco-group/Whole-Volume-Latent-FMで公開されている。
関連論文リスト
- AdaSurvMamba: Dynamic Fusion and Semantic Scanning for Multimodal Survival Analysis [57.942670844512016]
我々はAdaSurvMambaをマルチモーダルサバイバル分析の新しい適応フレームワークとして紹介する。
このフレームワークは、クロスモーダル相互作用強度を動的に変調するDual-Scale Importance-Aware Reconstruction (DSIR)モジュールを備えている。
5つのTCGAコホートに対する実験は、既存の方法よりも一貫した利得を示している。
論文 参考訳（メタデータ） (2026-06-28T11:36:31Z) - 3D-Aware Multi-Task Learning with Cross-View Correlations for Dense Scene Understanding [18.76513756741288]
現在のアプローチは主に2D画像空間におけるクロスタスク関係を捉えており、しばしば3D認識に欠ける非構造的特徴に繋がる。
MTLネットワークにおける幾何学的整合性として,ビュー間の相関,すなわちコスト容積を統合することで,この問題に対処することを提案する。
具体的には、タスク間で共有される軽量なクロスビューモジュール(CvM)を導入し、ビュー間で情報を交換し、クロスビューの相関を捉える。
論文 参考訳（メタデータ） (2025-11-25T18:59:34Z) - Multi-modal Relation Distillation for Unified 3D Representation Learning [30.942281325891226]
マルチモーダルリレーショナル蒸留(Multi-modal Relation Distillation、MRD)は、3次元バックボーンに再生可能な大型ビジョンランゲージモデル(VLM)を蒸留するために設計された3次元事前学習フレームワークである。
MRDは、各モダリティ内の関係と異なるモダリティ間の相互関係をキャプチャし、より差別的な3D形状表現を作り出すことを目的としている。
論文 参考訳（メタデータ） (2024-07-19T03:43:48Z) - MIS-FM: 3D Medical Image Segmentation using Foundation Models Pretrained
on a Large-Scale Unannotated Dataset [14.823114726604853]
本稿では,3次元セグメンテーションモデルを事前学習するための,VF(Volume Fusion)と呼ばれる新たな自己教師型学習戦略を提案する。
VFは、手動のアノテーションなしで自己教師付きセグメンテーションタスクとして定式化される各ボクセルの融合係数を予測するようモデルを強制する。
頭部, 頸部臓器, 胸部, 腹部臓器など, 下流領域の異なる部位を対象とする実験により, 我々の事前訓練モデルがスクラッチからトレーニングに優れていたことが判明した。
論文 参考訳（メタデータ） (2023-06-29T13:22:13Z) - Training Transitive and Commutative Multimodal Transformers with LoReTTa [2.5257466288614343]
本稿では,この課題に対処するため,LoReTTa (mOdalities with a tRansitive and commutativE pre-Training sTrAtegy)を提案する。
我々の自己監督型フレームワークは, 因果モデリングとマスキングを, 可換性と推移性の規則で統一する。
LoReTTaで事前訓練された変換器は、未確認対 (A, C) と三重項 (A, B, C) を含む任意のモダリティの混合を推論時に処理可能であることを示す。
論文 参考訳（メタデータ） (2023-05-23T16:58:55Z) - Multi-scale Transformer Network with Edge-aware Pre-training for
Cross-Modality MR Image Synthesis [52.41439725865149]
クロスモダリティ磁気共鳴(MR)画像合成は、与えられたモダリティから欠落するモダリティを生成するために用いられる。
既存の(教師付き学習)手法は、効果的な合成モデルを訓練するために、多くのペア化されたマルチモーダルデータを必要とすることが多い。
マルチスケールトランスフォーマーネットワーク(MT-Net)を提案する。
論文 参考訳（メタデータ） (2022-12-02T11:40:40Z) - Dual Multi-scale Mean Teacher Network for Semi-supervised Infection
Segmentation in Chest CT Volume for COVID-19 [76.51091445670596]
CT(Computed tomography)データから肺感染症を自動的に検出することは、COVID-19と戦う上で重要な役割を担っている。
現在の新型コロナウイルス感染症のセグメンテーションのほとんどは、主に3Dシーケンシャルな制約を欠いた2D CT画像に依存している。
既存の3次元CTセグメンテーション法では,3次元ボリュームにおける複数レベルの受容場サイズを達成できない単一スケールの表現に焦点が当てられている。
論文 参考訳（メタデータ） (2022-11-10T13:11:21Z) - On Optimizing the Communication of Model Parallelism [74.15423270435949]
大規模モデル並列ディープラーニング(DL)における新しい重要なコミュニケーションパターンについて検討する。
クロスメッシュリシャーディングでは、シャードテンソルをソースデバイスメッシュから宛先デバイスメッシュに送信する必要がある。
本稿では、効率的な放送ベースの通信システムと「重複しやすい」パイプラインスケジュールという、クロスメシュ・リシャーディングに対処するための2つのコントリビューションを提案する。
論文 参考訳（メタデータ） (2022-11-10T03:56:48Z) - M2Net: Multi-modal Multi-channel Network for Overall Survival Time
Prediction of Brain Tumor Patients [151.4352001822956]
生存時間(OS)の早期かつ正確な予測は、脳腫瘍患者に対するより良い治療計画を得るのに役立つ。
既存の予測手法は、磁気共鳴(MR)ボリュームの局所的な病変領域における放射能特性に依存している。
我々は,マルチモーダルマルチチャネルネットワーク(M2Net)のエンドツーエンドOS時間予測モデルを提案する。
論文 参考訳（メタデータ） (2020-06-01T05:21:37Z) - Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
本稿では,不対向画像分割のための新しい学習手法を提案する。
提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。
我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
論文 参考訳（メタデータ） (2020-01-06T20:03:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。