論文の概要: A Simple and Robust Framework for Cross-Modality Medical Image Segmentation applied to Vision Transformers

• arxiv url: http://arxiv.org/abs/2310.05572v1
• Date: Mon, 9 Oct 2023 09:51:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 06:27:52.198306
• Title: A Simple and Robust Framework for Cross-Modality Medical Image Segmentation applied to Vision Transformers
• Title（参考訳）: ビジュアライゼーション・トランスフォーマーに適用したクロスモーダル医用画像分割のためのシンプルでロバストなフレームワーク
• Authors: Matteo Bastico, David Ryckelynck, Laurent Cort\'e, Yannick Tillier, Etienne Decenci\`ere
• Abstract要約: 単一条件モデルを用いて複数モードの公平な画像分割を実現するための簡単なフレームワークを提案する。 本研究の枠組みは,マルチモーダル全心条件課題において,他のモダリティセグメンテーション手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When it comes to clinical images, automatic segmentation has a wide variety of applications and a considerable diversity of input domains, such as different types of Magnetic Resonance Images (MRIs) and Computerized Tomography (CT) scans. This heterogeneity is a challenge for cross-modality algorithms that should equally perform independently of the input image type fed to them. Often, segmentation models are trained using a single modality, preventing generalization to other types of input data without resorting to transfer learning techniques. Furthermore, the multi-modal or cross-modality architectures proposed in the literature frequently require registered images, which are not easy to collect in clinical environments, or need additional processing steps, such as synthetic image generation. In this work, we propose a simple framework to achieve fair image segmentation of multiple modalities using a single conditional model that adapts its normalization layers based on the input type, trained with non-registered interleaved mixed data. We show that our framework outperforms other cross-modality segmentation methods, when applied to the same 3D UNet baseline model, on the Multi-Modality Whole Heart Segmentation Challenge. Furthermore, we define the Conditional Vision Transformer (C-ViT) encoder, based on the proposed cross-modality framework, and we show that it brings significant improvements to the resulting segmentation, up to 6.87\% of Dice accuracy, with respect to its baseline reference. The code to reproduce our experiments and the trained model weights are available at https://github.com/matteo-bastico/MI-Seg.
• Abstract（参考訳）: 臨床画像に関して言えば、自動セグメンテーションにはさまざまな応用があり、mri(mri)やctスキャン(computerized tomography)といった入力領域もかなり多様である。 この不均一性は、入力された画像タイプから独立して等しく実行するべき、クロスモダリティアルゴリズムの課題である。 セグメンテーションモデルは単一のモダリティを用いて訓練され、転送学習技術に頼ることなく、他のタイプの入力データへの一般化を防ぐ。 さらに,本論文で提案されているマルチモーダルアーキテクチャやクロスモダリティアーキテクチャでは,臨床環境での収集が容易でない,あるいは合成画像生成などの追加処理ステップを必要とする場合が多い。 本研究では,入力型に基づいて正規化層を適応させる単一条件モデルを用いて,複数モードの公平な画像分割を実現するための簡単なフレームワークを提案する。 マルチモダリティ全心分節課題において,同じ3次元unetベースラインモデルに適用した場合に,我々のフレームワークが他のクロスモダリティ分節法よりも優れていることを示す。 さらに,提案するクロスモダリティ・フレームワークに基づく条件付き視覚トランスフォーマタ(c-vit)エンコーダを定義し,そのベースライン参照に関して,最大6.87\%のdice精度で結果のセグメンテーションに大幅な改善をもたらすことを示す。 実験とトレーニングされたモデルの重み付けを再現するコードは、https://github.com/matteo-bastico/MI-Seg.comで公開されている。

関連論文リスト

• MulModSeg: Enhancing Unpaired Multi-Modal Medical Image Segmentation with Modality-Conditioned Text Embedding and Alternating Training [10.558275557142137]
  マルチモーダル(MulModSeg)戦略を提案する。 MulModSegは、凍結されたテキストエンコーダを介して、モダリティ条件付きテキスト埋め込みフレームワークを組み込んでいる。 腹部多臓器および心室サブ構造をCTとMRの両方で分画する従来の方法より一貫して優れていた。
  論文  参考訳（メタデータ） (2024-11-23T14:37:01Z)
• Data Adaptive Few-shot Multi Label Segmentation with Foundation Model [0.0]
  数発のセグメンテーションのための最先端の手法は、医療画像の準最適性能に悩まされている。 単一ラベル,多ラベルローカライゼーション,セグメンテーションのための基礎モデル (FM) ベースのアダプタを提案する。
  論文  参考訳（メタデータ） (2024-10-13T07:29:13Z)
• Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
  Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。 従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。 本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
  論文  参考訳（メタデータ） (2023-12-19T08:14:14Z)
• SeUNet-Trans: A Simple yet Effective UNet-Transformer Model for Medical Image Segmentation [0.0]
  医用画像セグメンテーションのためのシンプルなUNet-Transformer(seUNet-Trans)モデルを提案する。 提案手法では,UNetモデルを特徴抽出器として設計し,入力画像から複数の特徴マップを生成する。 UNetアーキテクチャと自己認識機構を活用することで、我々のモデルはローカルとグローバルの両方のコンテキスト情報を保存するだけでなく、入力要素間の長距離依存関係をキャプチャできる。
  論文  参考訳（メタデータ） (2023-10-16T01:13:38Z)
• Interpretable Small Training Set Image Segmentation Network Originated from Multi-Grid Variational Model [5.283735137946097]
  深層学習法 (DL) が提案され, 画像分割に広く利用されている。 DLメソッドは通常、トレーニングデータとして大量の手動セグメントデータを必要とし、解釈性に乏しい。 本稿では,MSモデルにおける手作り正則項をデータ適応型一般化可学習正則項に置き換える。
  論文  参考訳（メタデータ） (2023-06-25T02:34:34Z)
• Semantic Image Synthesis via Diffusion Models [159.4285444680301]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)
• Two-Stream Graph Convolutional Network for Intra-oral Scanner Image Segmentation [133.02190910009384]
  本稿では,2ストリームグラフ畳み込みネットワーク(TSGCN)を提案する。 TSGCNは3次元歯(表面)セグメンテーションにおいて最先端の方法よりも優れています。
  論文  参考訳（メタデータ） (2022-04-19T10:41:09Z)
• Meta Internal Learning [88.68276505511922]
  単一画像生成のための内部学習は、単一の画像に基づいて新しい画像を生成するようにジェネレータを訓練するフレームワークである。 本稿では,サンプル画像の内部統計をより効果的にモデル化するために,画像集合のトレーニングを可能にするメタラーニング手法を提案する。 以上の結果から, 得られたモデルは, 多数の共通画像アプリケーションにおいて, シングルイメージのGANと同程度に適していることがわかった。
  論文  参考訳（メタデータ） (2021-10-06T16:27:38Z)
• Modality Completion via Gaussian Process Prior Variational Autoencoders for Multi-Modal Glioma Segmentation [75.58395328700821]
  本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。 MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。 4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
  論文  参考訳（メタデータ） (2021-07-07T19:06:34Z)
• JSSR: A Joint Synthesis, Segmentation, and Registration System for 3D Multi-Modal Image Alignment of Large-scale Pathological CT Scans [27.180136688977512]
  本稿では,エンドツーエンドの3D畳み込みニューラルネットワークに基づく新しいマルチタスク学習システムJSSRを提案する。 システムは、教師なしの方法で異なるタスク間の暗黙の制約を満たすように最適化されている。 従来型のマルチモーダル登録法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2020-05-25T16:30:02Z)
• Learning Deformable Image Registration from Optimization: Perspective, Modules, Bilevel Training and Beyond [62.730497582218284]
  マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。 我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
  論文  参考訳（メタデータ） (2020-04-30T03:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。