論文の概要: Hyper-Connected Transformer Network for Co-Learning Multi-Modality
PET-CT Features
- arxiv url: http://arxiv.org/abs/2210.15808v1
- Date: Fri, 28 Oct 2022 00:03:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-31 17:09:37.124255
- Title: Hyper-Connected Transformer Network for Co-Learning Multi-Modality
PET-CT Features
- Title(参考訳): 共学習型マルチモダリティpet-ct機能のためのハイパーコネクテッドトランスフォーマーネットワーク
- Authors: Lei Bi, Xiaohang Fu, Qiufang Liu, Shaoli Song, David Dagan Feng,
Michael Fulham, Jinman Kim
- Abstract要約: PET-CT画像のコラーニングは, 自動腫瘍セグメンテーションの基本的な要件である。
本稿では,ハイパーコネクテッド・フュージョンと変換器ネットワーク(TN)を統合したハイパーコネクテッド・トランス (HCT) ネットワークを提案する。
HCTは、様々な画像融合戦略とネットワークバックボーンに一貫した性能をもたらす。
- 参考スコア(独自算出の注目度): 15.877491313847086
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: [18F]-Fluorodeoxyglucose (FDG) positron emission tomography - computed
tomography (PET-CT) has become the imaging modality of choice for diagnosing
many cancers. Co-learning complementary PET-CT imaging features is a
fundamental requirement for automatic tumor segmentation and for developing
computer aided cancer diagnosis systems. We propose a hyper-connected
transformer (HCT) network that integrates a transformer network (TN) with a
hyper connected fusion for multi-modality PET-CT images. The TN was leveraged
for its ability to provide global dependencies in image feature learning, which
was achieved by using image patch embeddings with a self-attention mechanism to
capture image-wide contextual information. We extended the single-modality
definition of TN with multiple TN based branches to separately extract image
features. We introduced a hyper connected fusion to fuse the contextual and
complementary image features across multiple transformers in an iterative
manner. Our results with two non-small cell lung cancer and soft-tissue sarcoma
datasets show that HCT achieved better performance in segmentation accuracy
when compared to state-of-the-art methods. We also show that HCT produces
consistent performance across various image fusion strategies and network
backbones.
- Abstract(参考訳): 18F]-フルオロデオキシグルコース(FDG)ポジトロントモグラフィー(PET-CT)は,多くの癌を診断するための画像モダリティとなっている。
PET-CT画像の同時学習は, 自動腫瘍分割とコンピュータ支援癌診断システムの開発に必須である。
本稿では,マルチモダリティpet-ct画像に対して,トランスフォーマーネットワーク(tn)とハイパーコネクテッドフュージョンを統合したハイパーコネクテッドトランスフォーマー(hct)ネットワークを提案する。
tnは、画像全体のコンテキスト情報をキャプチャするセルフアテンション機構を備えたイメージパッチ埋め込みを使用することで、画像特徴学習にグローバル依存性を提供する能力として活用された。
我々はTNの単一モダリティ定義を複数のTNベースブランチで拡張し,画像の特徴を別々に抽出した。
我々は、複数のトランスフォーマーにまたがる文脈的および補完的な画像特徴を反復的に融合するハイパーコネクテッドフュージョンを導入した。
2つの非小細胞肺癌と軟部肉腫のデータセットを用いた結果から,hctは最先端法と比較して分節精度が向上した。
また,HCTは画像融合戦略やネットワークバックボーンに対して一貫した性能を示す。
関連論文リスト
- DCT-HistoTransformer: Efficient Lightweight Vision Transformer with DCT Integration for histopathological image analysis [0.0]
視覚変換器(ViTs)を用いた乳がんの新しい軽度分類法を提案する。
離散コサイン変換(DCT)アテンションとMobileConvの並列処理経路を組み込むことで、空間領域の画像データを周波数領域に変換し、画像内の高周波数をフィルタリングするといった利点を利用する。
提案モデルでは,バイナリ分類では96.00%$pm$0.48%,マルチクラス分類では87.85%$pm$0.93%の精度が得られた。
論文 参考訳(メタデータ) (2024-10-24T21:16:56Z) - Prototype Learning Guided Hybrid Network for Breast Tumor Segmentation in DCE-MRI [58.809276442508256]
本稿では,畳み込みニューラルネットワーク(CNN)とトランスフォーマー層を組み合わせたハイブリッドネットワークを提案する。
プライベートおよびパブリックなDCE-MRIデータセットの実験結果から,提案したハイブリッドネットワークは最先端の手法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2024-08-11T15:46:00Z) - Multi-modal Evidential Fusion Network for Trusted PET/CT Tumor Segmentation [5.839660501978193]
PET画像とCT画像の画質は臨床環境で大きく変化しており、ネットワークによって抽出されたモダリティ情報の不確実性につながっている。
本稿では,クロスモーダル・フィーチャーラーニング(CFL)モジュールとマルチモーダル・トラスト・フュージョン(MTF)モジュールからなる新しいマルチモーダル・エビデンシャル・フュージョン・ネットワーク(MEFN)を提案する。
本モデルでは, 自動セグメンテーション結果の受け入れや拒絶の判断において, セグメンテーション結果の確実な不確実性を, 放射線技師に提供することができる。
論文 参考訳(メタデータ) (2024-06-26T13:14:24Z) - SDR-Former: A Siamese Dual-Resolution Transformer for Liver Lesion
Classification Using 3D Multi-Phase Imaging [59.78761085714715]
本研究は肝病変分類のための新しいSDR-Formerフレームワークを提案する。
提案フレームワークは2つの臨床データセットに関する総合的な実験を通じて検証された。
科学コミュニティを支援するため,肝病変解析のための多段階MRデータセットを公開しています。
論文 参考訳(メタデータ) (2024-02-27T06:32:56Z) - Affine-Consistent Transformer for Multi-Class Cell Nuclei Detection [76.11864242047074]
本稿では, 原子核位置を直接生成する新しいアフィン一貫性変換器 (AC-Former) を提案する。
本稿では,AAT (Adaptive Affine Transformer) モジュールを導入し,ローカルネットワークトレーニングのためのオリジナル画像をワープするための重要な空間変換を自動学習する。
実験結果から,提案手法は様々なベンチマークにおいて既存の最先端アルゴリズムを著しく上回ることがわかった。
論文 参考訳(メタデータ) (2023-10-22T02:27:02Z) - Breast Ultrasound Tumor Classification Using a Hybrid Multitask
CNN-Transformer Network [63.845552349914186]
胸部超音波(BUS)画像分類において,グローバルな文脈情報の収集が重要な役割を担っている。
ビジョントランスフォーマーは、グローバルなコンテキスト情報をキャプチャする能力が改善されているが、トークン化操作によって局所的なイメージパターンを歪めてしまう可能性がある。
本研究では,BUS腫瘍分類とセグメンテーションを行うハイブリッドマルチタスクディープニューラルネットワークであるHybrid-MT-ESTANを提案する。
論文 参考訳(メタデータ) (2023-08-04T01:19:32Z) - SwinCross: Cross-modal Swin Transformer for Head-and-Neck Tumor
Segmentation in PET/CT Images [6.936329289469511]
クロスモーダルアテンション(CMA)モジュールを備えたクロスモーダルスウィントランス (SwinCross) は、複数の解像度でクロスモーダル特徴抽出を組み込んだ。
提案手法は, 最先端の変圧器を用いた手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-02-08T03:36:57Z) - CyTran: A Cycle-Consistent Transformer with Multi-Level Consistency for
Non-Contrast to Contrast CT Translation [56.622832383316215]
コントラストCTを非コントラストCTに変換する手法を提案する。
提案手法は、CyTranを略して、サイクル一貫性のある生成逆転変換器に基づいている。
実験の結果、CyTranは競合するすべての手法より優れています。
論文 参考訳(メタデータ) (2021-10-12T23:25:03Z) - ResViT: Residual vision transformers for multi-modal medical image
synthesis [0.0]
本稿では、畳み込み演算子の局所的精度と視覚変換器の文脈的感度を組み合わせ、医用画像合成のための新しい生成逆変換手法ResViTを提案する。
以上の結果から,ResViTと競合する手法の質的観察と定量化の両面での優位性が示唆された。
論文 参考訳(メタデータ) (2021-06-30T12:57:37Z) - TransMed: Transformers Advance Multi-modal Medical Image Classification [4.500880052705654]
畳み込みニューラルネットワーク(CNN)は、医療画像解析タスクで非常に競争力のあるパフォーマンスを示しています。
トランスフォーマーはコンピュータビジョンに適用され、大規模なデータセットで顕著な成功を収めた。
TransMedはCNNとトランスフォーマーの利点を組み合わせて、画像の低レベル特徴を効率的に抽出する。
論文 参考訳(メタデータ) (2021-03-10T08:57:53Z) - A Multi-Stage Attentive Transfer Learning Framework for Improving
COVID-19 Diagnosis [49.3704402041314]
新型コロナの診断を改善するための多段階集中移動学習フレームワークを提案する。
提案するフレームワークは、複数のソースタスクと異なるドメインのデータから知識を学習し、正確な診断モデルを訓練する3つの段階からなる。
本稿では,肺CT画像のマルチスケール表現を学習するための自己教師付き学習手法を提案する。
論文 参考訳(メタデータ) (2021-01-14T01:39:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。