論文の概要: Structural Attention: Rethinking Transformer for Unpaired Medical Image Synthesis

• arxiv url: http://arxiv.org/abs/2406.18967v2
• Date: Wed, 28 Aug 2024 05:40:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-29 20:38:57.887120
• Title: Structural Attention: Rethinking Transformer for Unpaired Medical Image Synthesis
• Title（参考訳）: 構造的注意:不適切な医用画像合成のための変圧器の再考
• Authors: Vu Minh Hieu Phan, Yutong Xie, Bowen Zhang, Yuankai Qi, Zhibin Liao, Antonios Perperidis, Son Lam Phung, Johan W. Verjans, Minh-Son To,
• Abstract要約: Transformerベースのモデルは、長距離依存関係をキャプチャする機能のおかげで、画像翻訳タスクに優れています。 本稿では,強い帰納バイアスを欠くトランスフォーマーが,ペアデータがない場合に最適でない解に収束できることを実証的に示す。 UNet Structured Transformer (UNest) は, 医用画像合成のための構造的帰納バイアスを取り入れた新しいアーキテクチャである。
• 参考スコア（独自算出の注目度）: 25.531060259709157
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Unpaired medical image synthesis aims to provide complementary information for an accurate clinical diagnostics, and address challenges in obtaining aligned multi-modal medical scans. Transformer-based models excel in imaging translation tasks thanks to their ability to capture long-range dependencies. Although effective in supervised training settings, their performance falters in unpaired image synthesis, particularly in synthesizing structural details. This paper empirically demonstrates that, lacking strong inductive biases, Transformer can converge to non-optimal solutions in the absence of paired data. To address this, we introduce UNet Structured Transformer (UNest), a novel architecture incorporating structural inductive biases for unpaired medical image synthesis. We leverage the foundational Segment-Anything Model to precisely extract the foreground structure and perform structural attention within the main anatomy. This guides the model to learn key anatomical regions, thus improving structural synthesis under the lack of supervision in unpaired training. Evaluated on two public datasets, spanning three modalities, i.e., MR, CT, and PET, UNest improves recent methods by up to 19.30% across six medical image synthesis tasks. Our code is released at https://github.com/HieuPhan33/MICCAI2024-UNest.
• Abstract（参考訳）: 非ペア医療画像合成は、正確な臨床診断のための補完情報の提供と、整列型マルチモーダル・メディカルスキャンの取得における課題への対処を目的としている。 Transformerベースのモデルは、長距離依存関係をキャプチャする機能のおかげで、画像翻訳タスクに優れています。 教師付きトレーニング設定では有効であるが、特に構造的詳細を合成する際、その性能は不適切な画像合成に影響を及ぼす。 本稿では,強い帰納バイアスを欠くトランスフォーマーが,ペアデータがない場合に最適でない解に収束できることを実証的に示す。 この問題を解決するために,UNet Structured Transformer (UNest)を導入した。 我々は,基礎的なセグメンション・アニーシング・モデルを利用して,前景構造を正確に抽出し,主解剖学内で構造的注意を喚起する。 これにより、重要な解剖学的領域を学ぶためのモデルがガイドされ、未経験トレーニングの監督の欠如の下で構造的合成が改善される。 MR、CT、PETの3つのモードにまたがる2つの公開データセットに基づいて評価され、UNestは6つの医用画像合成タスクにおいて、最新の手法を19.30%改善する。 私たちのコードはhttps://github.com/HieuPhan33/MICCAI2024-UNest.comで公開されています。

関連論文リスト

• Mine yOur owN Anatomy: Revisiting Medical Image Segmentation with Extremely Limited Labels [54.58539616385138]
  我々は、Mine yOur owN Anatomy (MONA) と呼ばれる、新しい半教師付き2次元医用画像セグメンテーションフレームワークを紹介する。 まず、先行研究では、すべてのピクセルがモデルトレーニングに等しく重要であると論じており、我々はこの1つだけで意味のある解剖学的特徴を定義できないことを経験的に観察している。 第2に,医療画像を解剖学的特徴の集合に分解できるモデルを構築する。
  論文  参考訳（メタデータ） (2022-09-27T15:50:31Z)
• MISSU: 3D Medical Image Segmentation via Self-distilling TransUNet [55.16833099336073]
  医用画像セグメンテーションのためのトランスフォーマーベースUNetを提案する。 グローバルな意味情報と局所的な空間的詳細特徴を同時に学習する。 MISSUは従来の最先端手法よりも優れた性能を発揮する。
  論文  参考訳（メタデータ） (2022-06-02T07:38:53Z)
• Structure-aware Unsupervised Tagged-to-Cine MRI Synthesis with Self Disentanglement [13.442093381065268]
  我々は、入力と合成画像の間の構造的アライメントを明示的に強制することにより、一般的なアドオン構造特徴抽出器を学習する。 具体的には、基礎となる解剖構造と画像のモダリティのアンタングル化を実現するために、新しい入力出力画像パッチ自己学習方式を提案する。 我々は1,768,416,1,560個の被検者非依存スライスタグとシネMRIを用いて、我々のネットワークをトレーニングし、検証し、テストする。
  論文  参考訳（メタデータ） (2022-02-25T03:09:46Z)
• Cross-Modality Neuroimage Synthesis: A Survey [71.27193056354741]
  マルチモダリティイメージングは、疾患の診断を改善し、解剖学的特性を持つ組織における相違を明らかにする。 完全な整列とペアの多モードニューロイメージングデータの存在は、脳研究においてその効果を証明している。 もう一つの解決策は、教師なしまたは弱教師なしの学習方法を探究し、欠落した神経画像データを合成することである。
  論文  参考訳（メタデータ） (2022-02-14T19:29:08Z)
• Class-Aware Generative Adversarial Transformers for Medical Image Segmentation [39.14169989603906]
  医用画像セグメンテーションのための新規な生成逆変換器CA-GANformerを提案する。 まず、ピラミッド構造を利用してマルチスケール表現を構築し、マルチスケールのバリエーションを扱う。 次に、意味構造を持つオブジェクトの識別領域をよりよく学習するために、新しいクラス対応トランスフォーマーモジュールを設計する。
  論文  参考訳（メタデータ） (2022-01-26T03:50:02Z)
• InDuDoNet+: A Model-Driven Interpretable Dual Domain Network for Metal Artifact Reduction in CT Images [53.4351366246531]
  InDuDoNet+と呼ばれる新しい解釈可能な二重ドメインネットワークを構築し、CT画像の微細な埋め込みを行う。 異なる組織間のCT値を分析し,InDuDoNet+の事前観測ネットワークにマージすることで,その一般化性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-12-23T15:52:37Z)
• ResViT: Residual vision transformers for multi-modal medical image synthesis [0.0]
  本稿では、畳み込み演算子の局所的精度と視覚変換器の文脈的感度を組み合わせ、医用画像合成のための新しい生成逆変換手法ResViTを提案する。 以上の結果から,ResViTと競合する手法の質的観察と定量化の両面での優位性が示唆された。
  論文  参考訳（メタデータ） (2021-06-30T12:57:37Z)
• METGAN: Generative Tumour Inpainting and Modality Synthesis in Light Sheet Microscopy [4.872960046536882]
  本稿では,実解剖情報を活用し,腫瘍の現実的な画像ラベル対を生成する新しい生成法を提案する。 解剖学的画像とラベルのためのデュアルパス生成器を構築し, 独立して事前学習されたセグメンタによって制約された, サイクル一貫性のある設定で学習する。 生成した画像は,既存の手法に比べて定量的に顕著に改善された。
  論文  参考訳（メタデータ） (2021-04-22T11:18:17Z)
• CoTr: Efficiently Bridging CNN and Transformer for 3D Medical Image Segmentation [95.51455777713092]
  畳み込みニューラルネットワーク(CNN)は、現代の3D医療画像セグメンテーションのデファクトスタンダードとなっている。 本稿では,bf畳み込みニューラルネットワークとbfトランスbf(cotr)を効率良く橋渡しし,正確な3次元医用画像分割を実現する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-03-04T13:34:22Z)
• Medical Transformer: Gated Axial-Attention for Medical Image Segmentation [73.98974074534497]
  医用画像分割タスクにおけるトランスフォーマティブネットワークアーキテクチャの利用可能性について検討する。 セルフアテンションモジュールに追加の制御機構を導入することで,既存のアーキテクチャを拡張するGated Axial-Attentionモデルを提案する。 医療画像上で効果的にモデルを訓練するために,さらにパフォーマンスを向上させる局所的グローバルトレーニング戦略 (logo) を提案する。
  論文  参考訳（メタデータ） (2021-02-21T18:35:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。