論文の概要: A residual dense vision transformer for medical image super-resolution
with segmentation-based perceptual loss fine-tuning
- arxiv url: http://arxiv.org/abs/2302.11184v1
- Date: Wed, 22 Feb 2023 07:39:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-23 16:09:29.940644
- Title: A residual dense vision transformer for medical image super-resolution
with segmentation-based perceptual loss fine-tuning
- Title（参考訳）: セグメンテーションに基づく知覚的損失微調整による医用画像超解像用高密度視覚変換器
- Authors: Jin Zhu, Guang Yang and Pietro Lio
- Abstract要約: 超解像は、余分な取得コストを伴わずに高空間分解能と画質を実現する代替手段を提供するため、医療画像において重要な役割を担っている。
ビジョントランスフォーマーは幅広いコンピュータビジョンタスクを支配しているが、低レベルな医療画像処理タスクに適用する場合にはまだ課題がある。
本稿では,高密度接続と局所的特徴融合を併用した高能率視覚変換器を提案し,医用モダリティの高能率単一像超解像(SISR)を実現することを目的とする。
- 参考スコア（独自算出の注目度）: 2.5467360160429013
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Super-resolution plays an essential role in medical imaging because it
provides an alternative way to achieve high spatial resolutions and image
quality with no extra acquisition costs. In the past few decades, the rapid
development of deep neural networks has promoted super-resolution performance
with novel network architectures, loss functions and evaluation metrics.
Specifically, vision transformers dominate a broad range of computer vision
tasks, but challenges still exist when applying them to low-level medical image
processing tasks. This paper proposes an efficient vision transformer with
residual dense connections and local feature fusion, aiming to achieve
efficient single-image super-resolution (SISR) of medical modalities. Moreover,
we implement a general-purpose perceptual loss with manual control for image
quality improvements of desired aspects by incorporating prior knowledge of
medical image segmentation. Compared with state-of-the-art methods on four
public medical image datasets, the proposed method achieves the best PSNR
scores of 6 modalities among seven modalities in total. It leads to an average
improvement of $+0.09$ dB PSNR with only 38\% parameters of SwinIR. On the
other hand, the segmentation-based perceptual loss increases $+0.14$ dB PSNR on
average for SOTA methods, including CNNs and vision transformers. Additionally,
we conduct comprehensive ablation studies to discuss potential factors for the
superior performance of vision transformers over CNNs and the impacts of
network and loss function components.
- Abstract（参考訳）: 超解像度は、追加の取得コストなしで高い空間解像度と画質を達成するための代替手段を提供するため、医療画像において重要な役割を果たす。
過去数十年間、ディープニューラルネットワークの急速な発展により、新しいネットワークアーキテクチャ、損失関数、評価メトリクスにより、超解像性能が向上した。
特に、視覚トランスフォーマーは幅広いコンピュータビジョンタスクを支配しているが、低レベルの医療画像処理タスクに適用する場合、まだ課題が存在する。
本稿では,集中的接続と局所的特徴融合を有する効率的な視覚変換器を提案し,医療的モダリティの効率的な単一画像超解像(sisr)を実現することを目的とした。
さらに,医用画像セグメンテーションの事前知識を取り入れて,手動制御による汎用的な知覚損失を所望の画質向上のために実装した。
4つの公開医用画像データセットの最先端手法と比較して,提案手法は7つのモダリティのうち6つのモダリティで最高のPSNRスコアを得る。
この結果、SwinIRのパラメータは38.%しかなく、$+0.09$ dB PSNRの平均的な改善につながった。
一方、セグメンテーションに基づく知覚的損失は、CNNや視覚変換器を含むSOTA法では、平均で$+0.14$dB PSNRが増加する。
さらに,cnn上での視覚トランスフォーマーの性能向上とネットワークおよび損失関数成分の影響について検討するため,包括的アブレーション研究を行った。
関連論文リスト
- DCT-HistoTransformer: Efficient Lightweight Vision Transformer with DCT Integration for histopathological image analysis [0.0]
視覚変換器(ViTs)を用いた乳がんの新しい軽度分類法を提案する。
離散コサイン変換(DCT)アテンションとMobileConvの並列処理経路を組み込むことで、空間領域の画像データを周波数領域に変換し、画像内の高周波数をフィルタリングするといった利点を利用する。
提案モデルでは,バイナリ分類では96.00%$pm$0.48%,マルチクラス分類では87.85%$pm$0.93%の精度が得られた。
論文 参考訳（メタデータ） (2024-10-24T21:16:56Z) - Unifying Subsampling Pattern Variations for Compressed Sensing MRI with Neural Operators [72.79532467687427]
圧縮センシングMRI(Compressed Sensing MRI)は、身体の内部解剖像をアンダーサンプルと圧縮された測定値から再構成する。
ディープニューラルネットワークは、高度にアンサンプされた測定結果から高品質なイメージを再構築する大きな可能性を示している。
CS-MRIにおけるサブサンプリングパターンや画像解像度に頑健な統一モデルを提案する。
論文 参考訳（メタデータ） (2024-10-05T20:03:57Z) - Semantic Ensemble Loss and Latent Refinement for High-Fidelity Neural Image Compression [58.618625678054826]
本研究は、最適な視覚的忠実度のために設計された強化されたニューラル圧縮手法を提案する。
我々は,洗練されたセマンティック・アンサンブル・ロス,シャルボニエ・ロス,知覚的損失,スタイル・ロス,非バイナリ・ディバイザ・ロスを組み込んだモデルを構築した。
実験により,本手法は神経画像圧縮の統計的忠実度を著しく向上させることが示された。
論文 参考訳（メタデータ） (2024-01-25T08:11:27Z) - Disruptive Autoencoders: Leveraging Low-level features for 3D Medical
Image Pre-training [51.16994853817024]
本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。
ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。
提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2023-07-31T17:59:42Z) - Transformer and GAN Based Super-Resolution Reconstruction Network for
Medical Images [0.0]
医用画像における超解像再構成がますます普及している(MRI)
本稿では,Transformer and Generative Adversarial Networks (T-GAN) を用いた低解像度画像から医用画像を再構成する深層学習戦略を提案する。
統合されたシステムは、より正確なテクスチャ情報を抽出し、グローバルな画像マッチングによって重要な位置に集中することができる。
論文 参考訳（メタデータ） (2022-12-26T09:52:12Z) - InDuDoNet+: A Model-Driven Interpretable Dual Domain Network for Metal
Artifact Reduction in CT Images [53.4351366246531]
InDuDoNet+と呼ばれる新しい解釈可能な二重ドメインネットワークを構築し、CT画像の微細な埋め込みを行う。
異なる組織間のCT値を分析し,InDuDoNet+の事前観測ネットワークにマージすることで,その一般化性能を著しく向上させる。
論文 参考訳（メタデータ） (2021-12-23T15:52:37Z) - AdaViT: Adaptive Vision Transformers for Efficient Image Recognition [78.07924262215181]
AdaViTは、パッチ、セルフアテンションヘッド、およびトランスフォーマーブロックを使用するための利用ポリシーを導出する適応フレームワークである。
本手法は,0.8%の精度で,最先端のビジョントランスに比べて2倍以上の効率向上を実現している。
論文 参考訳（メタデータ） (2021-11-30T18:57:02Z) - Multimodal-Boost: Multimodal Medical Image Super-Resolution using
Multi-Attention Network with Wavelet Transform [5.416279158834623]
対応する画像分解能の喪失は、医用画像診断の全体的な性能を低下させる。
ディープラーニングベースのシングルイメージスーパーレゾリューション(SISR)アルゴリズムは、全体的な診断フレームワークに革命をもたらした。
本研究は,低周波データから高頻度情報を学習する深層マルチアテンションモジュールを用いたGAN(Generative Adversarial Network)を提案する。
論文 参考訳（メタデータ） (2021-10-22T10:13:46Z) - TransMed: Transformers Advance Multi-modal Medical Image Classification [4.500880052705654]
畳み込みニューラルネットワーク(CNN)は、医療画像解析タスクで非常に競争力のあるパフォーマンスを示しています。
トランスフォーマーはコンピュータビジョンに適用され、大規模なデータセットで顕著な成功を収めた。
TransMedはCNNとトランスフォーマーの利点を組み合わせて、画像の低レベル特徴を効率的に抽出する。
論文 参考訳（メタデータ） (2021-03-10T08:57:53Z) - Medical Transformer: Gated Axial-Attention for Medical Image
Segmentation [73.98974074534497]
医用画像分割タスクにおけるトランスフォーマティブネットワークアーキテクチャの利用可能性について検討する。
セルフアテンションモジュールに追加の制御機構を導入することで,既存のアーキテクチャを拡張するGated Axial-Attentionモデルを提案する。
医療画像上で効果的にモデルを訓練するために,さらにパフォーマンスを向上させる局所的グローバルトレーニング戦略 (logo) を提案する。
論文 参考訳（メタデータ） (2021-02-21T18:35:14Z) - Enhancing Perceptual Loss with Adversarial Feature Matching for
Super-Resolution [5.258555266148511]
単一画像超解法 (SISR) は不確定な数の有効解を持つ不確定問題である。
これらのパターンアーティファクトの根本原因は、知覚的損失の事前学習目標と超解答目標とのミスマッチに遡ることができる。
論文 参考訳（メタデータ） (2020-05-15T12:36:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。