論文の概要: A Unified Framework for Microscopy Defocus Deblur with Multi-Pyramid Transformer and Contrastive Learning
- arxiv url: http://arxiv.org/abs/2403.02611v2
- Date: Mon, 22 Apr 2024 11:15:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-23 23:24:19.083462
- Title: A Unified Framework for Microscopy Defocus Deblur with Multi-Pyramid Transformer and Contrastive Learning
- Title(参考訳): マルチピラミド変換器とコントラスト学習を用いた顕微鏡デフォーカスデブロの統一化
- Authors: Yuelin Zhang, Pengyu Zheng, Wanquan Yan, Chengyu Fang, Shing Shin Cheng,
- Abstract要約: マルチピラミド変圧器 (MPT) と拡張周波数コントラスト正規化 (EFCR) は、顕微鏡欠陥の2つの課題に対処するために提案されている。
MPTは、各ネットワークステージに明示的なピラミッド構造を採用し、クロススケールウィンドウアテンションを統合している。
EFCRは、異なる周波数帯域からの潜伏遅延信号を探索することで、データ不足の問題に対処する。
- 参考スコア(独自算出の注目度): 3.3321350585823826
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Defocus blur is a persistent problem in microscope imaging that poses harm to pathology interpretation and medical intervention in cell microscopy and microscope surgery. To address this problem, a unified framework including the multi-pyramid transformer (MPT) and extended frequency contrastive regularization (EFCR) is proposed to tackle two outstanding challenges in microscopy deblur: longer attention span and data deficiency. The MPT employs an explicit pyramid structure at each network stage that integrates the cross-scale window attention (CSWA), the intra-scale channel attention (ISCA), and the feature-enhancing feed-forward network (FEFN) to capture long-range cross-scale spatial interaction and global channel context. The EFCR addresses the data deficiency problem by exploring latent deblur signals from different frequency bands. It also enables deblur knowledge transfer to learn cross-domain information from extra data, improving deblur performance for labeled and unlabeled data. Extensive experiments and downstream task validation show the framework achieves state-of-the-art performance across multiple datasets. Project page: https://github.com/PieceZhang/MPT-CataBlur.
- Abstract(参考訳): Defocus blurは、顕微鏡画像における永続的な問題であり、細胞顕微鏡および顕微鏡手術における病理学的解釈と医学的介入に害を与える。
この問題に対処するため,マルチピラミド変換器 (MPT) と拡張周波数コントラスト正規化 (EFCR) を含む統合フレームワークを提案し,顕微鏡設計における2つの課題に対処する。
MPTは、ネットワークの各段階で明示的なピラミッド構造を採用しており、長距離の空間的相互作用とグローバルなチャネルコンテキストを捉えるために、CSWA、ISCA、FEFNといった機能強化フィードフォワードネットワークを統合している。
EFCRは、異なる周波数帯域からの潜時遅延信号を探索することで、データ不足の問題に対処する。
また、余分なデータからドメイン間の情報を学習し、ラベル付きおよびラベルなしデータの遅延性能を向上させることができる。
大規模な実験とダウンストリームタスク検証は、フレームワークが複数のデータセットにわたって最先端のパフォーマンスを達成することを示している。
プロジェクトページ: https://github.com/PieceZhang/MPT-CataBlur.com
関連論文リスト
- Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。
従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。
本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
論文 参考訳(メタデータ) (2023-12-19T08:14:14Z) - Affine-Consistent Transformer for Multi-Class Cell Nuclei Detection [76.11864242047074]
本稿では, 原子核位置を直接生成する新しいアフィン一貫性変換器 (AC-Former) を提案する。
本稿では,AAT (Adaptive Affine Transformer) モジュールを導入し,ローカルネットワークトレーニングのためのオリジナル画像をワープするための重要な空間変換を自動学習する。
実験結果から,提案手法は様々なベンチマークにおいて既存の最先端アルゴリズムを著しく上回ることがわかった。
論文 参考訳(メタデータ) (2023-10-22T02:27:02Z) - AdaFuse: Adaptive Medical Image Fusion Based on Spatial-Frequential
Cross Attention [6.910879180358217]
本稿では,周波数誘導型アテンション機構によりマルチモーダル画像情報を適応的に融合させるAdaFuseを提案する。
提案手法は,視覚的品質と定量的指標の両方の観点から,最先端の手法より優れている。
論文 参考訳(メタデータ) (2023-10-09T07:10:30Z) - Improving Vision Anomaly Detection with the Guidance of Language
Modality [64.53005837237754]
本稿では,マルチモーダルの観点から視覚モダリティの課題に取り組む。
本稿では,冗長な情報問題とスパース空間問題に対処するために,クロスモーダルガイダンス(CMG)を提案する。
視覚異常検出のためのよりコンパクトな潜在空間を学習するために、CMLEは言語モダリティから相関構造行列を学習する。
論文 参考訳(メタデータ) (2023-10-04T13:44:56Z) - Unified Frequency-Assisted Transformer Framework for Detecting and
Grounding Multi-Modal Manipulation [109.1912721224697]
本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。
離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。
提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
論文 参考訳(メタデータ) (2023-09-18T11:06:42Z) - Unlocking Fine-Grained Details with Wavelet-based High-Frequency
Enhancement in Transformers [4.208461204572879]
医用画像のセグメンテーションは、診断、治療計画、疾患モニタリングにおいて重要な役割を担っている。
本稿では,自己注意マップを慎重に再設計することで,トランスフォーマーモデルの局所的特徴不足に対処する。
そこで本研究では,マルチスケールのコンテキスト拡張ブロックをスキップ接続内で提案し,スケール間の依存関係を適応的にモデル化する。
論文 参考訳(メタデータ) (2023-08-25T15:42:19Z) - Mutual Information-driven Triple Interaction Network for Efficient Image
Dehazing [54.168567276280505]
画像デハージングのための相互情報駆動型トリプルインタラクションネットワーク(MITNet)を提案する。
振幅誘導ヘイズ除去と呼ばれる第1段階は、ヘイズ除去のためのヘイズ画像の振幅スペクトルを復元することを目的としている。
第2段階は位相誘導構造が洗練され、位相スペクトルの変換と微細化を学ぶことに尽力した。
論文 参考訳(メタデータ) (2023-08-14T08:23:58Z) - TranSiam: Fusing Multimodal Visual Features Using Transformer for
Medical Image Segmentation [4.777011444412729]
グローバルな情報をキャプチャできるマルチモーダル医療画像に適したセグメンテーション手法を提案する。
TranSiamは、異なるモードの特徴を抽出する2次元デュアルパスネットワークである。
BraTS 2019とBraTS 2020のマルチモーダルデータセットでは、他の一般的なメソッドよりも精度が大幅に向上しています。
論文 参考訳(メタデータ) (2022-04-26T09:39:10Z) - TransFusion: Multi-view Divergent Fusion for Medical Image Segmentation
with Transformers [8.139069987207494]
コンボリューション層と強力なアテンション機構を用いた多視点画像情報をマージするトランスフォーマーベースのアーキテクチャであるTransFusionを提案する。
特に、ディバージェント・フュージョン・アテンション(DiFA)モジュールは、リッチ・クロスビュー・コンテキスト・モデリングとセマンティック・インテリジェンス・マイニングのために提案されている。
論文 参考訳(メタデータ) (2022-03-21T04:02:54Z) - TransAttUnet: Multi-level Attention-guided U-Net with Transformer for
Medical Image Segmentation [33.45471457058221]
本稿では,TransAttUnetと呼ばれるトランスフォーマーベースの医用画像セマンティックセマンティック・セマンティック・フレームワークを提案する。
特に,デコーダブロック間の複数スケールのスキップ接続を確立することで,セマンティック・スケールのアップサンプリング機能を集約する。
我々の手法は一貫して最先端のベースラインを上回っている。
論文 参考訳(メタデータ) (2021-07-12T09:17:06Z) - FetReg: Placental Vessel Segmentation and Registration in Fetoscopy
Challenge Dataset [57.30136148318641]
Fetoscopy Laser Photocoagulation はツイン・ツー・ツイン・トランスフュージョン症候群(TTTS)の治療に広く用いられている治療法である
これにより、プロシージャ時間と不完全アブレーションが増加し、持続的なTTTSが生じる可能性がある。
コンピュータ支援による介入は、ビデオモザイクによって胎児の視野を広げ、船体ネットワークのより良い視覚化を提供することによって、これらの課題を克服するのに役立つかもしれない。
本稿では,長期フェトスコープビデオからドリフトフリーモザイクを作成することを目的とした,胎児環境のための汎用的でロバストなセマンティックセマンティックセグメンテーションとビデオモザイクアルゴリズムを開発するための大規模マルチセントデータセットを提案する。
論文 参考訳(メタデータ) (2021-06-10T17:14:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。