論文の概要: Toward Clinically Assisted Colorectal Polyp Recognition via Structured Cross-modal Representation Consistency

• arxiv url: http://arxiv.org/abs/2206.11826v2
• Date: Fri, 24 Jun 2022 15:43:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-27 10:51:04.030067
• Title: Toward Clinically Assisted Colorectal Polyp Recognition via Structured Cross-modal Representation Consistency
• Title（参考訳）: 構造的クロスモーダル表現による大腸ポリープ認識に向けて
• Authors: Weijie Ma, Ye Zhu, Ruimao Zhang, Jie Yang, Yiwen Hu, Zhen Li, Li Xiang
• Abstract要約: 殆どのコンピュータ支援診断アルゴリズムは Narrow-Band Imaging (NBI) を用いて大腸ポリープを認識する NBIは通常、この特定の画像の取得には手動でライトモードを切り替える必要があるため、実際の臨床シナリオで利用できないことに悩まされる。 そこで本研究では,構造的クロスモーダル表現の整合性を実現することによって,白-光画像の正確な分類を実現する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 16.225144477302923
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The colorectal polyps classification is a critical clinical examination. To improve the classification accuracy, most computer-aided diagnosis algorithms recognize colorectal polyps by adopting Narrow-Band Imaging (NBI). However, the NBI usually suffers from missing utilization in real clinic scenarios since the acquisition of this specific image requires manual switching of the light mode when polyps have been detected by using White-Light (WL) images. To avoid the above situation, we propose a novel method to directly achieve accurate white-light colonoscopy image classification by conducting structured cross-modal representation consistency. In practice, a pair of multi-modal images, i.e. NBI and WL, are fed into a shared Transformer to extract hierarchical feature representations. Then a novel designed Spatial Attention Module (SAM) is adopted to calculate the similarities between the class token and patch tokens %from multi-levels for a specific modality image. By aligning the class tokens and spatial attention maps of paired NBI and WL images at different levels, the Transformer achieves the ability to keep both global and local representation consistency for the above two modalities. Extensive experimental results illustrate the proposed method outperforms the recent studies with a margin, realizing multi-modal prediction with a single Transformer while greatly improving the classification accuracy when only with WL images.
• Abstract（参考訳）: 大腸ポリープ分類は重要な臨床検査である。 分類精度を向上させるため,ほとんどのコンピュータ支援診断アルゴリズムはNarrow-Band Imaging (NBI) を用いて大腸ポリープを認識する。 しかし、NBIは通常、White-Light (WL)画像を用いてポリプが検出された場合、この特定の画像を取得するには、手動で光モードを切り替える必要があるため、実際の臨床シナリオで利用できない。 以上のような状況を避けるため,構造的クロスモーダル表現の一貫性を生かして,正確な白目大腸内視鏡像の分類を行う新しい方法を提案する。 実際には、NBIとWLの2つのマルチモーダル画像が共有トランスフォーマーに入力され、階層的特徴表現を抽出する。 次に、クラストークンとパッチトークンの類似性を、特定のモダリティ画像のマルチレベルから計算するために、新しく設計された空間注意モジュール(SAM)を採用する。 NBIとWLのペア画像のクラストークンと空間アテンションマップを異なるレベルで整列させることで、トランスフォーマーは上記の2つのモードに対してグローバルおよび局所的な表現整合性を維持することができる。 大規模な実験結果から,提案手法は,WL画像のみを用いた分類精度を大幅に向上させつつ,単一トランスフォーマを用いたマルチモーダル予測を実現し,近年の研究よりも優れた性能を示した。

関連論文リスト

• Deep Learning Based Speckle Filtering for Polarimetric SAR Images. Application to Sentinel-1 [51.404644401997736]
  本稿では、畳み込みニューラルネットワークを用いて偏光SAR画像のスペックルを除去するための完全なフレームワークを提案する。 実験により,提案手法はスペックル低減と分解能保存の両方において例外的な結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2024-08-28T10:07:17Z)
• RATLIP: Generative Adversarial CLIP Text-to-Image Synthesis Based on Recurrent Affine Transformations [0.0]
  条件付きアフィン変換(CAT)は、画像中のコンテンツ合成を制御するために、GANの異なる層に適用されている。 まず、各レイヤがグローバル情報にアクセスできるようにするために、CATとRAT(Recurrent Neural Network)をモデル化する。 次に、リカレントニューラルネットワークにおける情報忘れの特性を軽減するために、RAT間のシャッフルアテンションを導入する。
  論文  参考訳（メタデータ） (2024-05-13T18:49:18Z)
• Transformer-based Clipped Contrastive Quantization Learning for Unsupervised Image Retrieval [15.982022297570108]
  教師なし画像検索は、与えられたクエリ画像の類似画像を取得するために、任意のレベルなしに重要な視覚的特徴を学習することを目的としている。 本稿では,パッチベースの処理により局所的なコンテキストを持つTransformerを用いて,画像のグローバルコンテキストを符号化するTransClippedCLRモデルを提案する。 提案したクリップ付きコントラスト学習の結果は、バニラコントラスト学習と同一のバックボーンネットワークと比較して、すべてのデータセットで大幅に改善されている。
  論文  参考訳（メタデータ） (2024-01-27T09:39:11Z)
• MB-RACS: Measurement-Bounds-based Rate-Adaptive Image Compressed Sensing Network [65.1004435124796]
  本稿では,MB-RACS(Message-Bounds-based Rate-Adaptive Image Compressed Sensing Network)フレームワークを提案する。 実験により,提案手法が現在の先行手法を超越していることが実証された。
  論文  参考訳（メタデータ） (2024-01-19T04:40:20Z)
• Affine-Consistent Transformer for Multi-Class Cell Nuclei Detection [76.11864242047074]
  本稿では, 原子核位置を直接生成する新しいアフィン一貫性変換器 (AC-Former) を提案する。 本稿では,AAT (Adaptive Affine Transformer) モジュールを導入し,ローカルネットワークトレーニングのためのオリジナル画像をワープするための重要な空間変換を自動学習する。 実験結果から,提案手法は様々なベンチマークにおいて既存の最先端アルゴリズムを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2023-10-22T02:27:02Z)
• M$^{2}$SNet: Multi-scale in Multi-scale Subtraction Network for Medical Image Segmentation [73.10707675345253]
  医用画像から多様なセグメンテーションを仕上げるマルチスケールサブトラクションネットワーク(M$2$SNet)を提案する。 本手法は,4つの異なる医用画像セグメンテーションタスクの11つのデータセットに対して,異なる評価基準の下で,ほとんどの最先端手法に対して好意的に機能する。
  論文  参考訳（メタデータ） (2023-03-20T06:26:49Z)
• A Test Statistic Estimation-based Approach for Establishing Self-interpretable CNN-based Binary Classifiers [7.424003880270276]
  ポストホック解釈可能性法は、可算だが異なる解釈を生成できるという限界がある。 提案手法は自己解釈可能で定量的であり,従来のポストホック・インタプリタビリティ法とは異なり,自己解釈可能で定量的である。
  論文  参考訳（メタデータ） (2023-03-13T05:51:35Z)
• Colorectal Polyp Classification from White-light Colonoscopy Images via Domain Alignment [57.419727894848485]
  大腸内視鏡画像からの正確な診断を支援するためには,コンピュータ支援診断システムが必要である。 これまでのほとんどの研究では、Narrow-Band Imaging (NBI) や他の拡張画像を用いて、ポリプの分化モデルの開発を試みている。 正確な大腸ポリープ分類のための教師/学生アーキテクチャに基づく新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-08-05T09:31:46Z)
• A Hierarchical Transformation-Discriminating Generative Model for Few Shot Anomaly Detection [93.38607559281601]
  各トレーニングイメージのマルチスケールパッチ分布をキャプチャする階層的生成モデルを開発した。 この異常スコアは、スケール及び画像領域にわたる正しい変換のパッチベースの投票を集約して得られる。
  論文  参考訳（メタデータ） (2021-04-29T17:49:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。