論文の概要: CNN-Transformer Rectified Collaborative Learning for Medical Image Segmentation
- arxiv url: http://arxiv.org/abs/2408.13698v2
- Date: Tue, 27 Aug 2024 16:11:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-28 12:43:01.961604
- Title: CNN-Transformer Rectified Collaborative Learning for Medical Image Segmentation
- Title（参考訳）: CNN変換器による医用画像分割のための協調学習
- Authors: Lanhu Wu, Miao Zhang, Yongri Piao, Zhenyan Yao, Weibing Sun, Feng Tian, Huchuan Lu,
- Abstract要約: 本稿では,医用画像セグメンテーションのための強力なCNNベースモデルとトランスフォーマーベースモデルを学習するための,CNN-Transformer修正協調学習フレームワークを提案する。
具体的には,学生ソフトラベルの誤り領域を適応的に選択・修正する基礎的真理を取り入れた修正ロジット・ワイド・コラボレーティブ・ラーニング(RLCL)戦略を提案する。
また,機能空間におけるCNNベースモデルとTransformerベースモデル間の効果的な知識伝達を実現するために,クラス認識型特徴量協調学習(CFCL)戦略を提案する。
- 参考スコア（独自算出の注目度）: 60.08541107831459
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatic and precise medical image segmentation (MIS) is of vital importance for clinical diagnosis and analysis. Current MIS methods mainly rely on the convolutional neural network (CNN) or self-attention mechanism (Transformer) for feature modeling. However, CNN-based methods suffer from the inaccurate localization owing to the limited global dependency while Transformer-based methods always present the coarse boundary for the lack of local emphasis. Although some CNN-Transformer hybrid methods are designed to synthesize the complementary local and global information for better performance, the combination of CNN and Transformer introduces numerous parameters and increases the computation cost. To this end, this paper proposes a CNN-Transformer rectified collaborative learning (CTRCL) framework to learn stronger CNN-based and Transformer-based models for MIS tasks via the bi-directional knowledge transfer between them. Specifically, we propose a rectified logit-wise collaborative learning (RLCL) strategy which introduces the ground truth to adaptively select and rectify the wrong regions in student soft labels for accurate knowledge transfer in the logit space. We also propose a class-aware feature-wise collaborative learning (CFCL) strategy to achieve effective knowledge transfer between CNN-based and Transformer-based models in the feature space by granting their intermediate features the similar capability of category perception. Extensive experiments on three popular MIS benchmarks demonstrate that our CTRCL outperforms most state-of-the-art collaborative learning methods under different evaluation metrics.
- Abstract（参考訳）: 診断・解析にはMIS(Automatic and accurate Medical Image segmentation)が不可欠である。
現在のMIS法は主に特徴モデリングのために畳み込みニューラルネットワーク(CNN)または自己保持機構(Transformer)に依存している。
しかし、CNNベースの手法は、グローバル依存が限られているため、不正確なローカライゼーションに悩まされる一方、Transformerベースの手法は、局所的な重点の欠如に対して、常に粗い境界を提示する。
いくつかのCNN-Transformerハイブリッド手法は、補完的な局所情報とグローバル情報を合成して性能を向上させるように設計されているが、CNNとTransformerの組み合わせは多数のパラメータを導入し、計算コストを増大させる。
そこで本稿では,CNN-Transformer rectified collaborative learning (CTRCL) フレームワークを提案する。
具体的には、ロジット空間における正確な知識伝達のために、学生ソフトラベルの誤り領域を適応的に選択し、修正する基礎的真理を導入した修正ロジット・ワイド・コラボレーティブ・ラーニング(RLCL)戦略を提案する。
また,CNNベースのモデルとトランスフォーマーベースのモデル間の効果的な知識伝達を実現するために,中間的特徴に類似したカテゴリ認識能力を与えることにより,クラス認識型特徴量協調学習(CFCL)戦略を提案する。
3つのMISベンチマークの大規模な実験により、私たちのCTRCLは、さまざまな評価基準の下で、最先端の協調学習方法よりも優れています。
関連論文リスト
- ETO:Efficient Transformer-based Local Feature Matching by Organizing Multiple Homography Hypotheses [35.31588965060201]
局所的な特徴マッチングのための効率的なトランスフォーマーベースネットワークアーキテクチャを提案する。
YFCC100Mデータセットでは、我々のマッチング精度は最先端のトランスフォーマーベースのアーキテクチャであるLoFTRと競合する。
論文 参考訳（メタデータ） (2024-10-30T06:39:27Z) - Evaluating Fast Adaptability of Neural Networks for Brain-Computer Interface [0.23020018305241333]
我々は,CNN(Convolutional Neural Networks)に基づく分類器の入力として,運動運動と想像信号を用いる。
実験により,CNNを用いたEEG分類器の適応性は10段階未満で向上することが示された。
論文 参考訳（メタデータ） (2024-04-14T22:36:53Z) - A Novel Feature Map Enhancement Technique Integrating Residual CNN and Transformer for Alzheimer Diseases Diagnosis [1.2432046687586285]
アルツハイマー病(AD)は認知機能低下と異常な脳タンパクの蓄積を伴い、効果的な治療のために時間的診断を必要とする。
ディープラーニングの進歩を活かしたCADシステムはAD検出に成功しているが、計算精度とデータセットの微妙なコントラスト、構造、テクスチャの変化を呈している。
このアプローチは、新しいCNN Meet Transformer(HSCMT)、カスタマイズされた残留学習CNN、ADの多様な形態、コントラスト、テクスチャのバリエーションを学ぶための新しい特徴マップ拡張(FME)戦略の3つの異なる要素を統合する。
論文 参考訳（メタデータ） (2024-03-30T10:17:13Z) - Physics-informed and Unsupervised Riemannian Domain Adaptation for Machine Learning on Heterogeneous EEG Datasets [53.367212596352324]
脳波信号物理を利用した教師なし手法を提案する。
脳波チャンネルをフィールド、ソースフリーなドメイン適応を用いて固定位置にマッピングする。
提案手法は脳-コンピュータインタフェース(BCI)タスクおよび潜在的なバイオマーカー応用におけるロバストな性能を示す。
論文 参考訳（メタデータ） (2024-03-07T16:17:33Z) - Transformer-CNN Fused Architecture for Enhanced Skin Lesion Segmentation [0.0]
畳み込みニューラルネットワーク(CNN)は、非常に高度な医療画像セグメンテーションを持つ。
CNNは、長距離依存関係の学習とグローバルコンテキストの取得に苦労している。
我々は、トランスフォーマーがグローバルな依存関係をキャプチャする能力と、CNNが低レベル空間の詳細をキャプチャする能力を組み合わせたハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2024-01-10T18:36:14Z) - Affine-Consistent Transformer for Multi-Class Cell Nuclei Detection [76.11864242047074]
本稿では, 原子核位置を直接生成する新しいアフィン一貫性変換器 (AC-Former) を提案する。
本稿では,AAT (Adaptive Affine Transformer) モジュールを導入し,ローカルネットワークトレーニングのためのオリジナル画像をワープするための重要な空間変換を自動学習する。
実験結果から,提案手法は様々なベンチマークにおいて既存の最先端アルゴリズムを著しく上回ることがわかった。
論文 参考訳（メタデータ） (2023-10-22T02:27:02Z) - SeUNet-Trans: A Simple yet Effective UNet-Transformer Model for Medical
Image Segmentation [0.0]
医用画像セグメンテーションのためのシンプルなUNet-Transformer(seUNet-Trans)モデルを提案する。
提案手法では,UNetモデルを特徴抽出器として設計し,入力画像から複数の特徴マップを生成する。
UNetアーキテクチャと自己認識機構を活用することで、我々のモデルはローカルとグローバルの両方のコンテキスト情報を保存するだけでなく、入力要素間の長距離依存関係をキャプチャできる。
論文 参考訳（メタデータ） (2023-10-16T01:13:38Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Cross-receptive Focused Inference Network for Lightweight Image
Super-Resolution [64.25751738088015]
トランスフォーマーに基づく手法は、単一画像超解像(SISR)タスクにおいて顕著な性能を示した。
動的に特徴を抽出するために文脈情報を組み込む必要がある変換器は無視される。
我々は,CNNとTransformerを混合したCTブロックのカスケードで構成される,軽量なクロスレセプティブ・フォーカスド・推論・ネットワーク(CFIN)を提案する。
論文 参考訳（メタデータ） (2022-07-06T16:32:29Z) - Knowledge Distillation By Sparse Representation Matching [107.87219371697063]
本稿では,一方の畳み込みネットワーク(cnn)から他方へ,スパース表現を用いて中間知識を伝達するスパース表現マッチング(srm)を提案する。
勾配降下を利用して効率的に最適化し、任意のCNNにプラグアンドプレイで統合できるニューラルプロセッシングブロックとして定式化します。
実験の結果,教師と生徒のネットワーク間のアーキテクチャの違いに頑健であり,複数のデータセットにまたがる他のkd技術よりも優れていた。
論文 参考訳（メタデータ） (2021-03-31T11:47:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。