論文の概要: Scaling Up 3D Kernels with Bayesian Frequency Re-parameterization for Medical Image Segmentation

• arxiv url: http://arxiv.org/abs/2303.05785v2
• Date: Tue, 6 Jun 2023 03:05:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 20:37:42.396375
• Title: Scaling Up 3D Kernels with Bayesian Frequency Re-parameterization for Medical Image Segmentation
• Title（参考訳）: 医用画像分割のためのベイズ周波数再パラメータ化による3次元カーネルのスケールアップ
• Authors: Ho Hin Lee, Quan Liu, Shunxing Bao, Qi Yang, Xin Yu, Leon Y. Cai, Thomas Li, Yuankai Huo, Xenofon Koutsoukos, Bennett A. Landman
• Abstract要約: RepUX-Netは、単純な大きなカーネルブロック設計を持つ純粋なCNNアーキテクチャである。 人間の視覚系における空間周波数にインスパイアされ、カーネル収束を要素的設定に変化させるよう拡張する。
• 参考スコア（独自算出の注目度）: 25.62587471067468
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the inspiration of vision transformers, the concept of depth-wise convolution revisits to provide a large Effective Receptive Field (ERF) using Large Kernel (LK) sizes for medical image segmentation. However, the segmentation performance might be saturated and even degraded as the kernel sizes scaled up (e.g., $21\times 21\times 21$) in a Convolutional Neural Network (CNN). We hypothesize that convolution with LK sizes is limited to maintain an optimal convergence for locality learning. While Structural Re-parameterization (SR) enhances the local convergence with small kernels in parallel, optimal small kernel branches may hinder the computational efficiency for training. In this work, we propose RepUX-Net, a pure CNN architecture with a simple large kernel block design, which competes favorably with current network state-of-the-art (SOTA) (e.g., 3D UX-Net, SwinUNETR) using 6 challenging public datasets. We derive an equivalency between kernel re-parameterization and the branch-wise variation in kernel convergence. Inspired by the spatial frequency in the human visual system, we extend to vary the kernel convergence into element-wise setting and model the spatial frequency as a Bayesian prior to re-parameterize convolutional weights during training. Specifically, a reciprocal function is leveraged to estimate a frequency-weighted value, which rescales the corresponding kernel element for stochastic gradient descent. From the experimental results, RepUX-Net consistently outperforms 3D SOTA benchmarks with internal validation (FLARE: 0.929 to 0.944), external validation (MSD: 0.901 to 0.932, KiTS: 0.815 to 0.847, LiTS: 0.933 to 0.949, TCIA: 0.736 to 0.779) and transfer learning (AMOS: 0.880 to 0.911) scenarios in Dice Score.
• Abstract（参考訳）: 視覚変換器のインスピレーションにより、奥行きの畳み込みの概念は、医療画像のセグメンテーションにLK(Large Kernel)サイズを使用する大きな有効受容場(ERF)を提供するために再考される。 しかし、セグメンテーション性能は、カーネルサイズが拡大するにつれて飽和し、さらに劣化する可能性がある(例えば、CNN(Convolutional Neural Network)において、21\times 21\times 21$)。 我々はLKサイズとの畳み込みが局所学習の最適収束を維持するために限られていると仮定する。 構造的再パラメータ化(SR)は小さなカーネルを並列に局所収束させるが、最適な小さなカーネル分岐はトレーニングの計算効率を損なう可能性がある。 本研究では,単純なカーネルブロック設計の純粋なcnnアーキテクチャであるrepux-netを提案する。これは6つの公的なデータセットを用いて,現在のネットワーク状態のsota(3d ux-net, swinunetr)と競合する。 カーネル再パラメータ化とカーネル収束の分岐ワイド変動の同値性を導出する。 ヒトの視覚系における空間周波数に触発されて、カーネル収束を要素的に設定し、トレーニング中に畳み込み重みを再パラメータ化する前にベイジアンとして空間周波数をモデル化するように拡張する。 具体的には、相互関数を利用して周波数重み付け値を推定し、対応するカーネル要素を確率勾配降下のために再スケールする。 実験結果から、RepUX-Netは内部検証(FLARE:0.929 to 0.944)、外部検証(MSD:0.901 to 0.932, KiTS:0.815 to 0.847, LiTS:0.933 to 0.949, TCIA: 0.736 to 0.779)、転送学習(AMOS: 0.880 to 0.911)の3D SOTAベンチマークを一貫して上回っている。

関連論文リスト

• KernelWarehouse: Rethinking the Design of Dynamic Convolution [16.101179962553385]
  KernelWarehouseはカーネルの基本概念を再定義し、カーネルを組み立てる。 我々は、さまざまなConvNetアーキテクチャを用いて、ImageNetおよびMS-COCOデータセットにおけるKernelWarehouseの有効性を検証した。
  論文  参考訳（メタデータ） (2024-06-12T05:16:26Z)
• DeformUX-Net: Exploring a 3D Foundation Backbone for Medical Image Segmentation with Depthwise Deformable Convolution [26.746489317083352]
  本稿では,CNNモデルのパイオニアである3D DeformUX-Netを紹介する。 計算効率に長範囲依存を適応させるため,体積変形可能な畳み込みを奥行き設定で再検討する。 我々の経験的評価は、3D DeformUX-Netが既存の最先端のViTや大規模なカーネル畳み込みモデルよりも一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2023-09-30T00:33:41Z)
• KernelWarehouse: Towards Parameter-Efficient Dynamic Convolution [19.021411176761738]
  動的畳み込みは、サンプル依存の注意を重み付けした$n$の静的カーネルの線形混合を学習する。 既存の設計はパラメータ非効率であり、畳み込みパラメータの数を$n$倍に増やす。 我々はパラメータ効率と表現力のトレードオフをうまく行うことができる$ KernelWarehouseを提案する。
  論文  参考訳（メタデータ） (2023-08-16T13:35:09Z)
• GMConv: Modulating Effective Receptive Fields for Convolutional Kernels [52.50351140755224]
  畳み込みニューラルネットワークでは、固定N$times$N受容場(RF)を持つ正方形カーネルを用いて畳み込みを行う。 ERFが通常ガウス分布を示す性質に着想を得て,本研究でガウス・マスク畳み込みカーネル(GMConv)を提案する。 私たちのGMConvは、既存のCNNの標準の畳み込みを直接置き換えることができ、標準のバックプロパゲーションによって、エンドツーエンドで簡単に訓練することができます。
  論文  参考訳（メタデータ） (2023-02-09T10:17:17Z)
• UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation [93.88170217725805]
  本稿では,高画質なセグメンテーションマスクと,パラメータ,計算コスト,推論速度の両面での効率性を提供するUNETR++という3次元医用画像セグメンテーション手法を提案する。 我々の設計の核となるのは、空間的およびチャネル的な識別的特徴を効率的に学習する、新しい効率的な対注意ブロック(EPA)の導入である。 Synapse, BTCV, ACDC, BRaTs, Decathlon-Lungの5つのベンチマークで評価した結果, 効率と精度の両面で, コントリビューションの有効性が示された。
  論文  参考訳（メタデータ） (2022-12-08T18:59:57Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for Mobile Vision Applications [68.35683849098105]
  入力テンソルを複数のチャネルグループに分割するSDTAエンコーダを導入する。 1.3Mパラメータを持つEdgeNeXtモデルでは、ImageNet-1Kで71.2%のTop-1精度を実現している。 パラメータ5.6MのEdgeNeXtモデルでは、ImageNet-1Kで79.4%のTop-1精度を実現しています。
  論文  参考訳（メタデータ） (2022-06-21T17:59:56Z)
• Efficient Context-Aware Network for Abdominal Multi-organ Segmentation [8.92337236455273]
  腹腔内多臓器分画を効果的かつ効果的に行うための網羅的粗粒化フレームワークを開発した。 デコーダモジュールでは、k*k*1のスライス内畳み込みと1*1*kのスライス間畳み込みによる異方性畳み込みが、負担を軽減するように設計されている。 コンテキストブロックに対して、異方性と長距離のコンテキスト情報をキャプチャするためのストリッププーリングモジュールを提案する。
  論文  参考訳（メタデータ） (2021-09-22T09:05:59Z)
• nnFormer: Interleaved Transformer for Volumetric Segmentation [50.10441845967601]
  本稿では,自己意図と畳み込みを実証的に組み合わせた,インターリーブアーキテクチャを備えた強力なセグメンテーションモデルであるnnFormerを紹介する。 nnFormerは、SynapseとACDCの2つの一般的なデータセットで、以前のTransformerベースのメソッドよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2021-09-07T17:08:24Z)
• Integrating Circle Kernels into Convolutional Neural Networks [30.950819638148104]
  平方核は現代畳み込みニューラルネットワーク(CNN)の標準単位である 共進化のための等方性受容場を持つ円核を提案する。 我々のトレーニングは、対応するCNNの平方カーネルと比較すると、ほぼ同等の計算量である。
  論文  参考訳（メタデータ） (2021-07-06T07:59:36Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。