論文の概要: Invertible Residual Network with Regularization for Effective Medical Image Segmentation

• arxiv url: http://arxiv.org/abs/2103.09042v1
• Date: Tue, 16 Mar 2021 13:19:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-17 13:22:06.215954
• Title: Invertible Residual Network with Regularization for Effective Medical Image Segmentation
• Title（参考訳）: 医用画像分割のための正規化型可逆残像ネットワーク
• Authors: Kashu Yamazaki, Vidhiwar Singh Rathour, T.Hoang Ngan Le
• Abstract要約: バックプロパゲーションを用いたニューラルネットワークのトレーニングにおいて、アクティベーションメモリフットプリントを大幅に削減するために、可逆ニューラルネットワークが適用されている。 可逆残存ネットワーク(部分可逆残存ネットワーク, Partially-InvRes)と完全可逆残存ネットワーク(Fully-InvRes)の2つのバージョンを提案する。 この結果から,部分可逆ネットワークをボリュームセグメンテーションの中心として用いることにより,メモリオーバヘッドを削減できるだけでなく,非可逆的3d unetと同等なセグメンテーション性能を実現することができた。
• 参考スコア（独自算出の注目度）: 2.76240219662896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Convolutional Neural Networks (CNNs) i.e. Residual Networks (ResNets) have been used successfully for many computer vision tasks, but are difficult to scale to 3D volumetric medical data. Memory is increasingly often the bottleneck when training 3D Convolutional Neural Networks (CNNs). Recently, invertible neural networks have been applied to significantly reduce activation memory footprint when training neural networks with backpropagation thanks to the invertible functions that allow retrieving its input from its output without storing intermediate activations in memory to perform the backpropagation. Among many successful network architectures, 3D Unet has been established as a standard architecture for volumetric medical segmentation. Thus, we choose 3D Unet as a baseline for a non-invertible network and we then extend it with the invertible residual network. In this paper, we proposed two versions of the invertible Residual Network, namely Partially Invertible Residual Network (Partially-InvRes) and Fully Invertible Residual Network (Fully-InvRes). In Partially-InvRes, the invertible residual layer is defined by a technique called additive coupling whereas in Fully-InvRes, both invertible upsampling and downsampling operations are learned based on squeezing (known as pixel shuffle). Furthermore, to avoid the overfitting problem because of less training data, a variational auto-encoder (VAE) branch is added to reconstruct the input volumetric data itself. Our results indicate that by using partially/fully invertible networks as the central workhorse in volumetric segmentation, we not only reduce memory overhead but also achieve compatible segmentation performance compared against the non-invertible 3D Unet. We have demonstrated the proposed networks on various volumetric datasets such as iSeg 2019 and BraTS 2020.
• Abstract（参考訳）: 深層畳み込みニューラルネットワーク(Deep Convolutional Neural Networks, CNN) Residual Networks (ResNets) は多くのコンピュータビジョンタスクでうまく使われているが、3次元の医療データにスケールすることは困難である。 3d畳み込みニューラルネットワーク(cnns)のトレーニングでは、メモリがボトルネックになることが多い。 近年、インバーチブルニューラルネットワークは、バックプロパゲーションを行うために、中間的アクティベーションをメモリに格納することなく出力から入力を取り出すことができる可逆関数のおかげで、バックプロパゲーションでニューラルネットワークをトレーニングする際のアクティベーションメモリフットプリントを大幅に削減するために応用されている。 多くの成功したネットワークアーキテクチャの中で、3d unetは体積医学のセグメンテーションの標準アーキテクチャとして確立されている。 そこで我々は,非可逆ネットワークのベースラインとして3D Unetを選択し,それを可逆残差ネットワークで拡張する。 本稿では, 部分可逆残差ネットワーク (部分可逆残差ネットワーク) と完全可逆残差ネットワーク (完全可逆残差ネットワーク) の2つのバージョンを提案する。 部分インヴルでは、インバータブル残差層は加法結合と呼ばれる技法で定義され、フルインヴルルでは、逆アップサンプリングとダウンサンプリングの操作の両方がスクイージング(ピクセルシャッフルとして知られる)に基づいて学習される。 さらに、トレーニングデータが少ないため、過剰フィッティング問題を回避するために、変動オートエンコーダ(vae)ブランチを追加して入力ボリュームデータ自体を再構築する。 この結果から,部分可逆ネットワークをボリュームセグメンテーションの中心として用いることにより,メモリオーバヘッドを削減できるだけでなく,非可逆的3d unetと同等なセグメンテーション性能を実現することができた。 iSeg 2019やBraTS 2020など,さまざまなボリュームデータセット上で提案するネットワークを実証した。

関連論文リスト

• Fully invertible hyperbolic neural networks for segmenting large-scale surface and sub-surface data [4.1579007112499315]
  本稿では,電信方程式に基づく完全可逆ネットワークについて述べる。 完全可逆ネットワークと畳み込みカーネルを含む層を直接圧縮形式で結合することにより、畳み込みカーネルの爆発に対処する。 超スペクトル土地利用分類、空中物理探査、および地震探査の例は、1チャンクで大きなデータ量を入力でき、小さなパッチで作業する必要がないことを示している。
  論文  参考訳（メタデータ） (2024-06-30T05:35:12Z)
• Leveraging SO(3)-steerable convolutions for pose-robust semantic segmentation in 3D medical data [2.207533492015563]
  球面調和に基づく同変ボクセル畳み込みを用いたセグメンテーションネットワークを新たに提案する。 これらのネットワークは、トレーニング中に見えないデータポーズに対して堅牢であり、トレーニング中にローテーションベースのデータ拡張を必要としない。 MRI脳腫瘍におけるセグメンテーション性能と健常な脳構造セグメンテーション課題について検討した。
  論文  参考訳（メタデータ） (2023-03-01T09:27:08Z)
• SVNet: Where SO(3) Equivariance Meets Binarization on Point Cloud Representation [65.4396959244269]
  本論文は,3次元学習アーキテクチャを構築するための一般的なフレームワークを設計することによる課題に対処する。 提案手法はPointNetやDGCNNといった一般的なバックボーンに適用できる。 ModelNet40、ShapeNet、および実世界のデータセットであるScanObjectNNの実験では、この手法が効率、回転、精度の間の大きなトレードオフを達成することを示した。
  論文  参考訳（メタデータ） (2022-09-13T12:12:19Z)
• GLEAM: Greedy Learning for Large-Scale Accelerated MRI Reconstruction [50.248694764703714]
  アンロールされたニューラルネットワークは、最近最先端の加速MRI再構成を達成した。 これらのネットワークは、物理ベースの一貫性とニューラルネットワークベースの正規化を交互に組み合わせることで、反復最適化アルゴリズムをアンロールする。 我々は,高次元画像設定のための効率的なトレーニング戦略である加速度MRI再構成のためのグレディ・ラーニングを提案する。
  論文  参考訳（メタデータ） (2022-07-18T06:01:29Z)
• Neural Implicit Dictionary via Mixture-of-Expert Training [111.08941206369508]
  ニューラルインシシット辞書(NID)を学習することで、データとトレーニング効率の両方を達成する汎用INRフレームワークを提案する。 我々のNIDは、所望の関数空間にまたがるように調整された座標ベースのImpworksのグループを組み立てる。 実験の結果,NIDは最大98%の入力データで2次元画像や3次元シーンの再現を2桁高速化できることがわかった。
  論文  参考訳（メタデータ） (2022-07-08T05:07:19Z)
• Nonlinear Tensor Ring Network [39.89070144585793]
  最先端のディープニューラルネットワーク(DNN)は、様々な現実世界のアプリケーションに広く適用されており、認知問題に対して大きなパフォーマンスを実現している。 冗長モデルをコンパクトなモデルに変換することで、圧縮技術はストレージとメモリ消費を減らすための実用的な解決策であるように見える。 本稿では,完全連結層と畳み込み層の両方を圧縮した非線形テンソルリングネットワーク(NTRN)を開発する。
  論文  参考訳（メタデータ） (2021-11-12T02:02:55Z)
• A New Backbone for Hyperspectral Image Reconstruction [90.48427561874402]
  3次元ハイパースペクトル画像(HSI)再構成は、スナップショット圧縮画像の逆過程を指す。 空間/スペクトル不変Residual U-Net、すなわちSSI-ResU-Netを提案する。 SSI-ResU-Net は浮動小数点演算の 77.3% 以上で競合する性能を実現する。
  論文  参考訳（メタデータ） (2021-08-17T16:20:51Z)
• CoTr: Efficiently Bridging CNN and Transformer for 3D Medical Image Segmentation [95.51455777713092]
  畳み込みニューラルネットワーク(CNN)は、現代の3D医療画像セグメンテーションのデファクトスタンダードとなっている。 本稿では,bf畳み込みニューラルネットワークとbfトランスbf(cotr)を効率良く橋渡しし,正確な3次元医用画像分割を実現する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-03-04T13:34:22Z)
• RANP: Resource Aware Neuron Pruning at Initialization for 3D CNNs [32.054160078692036]
  3D CNNを高いスパーシティレベルにプルーンするResource Aware Neuron Pruning (RANP)アルゴリズムを紹介します。 提案アルゴリズムは, FLOPの約50%-95%の削減, メモリの35%-80%の削減を実現している。
  論文  参考訳（メタデータ） (2021-02-09T04:35:29Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。