論文の概要: Memory Efficient 3D U-Net with Reversible Mobile Inverted Bottlenecks for Brain Tumor Segmentation

• arxiv url: http://arxiv.org/abs/2104.09648v1
• Date: Mon, 19 Apr 2021 21:23:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-22 03:19:30.857993
• Title: Memory Efficient 3D U-Net with Reversible Mobile Inverted Bottlenecks for Brain Tumor Segmentation
• Title（参考訳）: 脳腫瘍分節に対する可逆的移動インバータネックを用いた記憶効率3次元U-Net
• Authors: Mihir Pendse, Vithursan Thangarasa, Vitaliy Chiley, Ryan Holmdahl, Joel Hestness, Dennis DeCoste
• Abstract要約: 従来のU-Netアーキテクチャとメモリ保存技術を組み合わせることで、Brain Tumor(BraTS)チャレンジにおけるモデルの複雑さを高めることを提案する。 当社の3D U-Netは、モバイル反転ボトルネックブロックのリバーシブルバージョンを使用して、トレーニング中にアクティベーションメモリを節約します。 最大3倍の画像ボリューム、25%の深さを持つモデル、または対応する非可逆ネットワークよりも最大2倍のチャンネル数を持つモデルをトレーニングできます。
• 参考スコア（独自算出の注目度）: 4.134876686331775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose combining memory saving techniques with traditional U-Net architectures to increase the complexity of the models on the Brain Tumor Segmentation (BraTS) challenge. The BraTS challenge consists of a 3D segmentation of a 240x240x155x4 input image into a set of tumor classes. Because of the large volume and need for 3D convolutional layers, this task is very memory intensive. To address this, prior approaches use smaller cropped images while constraining the model's depth and width. Our 3D U-Net uses a reversible version of the mobile inverted bottleneck block defined in MobileNetV2, MnasNet and the more recent EfficientNet architectures to save activation memory during training. Using reversible layers enables the model to recompute input activations given the outputs of that layer, saving memory by eliminating the need to store activations during the forward pass. The inverted residual bottleneck block uses lightweight depthwise separable convolutions to reduce computation by decomposing convolutions into a pointwise convolution and a depthwise convolution. Further, this block inverts traditional bottleneck blocks by placing an intermediate expansion layer between the input and output linear 1x1 convolution, reducing the total number of channels. Given a fixed memory budget, with these memory saving techniques, we are able to train image volumes up to 3x larger, models with 25% more depth, or models with up to 2x the number of channels than a corresponding non-reversible network.
• Abstract（参考訳）: 従来のu-netアーキテクチャとメモリ節約技術を組み合わせることで,脳腫瘍分節(brats)課題におけるモデルの複雑さを高めることを提案する。 BraTSチャレンジは、240x240x155x4入力画像を一連の腫瘍クラスに3Dセグメント化したものである。 大きなボリュームと3d畳み込み層の必要性のため、このタスクは非常にメモリ集約的です。 これに対処するために、以前のアプローチでは、モデルの深さと幅を制約しながら、より小さな切り抜き画像を使用する。 私たちの3D U-Netは、MobileNetV2、MnasNetおよびより最近のEfficientNetアーキテクチャで定義されたモバイル逆ボトルネックブロックの可逆バージョンを使用して、トレーニング中のアクティベーションメモリを節約します。 可逆的なレイヤを使用することで、モデルはそのレイヤの出力に応じて入力アクティベーションを再計算し、フォワードパス中にアクティベーションを保存する必要がなくなることでメモリを節約できる。 逆の残差ボトルネックブロックは、軽量の深さ分離可能な畳み込みを用いて、畳み込みをポイントワイド畳み込みと奥行き畳み込みに分解することで計算を低減する。 さらに、入力と出力線形1x1畳み込みの間に中間膨張層を配置することにより、従来のボトルネックブロックを反転させ、チャネルの総数を削減する。 固定メモリ予算を考えると、これらのメモリ節約技術により、画像ボリュームを最大3倍、深さ25%以上のモデル、または、対応する非可逆ネットワークよりも最大2倍のチャネル数でトレーニングすることができる。

関連論文リスト

• LiVOS: Light Video Object Segmentation with Gated Linear Matching [116.58237547253935]
  LiVOSはリニアアテンションによるリニアマッチングを利用する軽量メモリネットワークである。 長くて高解像度のビデオでは、STMベースのメソッドと53%のGPUメモリで一致し、32Gの消費者向けGPU上で4096pの推論をサポートする。
  論文  参考訳（メタデータ） (2024-11-05T05:36:17Z)
• Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
  本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。 分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。 SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-22T17:59:30Z)
• MobileTL: On-device Transfer Learning with Inverted Residual Blocks [14.305834934988185]
  Inverted Residual Blocks (IRB) を用いたモデル転送学習手法であるMobileTLを提案する。 MobileTLは、下位パスのアクティベーションマップの保存を避けるために、内部正規化レイヤのシフトをトレーニングする。 提案手法は,MobileNetV2 と V3 IRB のメモリ使用量をそれぞれ 46% と 53% に削減する。
  論文  参考訳（メタデータ） (2022-12-05T23:07:55Z)
• GLEAM: Greedy Learning for Large-Scale Accelerated MRI Reconstruction [50.248694764703714]
  アンロールされたニューラルネットワークは、最近最先端の加速MRI再構成を達成した。 これらのネットワークは、物理ベースの一貫性とニューラルネットワークベースの正規化を交互に組み合わせることで、反復最適化アルゴリズムをアンロールする。 我々は,高次元画像設定のための効率的なトレーニング戦略である加速度MRI再構成のためのグレディ・ラーニングを提案する。
  論文  参考訳（メタデータ） (2022-07-18T06:01:29Z)
• Memory-efficient Segmentation of High-resolution Volumetric MicroCT Images [11.723370840090453]
  本稿では,3次元高解像度画像分割のためのメモリ効率の高いネットワークアーキテクチャを提案する。 このネットワークは、2段階のU-netベースのカスケードフレームワークを通じて、グローバル機能とローカル機能の両方を組み込んでいる。 実験により, セグメント化精度とメモリ効率の両方の観点から, 最先端の3Dセグメンテーション法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-05-31T16:42:48Z)
• Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
  オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。 本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。 我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
  論文  参考訳（メタデータ） (2022-02-09T18:48:02Z)
• Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
  本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。 Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。 ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
  論文  参考訳（メタデータ） (2021-11-22T11:23:01Z)
• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)
• Invertible Residual Network with Regularization for Effective Medical Image Segmentation [2.76240219662896]
  バックプロパゲーションを用いたニューラルネットワークのトレーニングにおいて、アクティベーションメモリフットプリントを大幅に削減するために、可逆ニューラルネットワークが適用されている。 可逆残存ネットワーク(部分可逆残存ネットワーク, Partially-InvRes)と完全可逆残存ネットワーク(Fully-InvRes)の2つのバージョンを提案する。 この結果から,部分可逆ネットワークをボリュームセグメンテーションの中心として用いることにより,メモリオーバヘッドを削減できるだけでなく,非可逆的3d unetと同等なセグメンテーション性能を実現することができた。
  論文  参考訳（メタデータ） (2021-03-16T13:19:59Z)
• Robust High-dimensional Memory-augmented Neural Networks [13.82206983716435]
  メモリ拡張ニューラルネットワークは、これらの問題を克服するために、明示的なメモリでニューラルネットワークを強化する。 この明示的なメモリへのアクセスは、各個々のメモリエントリを含むソフト読み取りおよび書き込み操作を介して行われる。 本稿では,高次元(HD)ベクトル上でのアナログインメモリ計算を行う明示メモリとして,計算メモリユニットを用いた頑健なアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-10-05T12:01:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。