Fugu-MT 論文翻訳(概要): 1M parameters are enough? A lightweight CNN-based model for medical image segmentation

論文の概要: 1M parameters are enough? A lightweight CNN-based model for medical image segmentation

arxiv url: http://arxiv.org/abs/2306.16103v1
Date: Wed, 28 Jun 2023 11:17:37 GMT
ステータス: 処理完了
システム内更新日: 2023-06-29 14:36:01.945059
Title: 1M parameters are enough? A lightweight CNN-based model for medical image segmentation
Title（参考訳）: 1mのパラメータで十分か? 医用画像分割のための軽量CNNモデル
Authors: Binh-Duong Dinh, Thanh-Thu Nguyen, Thi-Thao Tran, Van-Truong Pham
Abstract要約: 軽量なU-Netベースのモデルを模索しており、同じ状態を維持したり、より優れたパフォーマンス、すなわちU-Liteを実現できます。我々は,CNNの強みを生かし,演算パラメータの著しい削減を図るために,Depthwise Separable Convolutionの原理に基づいてU-Liteを設計する。全体として、U-Lite は 878K のパラメータしか持たず、従来の U-Net の35倍も小さく、現代の Transformer ベースのモデルよりもはるかに少ない。
参考スコア（独自算出の注目度）: 0.4129225533930966
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Convolutional neural networks (CNNs) and Transformer-based models are being widely applied in medical image segmentation thanks to their ability to extract high-level features and capture important aspects of the image. However, there is often a trade-off between the need for high accuracy and the desire for low computational cost. A model with higher parameters can theoretically achieve better performance but also result in more computational complexity and higher memory usage, and thus is not practical to implement. In this paper, we look for a lightweight U-Net-based model which can remain the same or even achieve better performance, namely U-Lite. We design U-Lite based on the principle of Depthwise Separable Convolution so that the model can both leverage the strength of CNNs and reduce a remarkable number of computing parameters. Specifically, we propose Axial Depthwise Convolutions with kernels 7x7 in both the encoder and decoder to enlarge the model receptive field. To further improve the performance, we use several Axial Dilated Depthwise Convolutions with filters 3x3 for the bottleneck as one of our branches. Overall, U-Lite contains only 878K parameters, 35 times less than the traditional U-Net, and much more times less than other modern Transformer-based models. The proposed model cuts down a large amount of computational complexity while attaining an impressive performance on medical segmentation tasks compared to other state-of-the-art architectures. The code will be available at: https://github.com/duong-db/U-Lite.
Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)とトランスフォーマーベースのモデルは、高レベルの特徴を抽出し、画像の重要な側面を捉える能力により、医療画像セグメンテーションに広く適用されている。しかし、高い精度の必要性と低い計算コストの要求との間にはトレードオフがしばしばある。高いパラメータを持つモデルは理論的にはより優れた性能を達成できるが、計算の複雑さとメモリ使用量の増加をもたらすため、実装には実用的ではない。本稿では,u-lite という,同一のままでも優れた性能を得られる軽量な u-net ベースのモデルを提案する。我々は,CNNの強みを生かし,演算パラメータの著しい削減を図るために,Depthwise Separable Convolutionの原理に基づいてU-Liteを設計する。具体的には、エンコーダとデコーダの両方で7x7のカーネルを持つAxial Depthwise Convolutionsを提案し、モデル受容場を拡大する。性能をさらに向上するため,フィルタ3x3によるAxial Dilated Depthwise Convolutionsをいくつかのブランチとして使用しています。全体として、U-Lite は 878K のパラメータしか持たず、従来の U-Net の35倍も小さく、トランスフォーマーベースのモデルよりもはるかに少ない。提案手法は, 計算複雑性を削減しつつ, 他の最先端アーキテクチャと比較して医療用セグメンテーションタスクにおいて印象的な性能を実現する。コードはhttps://github.com/duong-db/u-lite。

関連論文リスト

Quality Scalable Quantization Methodology for Deep Learning on Edge [0.20718016474717196]
ディープラーニングアーキテクチャは重い計算を使い、計算エネルギーの大部分は畳み込みニューラルネットワークの畳み込み演算によって取り込まれる。提案する研究は、ユビキタスコンピューティングデバイス上でエッジコンピューティングで機械学習技術を使用する場合、CNNのエネルギー消費とサイズを削減することである。 LeNetとConvNetsで実施された実験では、ゼロの6%まで増加し、メモリ節約量は82.4919%まで増加し、最先端の精度を維持した。
論文参考訳（メタデータ） (2024-07-15T22:00:29Z)
Enabling High-Sparsity Foundational Llama Models with Efficient Pretraining and Deployment [56.44025052765861]
大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらしたが、そのサイズは計算のボトルネックを生み出している。そこで本研究では,高性能LLMの高精度かつ疎結合な基本バージョンを作成するための新しいアプローチを提案する。スパース量子化LLaMAの最大8.6倍のCPU上での総高速化を示す。
論文参考訳（メタデータ） (2024-05-06T16:03:32Z)
LiteNeXt: A Novel Lightweight ConvMixer-based Model with Self-embedding Representation Parallel for Medical Image Segmentation [2.0901574458380403]
医用画像分割のための軽量だが効率的な新しいモデル LiteNeXt を提案する。 LiteNeXtは、少量のパラメータ (0.71M) とギガ浮動小数点演算 (0.42) でスクラッチから訓練されている。
論文参考訳（メタデータ） (2024-04-04T01:59:19Z)
SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
論文参考訳（メタデータ） (2023-06-13T08:57:54Z)
EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for Mobile Vision Applications [68.35683849098105]
入力テンソルを複数のチャネルグループに分割するSDTAエンコーダを導入する。 1.3Mパラメータを持つEdgeNeXtモデルでは、ImageNet-1Kで71.2%のTop-1精度を実現している。パラメータ5.6MのEdgeNeXtモデルでは、ImageNet-1Kで79.4%のTop-1精度を実現しています。
論文参考訳（メタデータ） (2022-06-21T17:59:56Z)
Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文参考訳（メタデータ） (2022-06-15T17:58:34Z)
a novel attention-based network for fast salient object detection [14.246237737452105]
現在の有向物体検出ネットワークにおいて、最も一般的な方法はU字型構造を用いることである。 3つのコントリビューションを持つ新しい深層畳み込みネットワークアーキテクチャを提案する。提案手法は, 精度を損なうことなく, 原サイズの1/3まで圧縮できることを示した。
論文参考訳（メタデータ） (2021-12-20T12:30:20Z)
Content-Aware Convolutional Neural Networks [98.97634685964819]
畳み込みニューラルネットワーク(CNN)は、畳み込み層の強力な特徴学習能力によって大きな成功を収めている。本研究では,スムーズなウィンドウを自動的に検出し,元の大規模カーネルを置き換えるために1x1畳み込みカーネルを適用するContent-aware Convolution (CAC)を提案する。
論文参考訳（メタデータ） (2021-06-30T03:54:35Z)
VolumeNet: A Lightweight Parallel Network for Super-Resolution of Medical Volumetric Data [20.34783243852236]
並列接続を用いたParallelNetと呼ばれる医療ボリュームデータのSRのための3次元畳み込みニューラルネットワーク(CNN)を提案する。本稿では,提案手法によりモデルパラメータの数を著しく削減し,高精度な結果が得られることを示す。
論文参考訳（メタデータ） (2020-10-16T12:53:15Z)
Compressing Deep Convolutional Neural Networks by Stacking Low-dimensional Binary Convolution Filters [15.66437882635872]
深層畳み込みニューラルネットワーク(CNN)は多くの実生活問題に適用されている。ディープCNNモデルの巨大なメモリコストは、メモリ制限されたデバイスにそれらをデプロイする上で大きな課題となる。低次元バイナリ畳み込みフィルタを積み重ねて深部CNNモデルを圧縮する新しい手法を提案する。
論文参考訳（メタデータ） (2020-10-06T14:49:22Z)
Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。