論文の概要: Post-Training Network Compression for 3D Medical Image Segmentation: Reducing Computational Efforts via Tucker Decomposition
- arxiv url: http://arxiv.org/abs/2404.09683v2
- Date: Thu, 18 Apr 2024 14:51:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-19 13:50:01.578207
- Title: Post-Training Network Compression for 3D Medical Image Segmentation: Reducing Computational Efforts via Tucker Decomposition
- Title（参考訳）: 3次元医用画像分割のためのトレーニング後ネットワーク圧縮:タッカー分解による計算効率の低減
- Authors: Tobias Weber, Jakob Dexl, David Rügamer, Michael Ingrisch,
- Abstract要約: 本稿では,既存のモデルの分解により,セグメント化精度を損なうことなく,計算要求を低減できるタッカー因数分解法を提案する。
提案手法では,推定時に必要となる浮動小数点演算(FLOP)とメモリを削減し,計算効率とセグメンテーション品質のトレードオフを調整可能とした。
- 参考スコア（独自算出の注目度）: 2.6820435361998918
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We address the computational barrier of deploying advanced deep learning segmentation models in clinical settings by studying the efficacy of network compression through tensor decomposition. We propose a post-training Tucker factorization that enables the decomposition of pre-existing models to reduce computational requirements without impeding segmentation accuracy. We applied Tucker decomposition to the convolutional kernels of the TotalSegmentator (TS) model, an nnU-Net model trained on a comprehensive dataset for automatic segmentation of 117 anatomical structures. Our approach reduced the floating-point operations (FLOPs) and memory required during inference, offering an adjustable trade-off between computational efficiency and segmentation quality. This study utilized the publicly available TS dataset, employing various downsampling factors to explore the relationship between model size, inference speed, and segmentation performance. The application of Tucker decomposition to the TS model substantially reduced the model parameters and FLOPs across various compression rates, with limited loss in segmentation accuracy. We removed up to 88% of the model's parameters with no significant performance changes in the majority of classes after fine-tuning. Practical benefits varied across different graphics processing unit (GPU) architectures, with more distinct speed-ups on less powerful hardware. Post-hoc network compression via Tucker decomposition presents a viable strategy for reducing the computational demand of medical image segmentation models without substantially sacrificing accuracy. This approach enables the broader adoption of advanced deep learning technologies in clinical practice, offering a way to navigate the constraints of hardware capabilities.
- Abstract（参考訳）: 本稿では, テンソル分解によるネットワーク圧縮の有効性を検討することにより, 高度な深層学習セグメンテーションモデルを臨床環境に展開する際の計算障壁に対処する。
本稿では,既存のモデルの分解により,セグメント化精度を損なうことなく,計算要求を低減できるタッカー因数分解法を提案する。
TotalSegmentator(TS)モデルの畳み込みカーネルにTucker分解を適用した。これは117の解剖構造の自動セグメンテーションのための包括的データセットに基づいて訓練されたnnU-Netモデルである。
提案手法では,推定時に必要となる浮動小数点演算(FLOP)とメモリを削減し,計算効率とセグメンテーション品質のトレードオフを調整可能とした。
本研究では,TSデータセットを用いて,モデルサイズ,推論速度,セグメンテーション性能の関係について検討した。
TSモデルへのタッカー分解の適用により、様々な圧縮速度でモデルパラメータとFLOPが大幅に減少し、セグメンテーション精度が低下した。
モデルパラメータの88%を除去したが、微調整後、ほとんどのクラスで顕著な性能変化は見られなかった。
現実的な利点はグラフィックス処理ユニット(GPU)のアーキテクチャによって様々であり、低消費電力のハードウェアではスピードアップがより顕著であった。
タッカー分解によるポストホックネットワーク圧縮は、精度を大幅に犠牲にすることなく、医療画像セグメンテーションモデルの計算要求を減らすための実行可能な戦略を示す。
このアプローチは、ハードウェア機能の制約をナビゲートする方法を提供する、臨床実践における高度なディープラーニングテクノロジの広範な採用を可能にする。
関連論文リスト
- Structured Model Pruning for Efficient Inference in Computational Pathology [2.9687381456164004]
バイオメディカルイメージングにおいて広く使われているU-Netスタイルのアーキテクチャを解析する手法を開発した。
我々は,プルーニングが性能を低下させることなく,少なくとも70%圧縮できることを実証的に実証した。
論文 参考訳（メタデータ） (2024-04-12T22:05:01Z) - Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察
ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。
圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文 参考訳（メタデータ） (2023-06-28T18:14:22Z) - Neural Network Pruning for Real-time Polyp Segmentation [8.08470060885395]
ポリプセグメンテーションにおけるニューラルネットワークプルーニングの適用例を示す。
畳み込みフィルタの重要スコアを計算し、最小スコアを持つフィルタを除去する。
論文 参考訳（メタデータ） (2023-06-22T21:03:50Z) - Scaling Pre-trained Language Models to Deeper via Parameter-efficient
Architecture [68.13678918660872]
行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。
MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。
私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
論文 参考訳（メタデータ） (2023-03-27T02:34:09Z) - Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。
我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。
得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
論文 参考訳（メタデータ） (2022-11-16T21:55:05Z) - STN: Scalable Tensorizing Networks via Structure-Aware Training and
Adaptive Compression [10.067082377396586]
本稿では,モデルサイズと分解構造を適応的に調整するスケーラビリティネットワーク(STN)を提案する。
STNは任意のネットワークアーキテクチャと互換性があり、他のテンソル化バージョンよりも高い圧縮性能と柔軟性を実現する。
論文 参考訳（メタデータ） (2022-05-30T15:50:48Z) - Go Beyond Multiple Instance Neural Networks: Deep-learning Models based
on Local Pattern Aggregation [0.0]
畳み込みニューラルネットワーク(CNN)は、臨床心電図(ECG)と話者非依存音声の処理においてブレークスルーをもたらした。
本稿では,局所的なパターン集約に基づくディープラーニングモデルを提案する。
LPANetと呼ばれる新しいネットワーク構造には、トリミングと集約操作が組み込まれている。
論文 参考訳（メタデータ） (2022-05-28T13:18:18Z) - Rate Distortion Characteristic Modeling for Neural Image Compression [59.25700168404325]
エンドツーエンドの最適化機能は、ニューラルイメージ圧縮(NIC)の優れた損失圧縮性能を提供する。
異なるモデルは、R-D空間の異なる点に到達するために訓練される必要がある。
深層ネットワークと統計モデルを用いてNICのR-D挙動を記述するために,本質的な数学的関数の定式化に努めている。
論文 参考訳（メタデータ） (2021-06-24T12:23:05Z) - Layer Pruning on Demand with Intermediate CTC [50.509073206630994]
我々はコネクショニスト時間分類(CTC)に基づくASRの訓練と刈り取り方法を提案する。
本稿では,Transformer-CTCモデルをオンデマンドで様々な深さでプルーニングできることを示し,GPU上でのリアルタイム係数を0.005から0.002に改善した。
論文 参考訳（メタデータ） (2021-06-17T02:40:18Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳（メタデータ） (2021-06-15T17:22:59Z) - CNN Acceleration by Low-rank Approximation with Quantized Factors [9.654865591431593]
現代の畳み込みニューラルネットワークは複雑なコンピュータビジョンタスクの解決において大きな成果を上げているが、モバイルや組み込みデバイスでは効果的に利用できない。
この問題を解決するために、タッカー形式の低ランクテンソル近似と重みの量子化と特徴写像(アクティベーション)という2つの既知の手法を組み合わせた新しい手法を提案する。
CIFAR-10, CIFAR-100, Imagenet分類タスクにおけるResNet18とResNet34の効率を実証した。
論文 参考訳（メタデータ） (2020-06-16T02:28:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。