論文の概要: Lean Unet: A Compact Model for Image Segmentation
- arxiv url: http://arxiv.org/abs/2512.03834v1
- Date: Wed, 03 Dec 2025 14:35:21 GMT
- ステータス: 情報取得中
- システム内更新日: 2025-12-04 12:00:37.866399
- Title: Lean Unet: A Compact Model for Image Segmentation
- Title(参考訳): Lean Unet: イメージセグメンテーションのためのコンパクトモデル
- Authors: Ture Hassler, Ida Åkerholm, Marcus Nordström, Gabriele Balletti, Orcun Goksel,
- Abstract要約: 現在のUnetアーキテクチャは、情報内容を保存するためにチャネル次元を拡大しながら、空間分解能を反復的にダウンサンプルする。
チャネルプルーニングはUnetアーキテクチャを精度損失なく圧縮するが、長い最適化が必要であり、タスクやデータセットをまたいだ一般化はできない。
本稿では,分解能が半減するにつれてチャネルが2倍にならないような,コンパクトでフラットな階層を持つリーンUnetアーキテクチャ(LUnet)を提案する。
- 参考スコア(独自算出の注目度): 2.876199562221577
- License:
- Abstract: Unet and its variations have been standard in semantic image segmentation, especially for computer assisted radiology. Current Unet architectures iteratively downsample spatial resolution while increasing channel dimensions to preserve information content. Such a structure demands a large memory footprint, limiting training batch sizes and increasing inference latency. Channel pruning compresses Unet architecture without accuracy loss, but requires lengthy optimization and may not generalize across tasks and datasets. By investigating Unet pruning, we hypothesize that the final structure is the crucial factor, not the channel selection strategy of pruning. Based on our observations, we propose a lean Unet architecture (LUnet) with a compact, flat hierarchy where channels are not doubled as resolution is halved. We evaluate on a public MRI dataset allowing comparable reporting, as well as on two internal CT datasets. We show that a state-of-the-art pruning solution (STAMP) mainly prunes from the layers with the highest number of channels. Comparatively, simply eliminating a random channel at the pruning-identified layer or at the largest layer achieves similar or better performance. Our proposed LUnet with fixed architectures and over 30 times fewer parameters achieves performance comparable to both conventional Unet counterparts and data-adaptively pruned networks. The proposed lean Unet with constant channel count across layers requires far fewer parameters while achieving performance superior to standard Unet for the same total number of parameters. Skip connections allow Unet bottleneck channels to be largely reduced, unlike standard encoder-decoder architectures requiring increased bottleneck channels for information propagation.
- Abstract(参考訳): Unetとそのバリエーションは、特にコンピュータ支援放射線学において、セマンティックイメージセグメンテーションにおいて標準となっている。
現在のUnetアーキテクチャは、情報内容を保存するためにチャネル次元を拡大しながら、空間分解能を反復的にダウンサンプルする。
このような構造は大きなメモリフットプリントを必要とし、トレーニングバッチサイズを制限し、推論遅延を増大させる。
チャネルプルーニングはUnetアーキテクチャを精度損失なく圧縮するが、長い最適化が必要であり、タスクやデータセットをまたいだ一般化はできない。
Unetプルーニングを調査することにより、最終構造がプルーニングのチャネル選択戦略ではなく、決定的な要素である、という仮説を立てる。
本稿では,分解能が半減するにつれてチャネルが2倍にならないような,コンパクトでフラットな階層構造を持つリーンUnetアーキテクチャ(LUnet)を提案する。
我々は2つの内部CTデータセットと同様に、同等の報告が可能な公開MRIデータセットの評価を行った。
最先端のプルーニング・ソリューション (STAMP) は, チャネル数が最も多い層からのプルーネが主であることを示す。
対照的に、プルーニング識別層や最大の層でランダムチャネルを除去するだけで、同様のあるいはより良い性能が得られる。
固定アーキテクチャと30倍以上のパラメータを持つLUnetは,従来のUnetとデータ適応型ネットワークに匹敵する性能を実現する。
同じ数のパラメータに対して標準Unetよりも優れた性能を保ちながら、層をまたいだチャンネル数を一定とするリーンUnetは、はるかに少ないパラメータを必要とする。
スキップ接続により、標準的なエンコーダ/デコーダアーキテクチャとは異なり、Unetのボトルネックチャネルが大幅に削減される。
関連論文リスト
- DDU-Net: A Domain Decomposition-Based CNN for High-Resolution Image Segmentation on Multiple GPUs [46.873264197900916]
ドメイン分解に基づくU-Netアーキテクチャを導入し、入力イメージを重複しないパッチに分割する。
空間コンテキストの理解を高めるために、パッチ間情報交換を容易にするための通信ネットワークが追加される。
その結果、この手法は、パッチ間通信のない同一ネットワークと比較して、IoU(Universal over Union)スコアよりも2~3,%高い交点を達成できることが判明した。
論文 参考訳(メタデータ) (2024-07-31T01:07:21Z) - (PASS) Visual Prompt Locates Good Structure Sparsity through a Recurrent HyperNetwork [60.889175951038496]
大規模ニューラルネットワークは、視覚や言語処理など、さまざまな領域で顕著なパフォーマンスを示している。
構造的刈り込みの鍵となる問題のひとつは、チャネルの意義を見積もる方法である。
我々は,新しいアルゴリズムフレームワーク,すなわち textttPASS を提案する。
視覚的プロンプトとネットワーク重み統計の両方を入力とし、繰り返し的に層ワイドチャネル間隔を出力するように調整されたハイパーネットワークである。
論文 参考訳(メタデータ) (2024-07-24T16:47:45Z) - DeblurDiNAT: A Compact Model with Exceptional Generalization and Visual Fidelity on Unseen Domains [1.5124439914522694]
DeDiNATはDilated Neighborhood Attentionに基づくデブロアリングトランスフォーマーである。
チャンネル横断学習者は、隣接するチャンネル間の短距離関係を理解するためにトランスフォーマーブロックを支援する。
最先端モデルと比較して、コンパクトなDeDiNATはより優れた一般化能力を示し、知覚的メトリクスにおいて顕著な性能を達成する。
論文 参考訳(メタデータ) (2024-03-19T21:31:31Z) - DepGraph: Towards Any Structural Pruning [68.40343338847664]
我々は、CNN、RNN、GNN、Transformersのような任意のアーキテクチャの一般的な構造解析について研究する。
本稿では,階層間の依存関係を明示的にモデル化し,包括的にグループ化してプルーニングを行う汎用かつ完全自動な手法であるemphDependency Graph(DepGraph)を提案する。
本研究では,画像用ResNe(X)t,DenseNet,MobileNet,Vision Transformer,グラフ用GAT,3Dポイントクラウド用DGCNN,言語用LSTMなど,さまざまなアーキテクチャやタスクに関する手法を広範囲に評価し,言語用LSTMと並行して示す。
論文 参考訳(メタデータ) (2023-01-30T14:02:33Z) - Pruning-as-Search: Efficient Neural Architecture Search via Channel
Pruning and Structural Reparameterization [50.50023451369742]
プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。
提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
論文 参考訳(メタデータ) (2022-06-02T17:58:54Z) - a novel attention-based network for fast salient object detection [14.246237737452105]
現在の有向物体検出ネットワークにおいて、最も一般的な方法はU字型構造を用いることである。
3つのコントリビューションを持つ新しい深層畳み込みネットワークアーキテクチャを提案する。
提案手法は, 精度を損なうことなく, 原サイズの1/3まで圧縮できることを示した。
論文 参考訳(メタデータ) (2021-12-20T12:30:20Z) - Group Fisher Pruning for Practical Network Compression [58.25776612812883]
本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。
我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。
提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
論文 参考訳(メタデータ) (2021-08-02T08:21:44Z) - Scalable Visual Transformers with Hierarchical Pooling [61.05787583247392]
本稿では,視覚的トークンを徐々にプールしてシーケンス長を縮小する階層的ビジュアルトランスフォーマ(hvt)を提案する。
計算の複雑さを増すことなく、深さ/幅/解像度/パッチサイズの寸法をスケールすることで、大きなメリットをもたらします。
当社のHVTはImageNetとCIFAR-100データセットの競合ベースラインを上回っています。
論文 参考訳(メタデータ) (2021-03-19T03:55:58Z) - Rethinking Channel Dimensions for Efficient Model Design [30.523365449381256]
提案手法よりも優れた性能を実現するために,チャネル次元の効率的な構成について検討する。
本稿では,レイヤインデックスによってパラメータ化可能な,シンプルで効果的なチャネル構成を提案する。
提案手法は,ImageNetの分類および伝達学習タスクにおいて顕著な性能を発揮する。
論文 参考訳(メタデータ) (2020-07-02T10:01:12Z) - A Generic Network Compression Framework for Sequential Recommender
Systems [71.81962915192022]
シークエンシャルレコメンデーションシステム(SRS)は,ユーザの動的関心を捉え,高品質なレコメンデーションを生成する上で重要な技術となっている。
CpRecと呼ばれる圧縮されたシーケンシャルレコメンデーションフレームワークを提案する。
大規模なアブレーション研究により、提案したCpRecは実世界のSRSデータセットにおいて最大4$sim$8倍の圧縮速度を達成できることを示した。
論文 参考訳(メタデータ) (2020-04-21T08:40:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。