論文の概要: SlimFormer++: Token Mixing Where It Matters for Efficient 3D Medical Image Segmentation
- arxiv url: http://arxiv.org/abs/2610.25488v1
- Date: Sun, 18 Oct 2026 19:19:08 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:22:58.796431
- Title: SlimFormer++: Token Mixing Where It Matters for Efficient 3D Medical Image Segmentation
- Title(参考訳): SlimFormer++: 効率的な3次元医用画像のセグメンテーションに役立つトケミキシング
- Abstract要約: 類似性誘導プルーニングはパラメータ数を39-75%削減し、平均Diceを0.4ポイント以下に減少させる。
SlimFormer++は最も高いDice (87.84%) と最も低いパラメータを持つHD95 (6.50 mm) を達成する。
これらの結果は,ボリュームセグメンテーションにおける精度・効率トレードオフを改善するための設計戦略として,ステージアウェアトークンの混合を支援する。
- 参考スコア(独自算出の注目度): 7.712710074580407
- License:
- Abstract: To determine where computation is needed in volumetric segmentation networks, we analyze block-level redundancy and stage-wise token-mixer contribution. Centered Kernel Alignment reveals high input-output representational similarity within blocks of representative convolutional, hybrid, and Transformer-style segmentation networks. Similarity-guided pruning reduces their parameter counts by 39-75% while decreasing mean Dice by less than 0.4 percentage points. To examine token mixers within blocks, we introduce Anatomical Relation Distortion, which quantifies how bypassing a mixer distorts feature relations between labeled anatomical positions. Applied to an unpruned candidate architecture, Centered Kernel Alignment indicates high representational redundancy in intermediate encoder mixers, whereas Anatomical Relation Distortion shows that they contribute little and the bottleneck mixer most. These findings motivate SlimFormer++, which uses Selective Mixing blocks with windowed Mamba mixing in the first encoder stage and only residual channel MLPs in deeper stages. At the bottleneck, Augmented Mixing injects similarity-weighted sparse long-range context into the axial taps of a depthwise convolution at cost linear in voxel count. Evaluated against 12 baselines across eight public CT, MRI, and ultrasound datasets (1,809 cases), SlimFormer++ achieves the highest mean Dice (87.84%) and lowest mean HD95 (6.50 mm) with the fewest parameters (5.98 million). These results support stage-aware token mixing as a design strategy for improving the accuracy-efficiency trade-off in volumetric segmentation. The source code is available at https://github.com/WHHHHHY822/SlimFormerPlusPlus
- Abstract(参考訳): ボリュームセグメンテーションネットワークにおいて計算が必要な場所を決定するために、ブロックレベルの冗長性とステージワイドトークン-ミキサーコントリビューションを分析する。
Centered Kernel Alignmentは、代表畳み込み、ハイブリッド、トランスフォーマースタイルのセグメンテーションネットワークのブロック内で高い入出力表現類似性を示す。
類似性誘導プルーニングは、平均Diceを0.4ポイント以下減少させながら、パラメータ数を39-75%減少させる。
ブロック内のトークンミキサーを調べるために,ミキサーをバイパスすることで,ラベル付き解剖学的位置間の特徴的関係がどう変形するかを定量化する,解剖学的関係歪み(Anatomical Relation Distortion)を導入する。
中心化カーネルアライメントは、中間エンコーダミキサーにおいて高い表現冗長性を示すが、解剖学的リレーショナル・ディストーション(Anatomical Relation Distortion)は、それらがほとんど寄与せず、ボトルネック・ミキサーが最も多く寄与していることを示している。
これらの発見は、SlimFormer++を動機付けており、Selective Mixingブロックとウィンドウ付きMambaミキシングを第1エンコーダの段階で使用し、より深い段階では残留チャネルMLPのみを使用する。
ボトルネックにおいて、Augmented Mixingは、類似度重み付きスパース長範囲コンテキストを、ボクセル数においてコスト線形の深さ方向の畳み込みの軸方向タップに注入する。
SlimFormer++は8つのパブリックCT、MRI、超音波データセット(1,809例)の12のベースラインに対して評価され、最も高いDice (87.84%)、最低のHD95 (6.50 mm)、最も少ないパラメータ(5.98百万件)を達成している。
これらの結果は,ボリュームセグメンテーションにおける精度・効率トレードオフを改善するための設計戦略として,ステージアウェアトークンの混合を支援する。
ソースコードはhttps://github.com/WHHHHY822/SlimFormerPlusPlusで入手できる。
関連論文リスト
- Improving Cross-Site Whole-Heart Segmentation [6.716055961221493]
定量的心画像解析にはCTおよびMRIからの全肝分画が不可欠である。
本稿では,TotalSegmentator-componentd nnU-Netv2モデルとサイト特性,ラベル保存型外観拡張を組み合わせた3次元心筋セグメンテーションパイプラインを提案する。
その結果, サイトモチベーションによる外観向上は, 限られたデータ全体のセグメンテーションにおいて, クロスサイトロバスト性を向上させるための実践的戦略であることが示唆された。
論文 参考訳(メタデータ) (2026-08-25T20:03:53Z) - M\textsuperscript{4}Fuse: Lightweight State-Space MoE with a Cross-Scale Gating Bridge for Brain Tumor Segmentation [7.426738885878874]
Mtextsuperscript4Fuseは、識別性脳腫瘍キューを徹底的な外観再構成よりも優先する軽量ネットワークである。
BraTS 2019とBraTS 2021ベンチマークでは、Mtextsuperscript4Fuseはパラメータカウントとパフォーマンスの両方において、他の軽量な優れたメソッドよりも優れています。
論文 参考訳(メタデータ) (2026-05-04T10:45:03Z) - TokenSeg: Efficient 3D Medical Image Segmentation via Hierarchical Visual Token Compression [30.331894334353038]
TokenSegは、効率的な3D医療ボリュームセグメンテーションのための境界対応スパーストークン表現フレームワークである。
TokenSegは、不均一な解剖学的構造に対して、常に最適な性能を提供する。
論文 参考訳(メタデータ) (2026-01-08T02:32:48Z) - SCHEME: Scalable Channel Mixer for Vision Transformers [52.605868919281086]
ビジョントランスフォーマーは多くの計算タスクで素晴らしいパフォーマンスを達成した。
密度の高い接続は、より大きな膨張比をサポートするスパースブロック対角構造に置き換えることができることを示す。
また、トレーニング中に並列分岐として、軽量でパラメータフリーなチャネル共分散アテンション機構を提案する。
論文 参考訳(メタデータ) (2023-12-01T08:22:34Z) - Scaling Up 3D Kernels with Bayesian Frequency Re-parameterization for
Medical Image Segmentation [25.62587471067468]
RepUX-Netは、単純な大きなカーネルブロック設計を持つ純粋なCNNアーキテクチャである。
人間の視覚系における空間周波数にインスパイアされ、カーネル収束を要素的設定に変化させるよう拡張する。
論文 参考訳(メタデータ) (2023-03-10T08:38:34Z) - UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation [93.88170217725805]
本稿では,高画質なセグメンテーションマスクと,パラメータ,計算コスト,推論速度の両面での効率性を提供するUNETR++という3次元医用画像セグメンテーション手法を提案する。
我々の設計の核となるのは、空間的およびチャネル的な識別的特徴を効率的に学習する、新しい効率的な対注意ブロック(EPA)の導入である。
Synapse, BTCV, ACDC, BRaTs, Decathlon-Lungの5つのベンチマークで評価した結果, 効率と精度の両面で, コントリビューションの有効性が示された。
論文 参考訳(メタデータ) (2022-12-08T18:59:57Z) - SplitMixer: Fat Trimmed From MLP-like Models [53.12472550578278]
視覚認識のためのシンプルで軽量な等方的アーキテクチャであるSplitMixerを提案する。
情報(空間混合)とチャネル(チャネル混合)の2種類のインターリーブ畳み込み操作を含む。
論文 参考訳(メタデータ) (2022-07-21T01:37:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。