論文の概要: The Lighter The Better: Rethinking Transformers in Medical Image
Segmentation Through Adaptive Pruning
- arxiv url: http://arxiv.org/abs/2206.14413v1
- Date: Wed, 29 Jun 2022 05:49:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-01 02:47:45.338538
- Title: The Lighter The Better: Rethinking Transformers in Medical Image
Segmentation Through Adaptive Pruning
- Title（参考訳）: light the better:adaptive pruningによる医用画像セグメンテーションにおけるトランスフォーマーの再考
- Authors: Xian Lin, Li Yu, Kwang-Ting Cheng, and Zengqiang Yan
- Abstract要約: 本稿では,医療画像セグメンテーションのための変換器に適応型プルーニングを適用し,軽量ネットワークAPFormerを提案する。
私たちの知る限りでは、医療画像解析タスクのためのトランスフォーマープルーニングに関する最初の研究である。
我々は,アダプティブプルーニングが他のハイブリッド/トランスフォーマー方式の性能向上のためのプラグイン-n-playモジュールとして機能することを,アブレーション研究を通じて証明した。
- 参考スコア（独自算出の注目度）: 26.405243756778606
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision transformers have recently set off a new wave in the field of medical
image analysis due to their remarkable performance on various computer vision
tasks. However, recent hybrid-/transformer-based approaches mainly focus on the
benefits of transformers in capturing long-range dependency while ignoring the
issues of their daunting computational complexity, high training costs, and
redundant dependency. In this paper, we propose to employ adaptive pruning to
transformers for medical image segmentation and propose a lightweight and
effective hybrid network APFormer. To our best knowledge, this is the first
work on transformer pruning for medical image analysis tasks. The key features
of APFormer mainly are self-supervised self-attention (SSA) to improve the
convergence of dependency establishment, Gaussian-prior relative position
embedding (GRPE) to foster the learning of position information, and adaptive
pruning to eliminate redundant computations and perception information.
Specifically, SSA and GRPE consider the well-converged dependency distribution
and the Gaussian heatmap distribution separately as the prior knowledge of
self-attention and position embedding to ease the training of transformers and
lay a solid foundation for the following pruning operation. Then, adaptive
transformer pruning, both query-wise and dependency-wise, is performed by
adjusting the gate control parameters for both complexity reduction and
performance improvement. Extensive experiments on two widely-used datasets
demonstrate the prominent segmentation performance of APFormer against the
state-of-the-art methods with much fewer parameters and lower GFLOPs. More
importantly, we prove, through ablation studies, that adaptive pruning can work
as a plug-n-play module for performance improvement on other
hybrid-/transformer-based methods. Code is available at
https://github.com/xianlin7/APFormer.
- Abstract（参考訳）: ビジョントランスフォーマーは最近、様々なコンピュータビジョンタスクにおける顕著なパフォーマンスのために、医療画像解析の分野で新しい波を打った。
しかし、最近のハイブリッド/トランスフォーマーベースのアプローチは、おそろしい計算複雑性、高いトレーニングコスト、冗長な依存関係の問題を無視しながら、長距離依存性をキャプチャするトランスフォーマーの利点に重点を置いている。
本稿では,医療画像セグメンテーションのための変換器に適応型プルーニングを適用し,軽量で効果的なハイブリッドネットワークAPFormerを提案する。
我々の知る限り、医療画像解析タスクのためのトランスフォーマープルーニングに関する最初の研究である。
APFormerの主な特徴は、依存性の収束を改善するための自己教師型自己注意(SSA)、位置情報の学習を促進するためのガウシアン・プライオリティな位置埋め込み(GRPE)、冗長な計算や知覚情報を排除するための適応プルーニングである。
具体的には、SSAとGRPEは、よく収束した依存性分布とガウス熱マップ分布を自己アテンションと位置埋め込みの事前知識として別々に考慮し、変圧器の訓練を楽にし、次の刈り取り作業のためのしっかりとした基礎を築いた。
次に、複雑化と性能改善の両面においてゲート制御パラメータを調整することにより、クエリワイドおよび依存性ワイドの両方の適応トランスフォーマープルーニングを行う。
広く使われている2つのデータセットに関する広範囲な実験は、より少ないパラメータと低いgflopsの最先端メソッドに対するapformerの顕著なセグメンテーション性能を示している。
さらに,アダプティブプルーニングがプラグnプレイモジュールとして機能し,他のハイブリッド/トランスフォーマー方式の性能向上が期待できることを示す。
コードはhttps://github.com/xianlin7/apformerで入手できる。
関連論文リスト
- Pruning By Explaining Revisited: Optimizing Attribution Methods to Prune CNNs and Transformers [14.756988176469365]
計算要求の削減と効率の向上のための効果的なアプローチは、ディープニューラルネットワークの不要なコンポーネントを創り出すことである。
これまでの研究では、eXplainable AIの分野からの帰属法が、最も関係の低いネットワークコンポーネントを数ショットで抽出し、プルークする効果的な手段であることが示された。
論文 参考訳（メタデータ） (2024-08-22T17:35:18Z) - Adaptive Step-size Perception Unfolding Network with Non-local Hybrid Attention for Hyperspectral Image Reconstruction [0.39134031118910273]
FISTAアルゴリズムに基づく深層展開ネットワークであるASPUNを提案する。
さらに,非局所的ハイブリッドアテンショントランス (NHAT) モジュールを設計し,コンバータの受容場特性をフル活用する。
実験の結果, ASPUNは既存のSOTAアルゴリズムよりも優れ, 最高の性能が得られることがわかった。
論文 参考訳（メタデータ） (2024-07-04T16:09:52Z) - Unfolding Once is Enough: A Deployment-Friendly Transformer Unit for
Super-Resolution [16.54421804141835]
SISRモデルの中間機能の高解像度化は、メモリと計算要求を増加させる。
本稿では、SISRタスクのためのデプロイメントフレンドリな内部パッチ変換ネットワーク(DITN)を提案する。
我々のモデルは、質的かつ定量的な性能と高いデプロイメント効率で競合する結果を得ることができる。
論文 参考訳（メタデータ） (2023-08-05T05:42:51Z) - AdaptiveClick: Clicks-aware Transformer with Adaptive Focal Loss for Interactive Image Segmentation [51.82915587228898]
インタラクティブイメージ(IIS)のためのトランスフォーマーベースのマスク適応セグメンテーションフレームワークであるAdaptiveClickを紹介した。
Click-Aware Mask-Adaptive Transformer Decoder (CAMD) はクリックと画像の特徴の相互作用を強化する。
通常のViTバックボーンでは、9つのデータセットに対する広範な実験結果から、AdaptiveClickが最先端の手法よりも優れていることが示される。
論文 参考訳（メタデータ） (2023-05-07T13:47:35Z) - Optimizing Vision Transformers for Medical Image Segmentation and
Few-Shot Domain Adaptation [11.690799827071606]
我々はCS-Unet(Convolutional Swin-Unet)トランスフォーマーブロックを提案し、パッチ埋め込み、プロジェクション、フィードフォワードネットワーク、サンプリングおよびスキップ接続に関連する設定を最適化する。
CS-Unetはゼロからトレーニングすることができ、各機能プロセスフェーズにおける畳み込みの優位性を継承する。
実験によると、CS-Unetは事前トレーニングなしで、パラメータが少ない2つの医療用CTおよびMRIデータセットに対して、最先端の他のデータセットを大きなマージンで上回っている。
論文 参考訳（メタデータ） (2022-10-14T19:18:52Z) - Plug-In Inversion: Model-Agnostic Inversion for Vision with Data
Augmentations [61.95114821573875]
単純な拡張セットに依存し、過剰なハイパーパラメータチューニングを必要としないPlug-In Inversionを導入する。
ImageNetデータセットでトレーニングされたビジョントランスフォーマー(ViT)とマルチ層パーセプトロン(MLP)を反転させることにより,我々のアプローチの実用性を説明する。
論文 参考訳（メタデータ） (2022-01-31T02:12:45Z) - AdaViT: Adaptive Vision Transformers for Efficient Image Recognition [78.07924262215181]
AdaViTは、パッチ、セルフアテンションヘッド、およびトランスフォーマーブロックを使用するための利用ポリシーを導出する適応フレームワークである。
本手法は,0.8%の精度で,最先端のビジョントランスに比べて2倍以上の効率向上を実現している。
論文 参考訳（メタデータ） (2021-11-30T18:57:02Z) - HRFormer: High-Resolution Transformer for Dense Prediction [99.6060997466614]
本稿では高分解能な予測タスクのための高分解能表現を学習する高分解能変換器(HRFormer)を提案する。
我々は高分解能畳み込みネットワーク(HRNet)で導入された多分解能並列設計を利用する。
人間のポーズ推定とセマンティックセグメンテーションにおける高分解能トランスフォーマの有効性を示す。
論文 参考訳（メタデータ） (2021-10-18T15:37:58Z) - nnFormer: Interleaved Transformer for Volumetric Segmentation [50.10441845967601]
本稿では,自己意図と畳み込みを実証的に組み合わせた,インターリーブアーキテクチャを備えた強力なセグメンテーションモデルであるnnFormerを紹介する。
nnFormerは、SynapseとACDCの2つの一般的なデータセットで、以前のTransformerベースのメソッドよりも大幅に改善されている。
論文 参考訳（メタデータ） (2021-09-07T17:08:24Z) - Medical Transformer: Gated Axial-Attention for Medical Image
Segmentation [73.98974074534497]
医用画像分割タスクにおけるトランスフォーマティブネットワークアーキテクチャの利用可能性について検討する。
セルフアテンションモジュールに追加の制御機構を導入することで,既存のアーキテクチャを拡張するGated Axial-Attentionモデルを提案する。
医療画像上で効果的にモデルを訓練するために,さらにパフォーマンスを向上させる局所的グローバルトレーニング戦略 (logo) を提案する。
論文 参考訳（メタデータ） (2021-02-21T18:35:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。