論文の概要: AC-Norm: Effective Tuning for Medical Image Analysis via Affine
Collaborative Normalization
- arxiv url: http://arxiv.org/abs/2307.15282v1
- Date: Fri, 28 Jul 2023 03:27:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-31 13:52:42.418841
- Title: AC-Norm: Effective Tuning for Medical Image Analysis via Affine
Collaborative Normalization
- Title(参考訳): AC-Norm:Affine Collaborative Normalizationによる医用画像解析のための効果的なチューニング
- Authors: Chuyan Zhang, Yuncheng Yang, Hao Zheng, Yun Gu
- Abstract要約: Affine Collaborative Normalization (AC-Norm) が提案されている。
AC-Normは、クロスドメインチャネルワイズ相関に基づいてターゲットモデルのチャネルを動的に再分類する。
我々は,AC-Normがバニラファインタニングを最大4%改善したことを実証した。
- 参考スコア(独自算出の注目度): 11.224435413938375
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Driven by the latest trend towards self-supervised learning (SSL), the
paradigm of "pretraining-then-finetuning" has been extensively explored to
enhance the performance of clinical applications with limited annotations.
Previous literature on model finetuning has mainly focused on regularization
terms and specific policy models, while the misalignment of channels between
source and target models has not received sufficient attention. In this work,
we revisited the dynamics of batch normalization (BN) layers and observed that
the trainable affine parameters of BN serve as sensitive indicators of domain
information. Therefore, Affine Collaborative Normalization (AC-Norm) is
proposed for finetuning, which dynamically recalibrates the channels in the
target model according to the cross-domain channel-wise correlations without
adding extra parameters. Based on a single-step backpropagation, AC-Norm can
also be utilized to measure the transferability of pretrained models. We
evaluated AC-Norm against the vanilla finetuning and state-of-the-art
fine-tuning methods on transferring diverse pretrained models to the diabetic
retinopathy grade classification, retinal vessel segmentation, CT lung nodule
segmentation/classification, CT liver-tumor segmentation and MRI cardiac
segmentation tasks. Extensive experiments demonstrate that AC-Norm unanimously
outperforms the vanilla finetuning by up to 4% improvement, even under
significant domain shifts where the state-of-the-art methods bring no gains. We
also prove the capability of AC-Norm in fast transferability estimation. Our
code is available at https://github.com/EndoluminalSurgicalVision-IMR/ACNorm.
- Abstract(参考訳): 自己教師型学習(SSL)への最新のトレンドを背景として,アノテーションを限定した臨床応用の性能向上のために,"事前学習"のパラダイムが広く研究されている。
モデルファインタニングに関するこれまでの文献は主に正規化用語と特定のポリシーモデルに焦点を合わせてきたが、ソースモデルとターゲットモデルのチャネルのミスアライメントは十分に注目されていない。
本研究では,バッチ正規化(BN)層の力学を再検討し,BNのトレーニング可能なアフィンパラメータがドメイン情報の感度指標となることを示した。
そこで,Affine Collaborative Normalization (AC-Norm) を微調整のために提案する。
シングルステップのバックプロパゲーションに基づいて、AC-Normは事前訓練されたモデルの転送可能性を測定するためにも使用できる。
糖尿病網膜症分類,網膜血管分節,CT肺結節分節/分節分類,CT肝-腫瘍分節,MRI心臓分節タスクに各種事前訓練したモデルを移行するためのバニラ微調整法と最先端微調整法について検討した。
大規模な実験により、AC-Normは、最先端の手法が利益をもたらすような大きなドメインシフトであっても、バニラ微調整を最大4%改善した。
また,高速転送可能性推定におけるAC-Normの有効性を実証する。
私たちのコードはhttps://github.com/EndoluminalSurgicalVision-IMR/ACNormで公開されています。
関連論文リスト
- Improving Neural Additive Models with Bayesian Principles [50.850344989656044]
ニューラル加算モデル(NAM)は、個別の加算サブネットワークでキャリブレーションされた入力特徴を扱うことにより、ディープニューラルネットワークの透明性を高める。
本研究では,Laplace-approximated NAM (LA-NAMs) を開発した。
論文 参考訳(メタデータ) (2023-05-26T13:19:15Z) - Med-Tuning: Parameter-Efficient Transfer Learning with Fine-Grained
Feature Enhancement for Medical Volumetric Segmentation [39.03567546539026]
本稿では,医療用ボリュームセグメンテーションのためのパラメータ効率変換学習について述べる。
我々は,段階内特徴強調と段階間特徴相互作用に基づくMed-Tuningという新しいフレームワークを提案する。
本手法は,従来のセグメンテーションタスクにおけるパラメータ効率のよい移動学習法よりも優れた結果が得られる。
論文 参考訳(メタデータ) (2023-04-21T10:47:13Z) - Rethinking Semi-Supervised Medical Image Segmentation: A
Variance-Reduction Perspective [51.70661197256033]
医用画像セグメンテーションのための階層化グループ理論を用いた半教師付きコントラスト学習フレームワークARCOを提案する。
まず、分散還元推定の概念を用いてARCOを構築することを提案し、特定の分散還元技術が画素/ボクセルレベルのセグメンテーションタスクにおいて特に有用であることを示す。
5つの2D/3D医療データセットと3つのセマンティックセグメンテーションデータセットのラベル設定が異なる8つのベンチマークで、我々のアプローチを実験的に検証する。
論文 参考訳(メタデータ) (2023-02-03T13:50:25Z) - Orientation-Shared Convolution Representation for CT Metal Artifact
Learning [63.67718355820655]
X線CT(CT)スキャン中、患者を乗せた金属インプラントは、しばしば有害なアーティファクトに繋がる。
既存のディープラーニングベースの手法は、有望な再構築性能を得た。
本稿では,人工物の物理的事前構造に適応するために,配向型畳み込み表現戦略を提案する。
論文 参考訳(メタデータ) (2022-12-26T13:56:12Z) - Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。
我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。
得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
論文 参考訳(メタデータ) (2022-11-16T21:55:05Z) - Improving Classification Model Performance on Chest X-Rays through Lung
Segmentation [63.45024974079371]
本稿では, セグメンテーションによる異常胸部X線(CXR)識別性能を向上させるための深層学習手法を提案する。
提案手法は,CXR画像中の肺領域を局所化するための深層ニューラルネットワーク(XLSor)と,大規模CXRデータセットで事前学習した自己教師あり運動量コントラスト(MoCo)モデルのバックボーンを用いたCXR分類モデルである。
論文 参考訳(メタデータ) (2022-02-22T15:24:06Z) - How Transferable Are Self-supervised Features in Medical Image
Classification Tasks? [0.7734726150561086]
トランスファーラーニングは、医学分類タスクにおけるラベル付きデータの欠如を軽減するための標準的プラクティスとなっている。
自己教師付き事前訓練モデルでは、教師付きモデルよりもリッチな埋め込みが得られる。
Dynamic Visual Meta-Embedding (DVME)は、複数のモデルから事前学習された埋め込みを融合するエンドツーエンドのトランスファー学習アプローチである。
論文 参考訳(メタデータ) (2021-08-23T10:39:31Z) - Learning Multi-Modal Volumetric Prostate Registration with Weak
Inter-Subject Spatial Correspondence [2.6894568533991543]
MRシークエンスにおける前立腺の位置に関する事前情報のための補助入力をニューラルネットワークに導入する。
MR-TRUS前立腺データのラベルが弱いことから,最先端のディープラーニング手法に匹敵する登録品質を示した。
論文 参考訳(メタデータ) (2021-02-09T16:48:59Z) - Learning Tubule-Sensitive CNNs for Pulmonary Airway and Artery-Vein
Segmentation in CT [45.93021999366973]
肺気道,動脈,静脈の分節に対する畳み込みニューラルネットワーク(CNN)の訓練は困難である。
コントラスト非造影CTにおいて,CNNによる正確な気道および動脈静脈分画法を提案する。
細気管支、動脈、静脈に対して優れた感受性を有する。
論文 参考訳(メタデータ) (2020-12-10T15:56:08Z) - Physics-informed neural networks for myocardial perfusion MRI
quantification [3.318100528966778]
本研究では, 心筋灌流MR定量化のための物理インフォームドニューラルネットワーク(PINN)を提案する。
PINNは、基礎となる物理保存法則を尊重しながら、観測された拡散MRデータに適合するように訓練することができる。
論文 参考訳(メタデータ) (2020-11-25T16:02:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。