論文の概要: AC-Norm: Effective Tuning for Medical Image Analysis via Affine Collaborative Normalization

• arxiv url: http://arxiv.org/abs/2307.15282v1
• Date: Fri, 28 Jul 2023 03:27:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-31 13:52:42.418841
• Title: AC-Norm: Effective Tuning for Medical Image Analysis via Affine Collaborative Normalization
• Title（参考訳）: AC-Norm:Affine Collaborative Normalizationによる医用画像解析のための効果的なチューニング
• Authors: Chuyan Zhang, Yuncheng Yang, Hao Zheng, Yun Gu
• Abstract要約: Affine Collaborative Normalization (AC-Norm) が提案されている。 AC-Normは、クロスドメインチャネルワイズ相関に基づいてターゲットモデルのチャネルを動的に再分類する。 我々は,AC-Normがバニラファインタニングを最大4%改善したことを実証した。
• 参考スコア（独自算出の注目度）: 11.224435413938375
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Driven by the latest trend towards self-supervised learning (SSL), the paradigm of "pretraining-then-finetuning" has been extensively explored to enhance the performance of clinical applications with limited annotations. Previous literature on model finetuning has mainly focused on regularization terms and specific policy models, while the misalignment of channels between source and target models has not received sufficient attention. In this work, we revisited the dynamics of batch normalization (BN) layers and observed that the trainable affine parameters of BN serve as sensitive indicators of domain information. Therefore, Affine Collaborative Normalization (AC-Norm) is proposed for finetuning, which dynamically recalibrates the channels in the target model according to the cross-domain channel-wise correlations without adding extra parameters. Based on a single-step backpropagation, AC-Norm can also be utilized to measure the transferability of pretrained models. We evaluated AC-Norm against the vanilla finetuning and state-of-the-art fine-tuning methods on transferring diverse pretrained models to the diabetic retinopathy grade classification, retinal vessel segmentation, CT lung nodule segmentation/classification, CT liver-tumor segmentation and MRI cardiac segmentation tasks. Extensive experiments demonstrate that AC-Norm unanimously outperforms the vanilla finetuning by up to 4% improvement, even under significant domain shifts where the state-of-the-art methods bring no gains. We also prove the capability of AC-Norm in fast transferability estimation. Our code is available at https://github.com/EndoluminalSurgicalVision-IMR/ACNorm.
• Abstract（参考訳）: 自己教師型学習(SSL)への最新のトレンドを背景として,アノテーションを限定した臨床応用の性能向上のために,"事前学習"のパラダイムが広く研究されている。 モデルファインタニングに関するこれまでの文献は主に正規化用語と特定のポリシーモデルに焦点を合わせてきたが、ソースモデルとターゲットモデルのチャネルのミスアライメントは十分に注目されていない。 本研究では,バッチ正規化(BN)層の力学を再検討し,BNのトレーニング可能なアフィンパラメータがドメイン情報の感度指標となることを示した。 そこで,Affine Collaborative Normalization (AC-Norm) を微調整のために提案する。 シングルステップのバックプロパゲーションに基づいて、AC-Normは事前訓練されたモデルの転送可能性を測定するためにも使用できる。 糖尿病網膜症分類,網膜血管分節,CT肺結節分節/分節分類,CT肝-腫瘍分節,MRI心臓分節タスクに各種事前訓練したモデルを移行するためのバニラ微調整法と最先端微調整法について検討した。 大規模な実験により、AC-Normは、最先端の手法が利益をもたらすような大きなドメインシフトであっても、バニラ微調整を最大4%改善した。 また,高速転送可能性推定におけるAC-Normの有効性を実証する。 私たちのコードはhttps://github.com/EndoluminalSurgicalVision-IMR/ACNormで公開されています。

関連論文リスト

• Low-Rank Continual Pyramid Vision Transformer: Incrementally Segment Whole-Body Organs in CT with Light-Weighted Adaptation [10.746776960260297]
  軽量低ランク適応 (LoRA) を用いた新しい連続体器官分割モデルを提案する。 まず、最初のタスクでピラミッドビジョントランスフォーマー(PVT)ベースセグメンテーションモデルをトレーニングし、その後、新しい学習タスク毎に凍結モデルに軽量でトレーニング可能なLoRAパラメータを継続的に追加する。 提案モデルでは, 破滅的忘れを伴わず, 低パラメータ増加率を維持しながら, 新しい臓器を連続的に分割する。
  論文  参考訳（メタデータ） (2024-10-07T02:00:13Z)
• Dimensionality Reduction and Nearest Neighbors for Improving Out-of-Distribution Detection in Medical Image Segmentation [1.2873975765521795]
  この研究は、肝臓を分断する4つのSwin UNETRとnnU-netモデルのボトルネック特徴にマハラノビス距離(MD)ポストホックを適用した。 モデルが失敗した画像は、高性能で最小の計算負荷で検出された。
  論文  参考訳（メタデータ） (2024-08-05T18:24:48Z)
• DA-Flow: Dual Attention Normalizing Flow for Skeleton-based Video Anomaly Detection [52.74152717667157]
  本稿では,DAM(Dual Attention Module)と呼ばれる軽量モジュールを提案する。 フレームアテンション機構を使用して、最も重要なフレームを識別し、スケルトンアテンション機構を使用して、最小パラメータとフロップで固定されたパーティション間の広範な関係をキャプチャする。
  論文  参考訳（メタデータ） (2024-06-05T06:18:03Z)
• CT-based brain ventricle segmentation via diffusion Schrödinger Bridge without target domain ground truths [0.9720086191214947]
  クリニカルCTスキャンによる高効率かつ正確な脳室分画は、腹腔鏡下手術のような緊急手術には不可欠である。 我々は,CTセグメント化の真偽を必要とせず,新しい不確実性に留意した心室分画法を導入する。 提案手法では拡散型Schr"odinger Bridgeと残像U-Netを併用し,画像診断とMRI検査を併用した。
  論文  参考訳（メタデータ） (2024-05-28T15:17:58Z)
• Improving Neural Additive Models with Bayesian Principles [54.29602161803093]
  ニューラル加算モデル(NAM)は、個別の加算サブネットワークでキャリブレーションされた入力特徴を扱うことにより、ディープニューラルネットワークの透明性を高める。 本研究では,Laplace-approximated NAM (LA-NAMs) を開発した。
  論文  参考訳（メタデータ） (2023-05-26T13:19:15Z)
• Rethinking Semi-Supervised Medical Image Segmentation: A Variance-Reduction Perspective [51.70661197256033]
  医用画像セグメンテーションのための階層化グループ理論を用いた半教師付きコントラスト学習フレームワークARCOを提案する。 まず、分散還元推定の概念を用いてARCOを構築することを提案し、特定の分散還元技術が画素/ボクセルレベルのセグメンテーションタスクにおいて特に有用であることを示す。 5つの2D/3D医療データセットと3つのセマンティックセグメンテーションデータセットのラベル設定が異なる8つのベンチマークで、我々のアプローチを実験的に検証する。
  論文  参考訳（メタデータ） (2023-02-03T13:50:25Z)
• Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
  2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。 我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。 得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
  論文  参考訳（メタデータ） (2022-11-16T21:55:05Z)
• Improving Classification Model Performance on Chest X-Rays through Lung Segmentation [63.45024974079371]
  本稿では, セグメンテーションによる異常胸部X線(CXR)識別性能を向上させるための深層学習手法を提案する。 提案手法は,CXR画像中の肺領域を局所化するための深層ニューラルネットワーク(XLSor)と,大規模CXRデータセットで事前学習した自己教師あり運動量コントラスト(MoCo)モデルのバックボーンを用いたCXR分類モデルである。
  論文  参考訳（メタデータ） (2022-02-22T15:24:06Z)
• Learning Multi-Modal Volumetric Prostate Registration with Weak Inter-Subject Spatial Correspondence [2.6894568533991543]
  MRシークエンスにおける前立腺の位置に関する事前情報のための補助入力をニューラルネットワークに導入する。 MR-TRUS前立腺データのラベルが弱いことから,最先端のディープラーニング手法に匹敵する登録品質を示した。
  論文  参考訳（メタデータ） (2021-02-09T16:48:59Z)
• Learning Tubule-Sensitive CNNs for Pulmonary Airway and Artery-Vein Segmentation in CT [45.93021999366973]
  肺気道,動脈,静脈の分節に対する畳み込みニューラルネットワーク(CNN)の訓練は困難である。 コントラスト非造影CTにおいて,CNNによる正確な気道および動脈静脈分画法を提案する。 細気管支、動脈、静脈に対して優れた感受性を有する。
  論文  参考訳（メタデータ） (2020-12-10T15:56:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。