論文の概要: Flattening Singular Values of Factorized Convolution for Medical Images

• arxiv url: http://arxiv.org/abs/2403.00606v1
• Date: Fri, 1 Mar 2024 15:30:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 16:55:35.523556
• Title: Flattening Singular Values of Factorized Convolution for Medical Images
• Title（参考訳）: 医用画像における因子化畳み込みの平滑化特異値
• Authors: Zexin Feng, Na Zeng, Jiansheng Fang, Xingyue Wang, Xiaoxi Lu, Heng Meng, Jiang Liu
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は、長い間、堅牢な医療画像処理(MIP)のパラダイムとして選択されてきた。 多くの方法は、限られた計算資源の負担を軽減するために、分解された畳み込み層を用いる。 MIPモデルにおける因子化畳み込みの表現力を向上させるために,Singular value equalization generalizer-induced Factorized Convolution (SFConv)を提案する。
• 参考スコア（独自算出の注目度）: 2.41019965808244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional neural networks (CNNs) have long been the paradigm of choice for robust medical image processing (MIP). Therefore, it is crucial to effectively and efficiently deploy CNNs on devices with different computing capabilities to support computer-aided diagnosis. Many methods employ factorized convolutional layers to alleviate the burden of limited computational resources at the expense of expressiveness. To this end, given weak medical image-driven CNN model optimization, a Singular value equalization generalizer-induced Factorized Convolution (SFConv) is proposed to improve the expressive power of factorized convolutions in MIP models. We first decompose the weight matrix of convolutional filters into two low-rank matrices to achieve model reduction. Then minimize the KL divergence between the two low-rank weight matrices and the uniform distribution, thereby reducing the number of singular value directions with significant variance. Extensive experiments on fundus and OCTA datasets demonstrate that our SFConv yields competitive expressiveness over vanilla convolutions while reducing complexity.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、長い間、堅牢な医療画像処理(MIP)のパラダイムとして選択されてきた。 したがって、コンピュータ支援診断をサポートするために、異なる計算能力を持つデバイスにcnnを効果的かつ効率的にデプロイすることが重要である。 多くの方法は、表現性を犠牲にして限られた計算資源の負担を軽減するために、分解畳み込み層を用いる。 そこで, 医用画像駆動型CNNモデル最適化により, MIPモデルにおける因子化畳み込みの表現力を向上させるために, Singular value equalization generalizer-induced Factorized Convolution (SFConv)を提案する。 まず, 畳み込みフィルタの重み行列を2つの低ランク行列に分解し, モデル還元を実現する。 そして、2つの低ランク重み行列と均一分布の間のKLのばらつきを最小化し、大きなばらつきを伴う特異値方向の数を減らす。 ファンドスとOCTAデータセットの大規模な実験により、SFConvはバニラの畳み込みよりも競争力のある表現力を持ち、複雑さを低減します。

関連論文リスト

• MsDC-DEQ-Net: Deep Equilibrium Model (DEQ) with Multi-scale Dilated Convolution for Image Compressive Sensing (CS) [0.0]
  圧縮センシング(CS)は、従来のサンプリング法よりも少ない測定値を用いてスパース信号の回復を可能にする技術である。 我々はCSを用いた自然画像再構成のための解釈可能かつ簡潔なニューラルネットワークモデルを構築した。 MsDC-DEQ-Netと呼ばれるこのモデルは、最先端のネットワークベースの手法と比較して、競争力のある性能を示す。
  論文  参考訳（メタデータ） (2024-01-05T16:25:58Z)
• Random Weight Factorization Improves the Training of Continuous Neural Representations [1.911678487931003]
  連続神経表現は、信号の古典的な離散化表現に代わる強力で柔軟な代替物として登場した。 従来の線形層をパラメータ化・初期化するための単純なドロップイン置換法としてランダムウェイト係数化を提案する。 ネットワーク内の各ニューロンが、自身の自己適応学習率を用いて学習できるように、この因子化が基盤となる損失状況をどのように変化させるかを示す。
  論文  参考訳（メタデータ） (2022-10-03T23:48:48Z)
• Magic ELF: Image Deraining Meets Association Learning and Transformer [63.761812092934576]
  本稿では,CNN と Transformer を統合化して,画像デライニングにおける学習のメリットを活用することを目的とする。 降雨除去と背景復旧を関連づける新しいマルチインプット・アテンション・モジュール (MAM) を提案する。 提案手法(ELF)は,最先端手法(MPRNet)を平均0.25dB向上させる。
  論文  参考訳（メタデータ） (2022-07-21T12:50:54Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)
• Factorizer: A Scalable Interpretable Approach to Context Modeling for Medical Image Segmentation [6.030648996110607]
  この研究はFacterizerと呼ばれるモデルのファミリーを導入し、エンド・ツー・エンドのセグメンテーション・モデルを構築するために低ランク行列係数化の力を利用する。 具体的には、U字型アーキテクチャに組み込まれた微分可能な層として非負行列因子化(NMF)を定式化する、コンテキストモデリングに対する線形スケーラブルなアプローチを提案する。 ファクターは精度、スケーラビリティ、解釈可能性の点でCNNやTransformerと良好に競合する。
  論文  参考訳（メタデータ） (2022-02-24T18:51:19Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Transfer Learning on Multi-Fidelity Data [0.0]
  ニューラルネットワーク(NNs)は、しばしば複素系のダイナミクスを記述する部分微分方程式(PDEs)のサロゲートまたはエミュレータとして用いられる。 私たちは、トランスファーラーニングを用いた深層畳み込みNN(CNN)のトレーニングのためにデータ生成コストを削減するために、マルチファイダリティシミュレーションに依存しています。 数値実験により,比較的多数の低忠実度データと少ない高忠実度データとを混合することにより,計算速度と予測精度の最適バランスが得られた。
  論文  参考訳（メタデータ） (2021-04-29T00:06:19Z)
• Partitioning sparse deep neural networks for scalable training and inference [8.282177703075453]
  最先端のディープニューラルネットワーク(DNN)には、計算とデータ管理の大幅な要件がある。 スパシフィケーション法とプルーニング法は,DNNの大量の接続を除去するのに有効であることが示されている。 その結果得られたスパースネットワークは、ディープラーニングにおけるトレーニングと推論の計算効率をさらに向上するためのユニークな課題を提示する。
  論文  参考訳（メタデータ） (2021-04-23T20:05:52Z)
• Learning Efficient GANs for Image Translation via Differentiable Masks and co-Attention Distillation [130.30465659190773]
  Generative Adversarial Networks (GAN) は画像翻訳において広く利用されているが、その高い計算とストレージコストがモバイルデバイスへの展開を妨げる。 DMADと呼ばれる新しいGAN圧縮手法を提案する。 実験の結果、DMADはCycleGANのMultiply Accumulate Operations (MAC)を13倍、Pix2Pixを4倍削減し、フルモデルに匹敵する性能を維持することができた。
  論文  参考訳（メタデータ） (2020-11-17T02:39:19Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Computational optimization of convolutional neural networks using separated filters architecture [69.73393478582027]
  我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。 畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
  論文  参考訳（メタデータ） (2020-02-18T17:42:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。