論文の概要: Verifiable and Energy Efficient Medical Image Analysis with Quantised Self-attentive Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2209.15287v1
• Date: Fri, 30 Sep 2022 07:51:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 14:32:18.689154
• Title: Verifiable and Energy Efficient Medical Image Analysis with Quantised Self-attentive Deep Neural Networks
• Title（参考訳）: 量子自己受容型ディープニューラルネットワークによる医用画像の検証とエネルギー効率
• Authors: Rakshith Sathish, Swanand Khare, Debdoot Sheet
• Abstract要約: 本稿では,従来のCNNの代替として,スタンドアローンの自己アテンションモデルを提案する。 分類タスクとセグメント化タスクにおいて,本手法の有効性を実験的に検証した。
• 参考スコア（独自算出の注目度）: 7.751856268560217
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Convolutional Neural Networks have played a significant role in various medical imaging tasks like classification and segmentation. They provide state-of-the-art performance compared to classical image processing algorithms. However, the major downside of these methods is the high computational complexity, reliance on high-performance hardware like GPUs and the inherent black-box nature of the model. In this paper, we propose quantised stand-alone self-attention based models as an alternative to traditional CNNs. In the proposed class of networks, convolutional layers are replaced with stand-alone self-attention layers, and the network parameters are quantised after training. We experimentally validate the performance of our method on classification and segmentation tasks. We observe a $50-80\%$ reduction in model size, $60-80\%$ lesser number of parameters, $40-85\%$ fewer FLOPs and $65-80\%$ more energy efficiency during inference on CPUs. The code will be available at \href {https://github.com/Rakshith2597/Quantised-Self-Attentive-Deep-Neural-Network}{https://github.com/Rakshith2597/Quantised-Self-Attentive-Deep-Neural-Network}.
• Abstract（参考訳）: 畳み込みニューラルネットワークは、分類やセグメンテーションといった様々な医療画像処理において重要な役割を果たす。 従来の画像処理アルゴリズムと比較して最先端のパフォーマンスを提供する。 しかし、これらの手法の主な欠点は、高い計算複雑性、GPUのような高性能ハードウェアへの依存、モデル固有のブラックボックスの性質である。 本稿では,従来のCNNの代替として,スタンドアローンの自己注意モデルを提案する。 提案するネットワークのクラスでは,畳み込み層は単独のセルフアテンション層に置き換えられ,ネットワークパラメータはトレーニング後に定量化される。 分類と分割作業における手法の性能を実験的に検証した。 モデルサイズが50-80\%、パラメータ数が60-80\%、FLOPが40-85\%、CPU上での推論時にエネルギー効率が65-80\%であるのを観察する。 コードは \href {https://github.com/Rakshith2597/Quantised-Self-Attentive-Deep-Neural-Network}{https://github.com/Rakshith2597/Quantised-Self-Attentive-Deep-Neural-Network} で入手できる。

関連論文リスト

• NEAR: A Training-Free Pre-Estimator of Machine Learning Model Performance [0.0]
  我々は、トレーニングなしで最適なニューラルネットワークを特定するために、アクティベーションランク(NEAR)によるゼロコストプロキシネットワーク表現を提案する。 このネットワークスコアとNAS-Bench-101とNATS-Bench-SSS/TSSのモデル精度の最先端相関を実証した。
  論文  参考訳（メタデータ） (2024-08-16T14:38:14Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Convolutional Neural Networks Exploiting Attributes of Biological Neurons [7.3517426088986815]
  畳み込みニューラルネットワーク(CNN)のようなディープニューラルネットワークは、最前線として登場し、しばしば人間の能力を上回っている。 ここでは,生物ニューロンの原理をCNNの特定の層に統合する。 我々は,CNNの入力として使用する画像の特徴を抽出し,訓練効率の向上と精度の向上を期待する。
  論文  参考訳（メタデータ） (2023-11-14T16:58:18Z)
• A Faster Approach to Spiking Deep Convolutional Neural Networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、現在のディープニューラルネットワークよりも脳に近いダイナミクスを持つ。 ネットワークのランタイムと精度を改善するために,従来の作業に基づくネットワーク構造を提案する。
  論文  参考訳（メタデータ） (2022-10-31T16:13:15Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• PocketNet: A Smaller Neural Network for 3D Medical Image Segmentation [0.0]
  私たちは、パラメータの数の3%未満を使用しながら、従来のCNNに匹敵するセグメンテーション結果を達成するPocketNetと呼ばれる新しいCNNアーキテクチャを導き出します。 我々は,PocketNetが従来のCNNに匹敵するセグメンテーション結果を達成し,パラメータ数の3%未満を用いていることを示す。
  論文  参考訳（メタデータ） (2021-04-21T20:10:30Z)
• Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
  本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。 実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。 ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
  論文  参考訳（メタデータ） (2021-03-15T12:54:26Z)
• The Mind's Eye: Visualizing Class-Agnostic Features of CNNs [92.39082696657874]
  本稿では,特定のレイヤの最も情報性の高い特徴を表現した対応する画像を作成することにより,画像の集合を視覚的に解釈する手法を提案する。 本手法では, 生成ネットワークを必要とせず, 元のモデルに変更を加えることなく, デュアルオブジェクトのアクティベーションと距離損失を利用する。
  論文  参考訳（メタデータ） (2021-01-29T07:46:39Z)
• Deep Polynomial Neural Networks [77.70761658507507]
  $Pi$Netsは拡張に基づいた関数近似の新しいクラスである。 $Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
  論文  参考訳（メタデータ） (2020-06-20T16:23:32Z)
• Neural Sparse Representation for Image Restoration [116.72107034624344]
  スパース符号化に基づく画像復元モデルの堅牢性と効率に触発され,深部ネットワークにおけるニューロンの空間性について検討した。 本手法は,隠れたニューロンに対する空間的制約を構造的に強制する。 実験により、複数の画像復元タスクのためのディープニューラルネットワークではスパース表現が不可欠であることが示されている。
  論文  参考訳（メタデータ） (2020-06-08T05:15:17Z)
• Tensor Networks for Medical Image Classification [0.456877715768796]
  我々は、量子多体システムを分析するために、過去20年間、物理学者のための仕事場であったネットワークのクラスに焦点を当てている。 医療画像解析に有用なマトリックス製品状態テンソルネットワークを拡張した。 テンソルネットワークは最先端のディープラーニング手法に匹敵する性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-04-21T15:02:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。