論文の概要: D-Score: A Synapse-Inspired Approach for Filter Pruning

• arxiv url: http://arxiv.org/abs/2308.04470v1
• Date: Tue, 8 Aug 2023 08:45:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-10 16:39:56.237129
• Title: D-Score: A Synapse-Inspired Approach for Filter Pruning
• Title（参考訳）: d-score:フィルタープルーニングのためのシナプスにインスパイアされたアプローチ
• Authors: Doyoung Park, Jinsoo Kim, Jina Nam, Jooyoung Chang, Sang Min Park
• Abstract要約: 本稿では,動的スコア(D-Score)と呼ばれるシナプス型フィルタプルーニング手法を提案する。 D-Scoreはフィルタにおける正と負の重みの独立重要性を分析し、スコアを割り当てることによって独立重要性をランク付けする。 CIFAR-10とImageNetデータセットを用いた実験により,提案手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 3.0557959292362455
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This paper introduces a new aspect for determining the rank of the unimportant filters for filter pruning on convolutional neural networks (CNNs). In the human synaptic system, there are two important channels known as excitatory and inhibitory neurotransmitters that transmit a signal from a neuron to a cell. Adopting the neuroscientific perspective, we propose a synapse-inspired filter pruning method, namely Dynamic Score (D-Score). D-Score analyzes the independent importance of positive and negative weights in the filters and ranks the independent importance by assigning scores. Filters having low overall scores, and thus low impact on the accuracy of neural networks are pruned. The experimental results on CIFAR-10 and ImageNet datasets demonstrate the effectiveness of our proposed method by reducing notable amounts of FLOPs and Params without significant Acc. Drop.
• Abstract（参考訳）: 本稿では,畳み込みニューラルネットワーク(CNN)におけるフィルタプルーニングにおける重要でないフィルタのランクを決定するための新しい側面を紹介する。 ヒトシナプス系では、興奮性および抑制性神経伝達物質として知られる2つの重要なチャネルがあり、ニューロンから細胞にシグナルを伝達する。 神経科学的な観点から、我々はシナプスにインスパイアされたフィルタプルーニング法、すなわちDynamic Score(D-Score)を提案する。 D-Scoreはフィルタにおける正と負の重みの独立重要性を分析し、スコアを割り当てることによって独立重要性をランク付けする。 全体的なスコアが低く、ニューラルネットワークの精度への影響が低いフィルタを切断する。 CIFAR-10 と ImageNet データセットを用いた実験結果から,FLOP と Param の顕著な量の Acc を伴わずに削減し,提案手法の有効性を示した。 ドロップ。

関連論文リスト

• Adapting the Biological SSVEP Response to Artificial Neural Networks [5.4712259563296755]
  本稿では,神経科学の手法である周波数タギングに触発されたニューロン重要度評価に対する新しいアプローチを提案する。 画像分類のための畳み込みニューラルネットワークを用いて行った実験では、パートベースの周波数タギングの下でのニューロン特異的応答における顕著な調和と相互変調が明らかにされた。 提案手法は,ネットワークプルーニングやモデル解釈可能性などの応用を約束し,説明可能な人工知能の進歩に寄与する。
  論文  参考訳（メタデータ） (2024-11-15T10:02:48Z)
• Fractional-order spike-timing-dependent gradient descent for multi-layer spiking neural networks [18.142378139047977]
  本稿では,数次スパイクタイピング依存勾配勾配(FOSTDGD)学習モデルを提案する。 TheNISTとDVS128 Gestureデータセットでテストし、その精度を異なるネットワーク構造と分数順序で分析する。
  論文  参考訳（メタデータ） (2024-10-20T05:31:34Z)
• Y-Drop: A Conductance based Dropout for fully connected layers [63.029110722758496]
  我々は、より重要なニューロンを高い確率で落とすために、ドロップアウトアルゴリズムをバイアスする正規化手法Y-Dropを紹介する。 重要なユニットが存在しない場合、ネットワークにタスクの解決を強制することは、強い正規化効果をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-09-11T15:56:08Z)
• Batch Normalization Tells You Which Filter is Important [49.903610684578716]
  我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。 CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-12-02T12:04:59Z)
• Graph Neural Networks with Adaptive Frequency Response Filter [55.626174910206046]
  適応周波数応答フィルタを用いたグラフニューラルネットワークフレームワークAdaGNNを開発した。 提案手法の有効性を,様々なベンチマークデータセット上で実証的に検証した。
  論文  参考訳（メタデータ） (2021-04-26T19:31:21Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• SCOP: Scientific Control for Reliable Neural Network Pruning [127.20073865874636]
  本稿では,科学的制御を設定することにより,信頼性の高いニューラルネットワークプルーニングアルゴリズムを提案する。 冗長フィルタは、異なる特徴の逆数過程において発見できる。 提案手法では,ResNet-101のパラメータ57.8%,FLOP60.2%を削減できる。
  論文  参考訳（メタデータ） (2020-10-21T03:02:01Z)
• Neuron Shapley: Discovering the Responsible Neurons [26.98528779569901]
  我々は、深部ネットワークの予測と性能に対する個々のニューロンの寄与を定量化するための新しいフレームワークとして、ニューロンシャプリーを開発した。 最上位のShapleyスコアを持つ30個のフィルタを除去することは、ImageNet上のInception-v3の予測精度を効果的に破壊する。
  論文  参考訳（メタデータ） (2020-02-23T03:29:58Z)
• Filter Grafting for Deep Neural Networks [71.39169475500324]
  ディープニューラルネットワーク(DNN)の表現能力向上を目的としたフィルタグラフト 我々は,フィルタの情報を測定するエントロピーベースの基準と,ネットワーク間のグラフト情報のバランスをとるための適応重み付け戦略を開発する。 例えば、グラフトされたMobileNetV2は、CIFAR-100データセットで非グラフトされたMobileNetV2を約7%上回っている。
  論文  参考訳（メタデータ） (2020-01-15T03:18:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。