論文の概要: D-Score: A Synapse-Inspired Approach for Filter Pruning
- arxiv url: http://arxiv.org/abs/2308.04470v1
- Date: Tue, 8 Aug 2023 08:45:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-10 16:39:56.237129
- Title: D-Score: A Synapse-Inspired Approach for Filter Pruning
- Title(参考訳): d-score:フィルタープルーニングのためのシナプスにインスパイアされたアプローチ
- Authors: Doyoung Park, Jinsoo Kim, Jina Nam, Jooyoung Chang, Sang Min Park
- Abstract要約: 本稿では,動的スコア(D-Score)と呼ばれるシナプス型フィルタプルーニング手法を提案する。
D-Scoreはフィルタにおける正と負の重みの独立重要性を分析し、スコアを割り当てることによって独立重要性をランク付けする。
CIFAR-10とImageNetデータセットを用いた実験により,提案手法の有効性が示された。
- 参考スコア(独自算出の注目度): 3.0557959292362455
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This paper introduces a new aspect for determining the rank of the
unimportant filters for filter pruning on convolutional neural networks (CNNs).
In the human synaptic system, there are two important channels known as
excitatory and inhibitory neurotransmitters that transmit a signal from a
neuron to a cell. Adopting the neuroscientific perspective, we propose a
synapse-inspired filter pruning method, namely Dynamic Score (D-Score). D-Score
analyzes the independent importance of positive and negative weights in the
filters and ranks the independent importance by assigning scores. Filters
having low overall scores, and thus low impact on the accuracy of neural
networks are pruned. The experimental results on CIFAR-10 and ImageNet datasets
demonstrate the effectiveness of our proposed method by reducing notable
amounts of FLOPs and Params without significant Acc. Drop.
- Abstract(参考訳): 本稿では,畳み込みニューラルネットワーク(CNN)におけるフィルタプルーニングにおける重要でないフィルタのランクを決定するための新しい側面を紹介する。
ヒトシナプス系では、興奮性および抑制性神経伝達物質として知られる2つの重要なチャネルがあり、ニューロンから細胞にシグナルを伝達する。
神経科学的な観点から、我々はシナプスにインスパイアされたフィルタプルーニング法、すなわちDynamic Score(D-Score)を提案する。
D-Scoreはフィルタにおける正と負の重みの独立重要性を分析し、スコアを割り当てることによって独立重要性をランク付けする。
全体的なスコアが低く、ニューラルネットワークの精度への影響が低いフィルタを切断する。
CIFAR-10 と ImageNet データセットを用いた実験結果から,FLOP と Param の顕著な量の Acc を伴わずに削減し,提案手法の有効性を示した。
ドロップ。
関連論文リスト
- SIRST-5K: Exploring Massive Negatives Synthesis with Self-supervised
Learning for Robust Infrared Small Target Detection [53.19618419772467]
単一フレーム赤外線小ターゲット検出(SIRST)は、乱雑な背景から小さなターゲットを認識することを目的としている。
Transformerの開発に伴い、SIRSTモデルのスケールは常に増大している。
赤外線小ターゲットデータの多彩な多様性により,本アルゴリズムはモデル性能と収束速度を大幅に改善する。
論文 参考訳(メタデータ) (2024-03-08T16:14:54Z) - Batch Normalization Tells You Which Filter is Important [49.903610684578716]
我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。
CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
論文 参考訳(メタデータ) (2021-12-02T12:04:59Z) - Graph Neural Networks with Adaptive Frequency Response Filter [55.626174910206046]
適応周波数応答フィルタを用いたグラフニューラルネットワークフレームワークAdaGNNを開発した。
提案手法の有効性を,様々なベンチマークデータセット上で実証的に検証した。
論文 参考訳(メタデータ) (2021-04-26T19:31:21Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳(メタデータ) (2021-02-15T08:19:05Z) - SCOP: Scientific Control for Reliable Neural Network Pruning [127.20073865874636]
本稿では,科学的制御を設定することにより,信頼性の高いニューラルネットワークプルーニングアルゴリズムを提案する。
冗長フィルタは、異なる特徴の逆数過程において発見できる。
提案手法では,ResNet-101のパラメータ57.8%,FLOP60.2%を削減できる。
論文 参考訳(メタデータ) (2020-10-21T03:02:01Z) - Graph Convolutional Networks Reveal Neural Connections Encoding
Prosthetic Sensation [1.4431534196506413]
被験者が人工的な入力を解釈することを学ぶときの刺激パラメータを最適化する機械学習戦略は、デバイスの有効性を向上させる可能性がある。
深層学習を非ユークリッドグラフデータに拡張する最近の進歩は、神経スパイク活動の解釈に新しいアプローチをもたらす。
人工感覚情報の処理に関与するニューロン間の機能的関係を推定するために,グラフ畳み込みネットワーク(GCN)を適用した。
論文 参考訳(メタデータ) (2020-08-23T01:43:46Z) - Neuron Shapley: Discovering the Responsible Neurons [26.98528779569901]
我々は、深部ネットワークの予測と性能に対する個々のニューロンの寄与を定量化するための新しいフレームワークとして、ニューロンシャプリーを開発した。
最上位のShapleyスコアを持つ30個のフィルタを除去することは、ImageNet上のInception-v3の予測精度を効果的に破壊する。
論文 参考訳(メタデータ) (2020-02-23T03:29:58Z) - Filter Grafting for Deep Neural Networks [71.39169475500324]
ディープニューラルネットワーク(DNN)の表現能力向上を目的としたフィルタグラフト
我々は,フィルタの情報を測定するエントロピーベースの基準と,ネットワーク間のグラフト情報のバランスをとるための適応重み付け戦略を開発する。
例えば、グラフトされたMobileNetV2は、CIFAR-100データセットで非グラフトされたMobileNetV2を約7%上回っている。
論文 参考訳(メタデータ) (2020-01-15T03:18:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。