論文の概要: Exploring The Neural Burden In Pruned Models: An Insight Inspired By Neuroscience
- arxiv url: http://arxiv.org/abs/2407.16716v2
- Date: Sat, 27 Jul 2024 10:57:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-30 20:31:59.681127
- Title: Exploring The Neural Burden In Pruned Models: An Insight Inspired By Neuroscience
- Title(参考訳): 神経科学にインスパイアされたニューラルバーデン(動画)
- Authors: Zeyu Wang, Weichen Dai, Xiangyu Zhou, Ji Qi, Yi Zhou,
- Abstract要約: プルーニング技術はネットワークのかなりの部分を取り除くために広く使われている。
これらの手法はFLOPのかなりの割合を削減できるが、しばしばモデルの性能を低下させる。
我々はニューラルバーデンというニューラルニューラルネットワークモデルの新しい概念を提案する。
- 参考スコア(独自算出の注目度): 11.356550034255296
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision Transformer and its variants have been adopted in many visual tasks due to their powerful capabilities, which also bring significant challenges in computation and storage. Consequently, researchers have introduced various compression methods in recent years, among which the pruning techniques are widely used to remove a significant fraction of the network. Therefore, these methods can reduce significant percent of the FLOPs, but often lead to a decrease in model performance. To investigate the underlying causes, we focus on the pruning methods specifically belonging to the pruning-during-training category, then drew inspiration from neuroscience and propose a new concept for artificial neural network models named Neural Burden. We investigate its impact in the model pruning process, and subsequently explore a simple yet effective approach to mitigate the decline in model performance, which can be applied to any pruning-during-training technique. Extensive experiments indicate that the neural burden phenomenon indeed exists, and show the potential of our method. We hope that our findings can provide valuable insights for future research. Code will be made publicly available after this paper is published.
- Abstract(参考訳): Vision Transformerとその変種は多くの視覚的タスクで採用されている。
その結果、近年、研究者は様々な圧縮手法を導入しており、そのうちの1つは、ネットワークのかなりの部分を取り除くために広く使われているプルーニング技術である。
したがって、これらの手法はFLOPのかなりの割合を削減できるが、しばしばモデル性能の低下につながる。
根本原因を解明するために, 刈り込み訓練カテゴリーに属する刈り込み手法に着目し, 神経科学のインスピレーションを得て, ニューラルバーデンと呼ばれるニューラルニューラルネットワークモデルの新しい概念を提案する。
モデル刈り込みプロセスにおけるその影響について検討し、その後、モデル性能の低下を緩和するための単純かつ効果的なアプローチを探索し、任意の刈り取り訓練技術に適用することができる。
広汎な実験により,神経負担現象が実際に存在し,本手法の可能性を示唆した。
私たちの発見が将来の研究に貴重な洞察を与えてくれることを願っています。
この論文が公開された後、コードは公開されます。
関連論文リスト
- Automatic Discovery of Visual Circuits [66.99553804855931]
本稿では,視覚モデルにおける視覚的概念の認識の基盤となる計算グラフのサブグラフを抽出するスケーラブルな手法について検討する。
提案手法は, モデル出力に因果的に影響を及ぼす回路を抽出し, これらの回路を編集することで, 敵攻撃から大きな事前学習モデルを守ることができることがわかった。
論文 参考訳(メタデータ) (2024-04-22T17:00:57Z) - Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。
ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
論文 参考訳(メタデータ) (2024-01-11T18:57:17Z) - Automated Natural Language Explanation of Deep Visual Neurons with Large
Models [43.178568768100305]
本稿では,大きな基礎モデルを持つニューロンの意味的説明を生成するための,新しいポストホックフレームワークを提案する。
我々のフレームワークは、様々なモデルアーキテクチャやデータセット、自動化されたスケーラブルなニューロン解釈と互換性があるように設計されています。
論文 参考訳(メタデータ) (2023-10-16T17:04:51Z) - EvalAttAI: A Holistic Approach to Evaluating Attribution Maps in Robust
and Non-Robust Models [0.3425341633647624]
本稿では、ロバストニューラルネットワークがより説明しやすいかどうかを調べるために、属性マッピングの評価方法に焦点を当てる。
従来の指標の限界に対処する新しい説明可能性忠実度指標(EvalAttAI)を提案する。
論文 参考訳(メタデータ) (2023-03-15T18:33:22Z) - On Modifying a Neural Network's Perception [3.42658286826597]
本研究では,人間の定義した概念に対して,人工ニューラルネットワークが知覚しているものを修正する手法を提案する。
提案手法を異なるモデルで検証し、実行された操作がモデルによって適切に解釈されているかどうかを評価し、それらに対してどのように反応するかを解析する。
論文 参考訳(メタデータ) (2023-03-05T12:09:37Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳(メタデータ) (2022-02-21T18:59:03Z) - Neuronal Learning Analysis using Cycle-Consistent Adversarial Networks [4.874780144224057]
我々は、-CycleGANと呼ばれる深層生成モデルを用いて、前学習と後学習の神経活動の間の未知のマッピングを学習する。
我々は,カルシウム蛍光信号を前処理し,訓練し,評価するためのエンドツーエンドパイプラインを開発し,その結果の深層学習モデルを解釈する手法を開発した。
論文 参考訳(メタデータ) (2021-11-25T13:24:19Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳(メタデータ) (2021-09-20T15:12:16Z) - Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。
また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
論文 参考訳(メタデータ) (2021-06-24T01:40:17Z) - Factorized Neural Processes for Neural Processes: $K$-Shot Prediction of
Neural Responses [9.792408261365043]
我々は,小さな刺激応答対からニューロンのチューニング関数を推定するファクトリズ・ニューラル・プロセスを開発した。
本稿では,ニューラルプロセスからの予測および再構成された受容場が,試行数の増加とともに真理に近づいたことをシミュレートした応答を示す。
この新しいディープラーニングシステム識別フレームワークは、ニューラルネットワークモデリングを神経科学実験にリアルタイムに組み込むのに役立つと信じている。
論文 参考訳(メタデータ) (2020-10-22T15:43:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。