論文の概要: Exploring The Neural Burden In Pruned Models: An Insight Inspired By Neuroscience

• arxiv url: http://arxiv.org/abs/2407.16716v2
• Date: Sat, 27 Jul 2024 10:57:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 20:31:59.681127
• Title: Exploring The Neural Burden In Pruned Models: An Insight Inspired By Neuroscience
• Title（参考訳）: 神経科学にインスパイアされたニューラルバーデン(動画)
• Authors: Zeyu Wang, Weichen Dai, Xiangyu Zhou, Ji Qi, Yi Zhou,
• Abstract要約: プルーニング技術はネットワークのかなりの部分を取り除くために広く使われている。 これらの手法はFLOPのかなりの割合を削減できるが、しばしばモデルの性能を低下させる。 我々はニューラルバーデンというニューラルニューラルネットワークモデルの新しい概念を提案する。
• 参考スコア（独自算出の注目度）: 11.356550034255296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision Transformer and its variants have been adopted in many visual tasks due to their powerful capabilities, which also bring significant challenges in computation and storage. Consequently, researchers have introduced various compression methods in recent years, among which the pruning techniques are widely used to remove a significant fraction of the network. Therefore, these methods can reduce significant percent of the FLOPs, but often lead to a decrease in model performance. To investigate the underlying causes, we focus on the pruning methods specifically belonging to the pruning-during-training category, then drew inspiration from neuroscience and propose a new concept for artificial neural network models named Neural Burden. We investigate its impact in the model pruning process, and subsequently explore a simple yet effective approach to mitigate the decline in model performance, which can be applied to any pruning-during-training technique. Extensive experiments indicate that the neural burden phenomenon indeed exists, and show the potential of our method. We hope that our findings can provide valuable insights for future research. Code will be made publicly available after this paper is published.
• Abstract（参考訳）: Vision Transformerとその変種は多くの視覚的タスクで採用されている。 その結果、近年、研究者は様々な圧縮手法を導入しており、そのうちの1つは、ネットワークのかなりの部分を取り除くために広く使われているプルーニング技術である。 したがって、これらの手法はFLOPのかなりの割合を削減できるが、しばしばモデル性能の低下につながる。 根本原因を解明するために, 刈り込み訓練カテゴリーに属する刈り込み手法に着目し, 神経科学のインスピレーションを得て, ニューラルバーデンと呼ばれるニューラルニューラルネットワークモデルの新しい概念を提案する。 モデル刈り込みプロセスにおけるその影響について検討し、その後、モデル性能の低下を緩和するための単純かつ効果的なアプローチを探索し、任意の刈り取り訓練技術に適用することができる。 広汎な実験により,神経負担現象が実際に存在し,本手法の可能性を示唆した。 私たちの発見が将来の研究に貴重な洞察を与えてくれることを願っています。 この論文が公開された後、コードは公開されます。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• BLEND: Behavior-guided Neural Population Dynamics Modeling via Privileged Knowledge Distillation [6.3559178227943764]
  本稿では,特権的知識蒸留による行動誘導型ニューラル人口動態モデリングフレームワークBLENDを提案する。 特権情報として行動を考えることにより、行動観察(私的特徴)と神経活動(正規特徴)の両方を入力として扱う教師モデルを訓練する。 学生モデルは神経活動のみを用いて蒸留される。
  論文  参考訳（メタデータ） (2024-10-02T12:45:59Z)
• Investigating Neuron Ablation in Attention Heads: The Case for Peak Activation Centering [0.0]
  本稿では,ニューロンの活性化を観察するための異なるレンズについて述べるとともに,言語モデルと視覚変換器の有効性について検討する。 異なるレギュラーやモデルにおいて,各手法は,他の手法と比較して,モデル性能の低下を最小限に抑えることができることがわかった。
  論文  参考訳（メタデータ） (2024-08-30T14:32:25Z)
• Growing Deep Neural Network Considering with Similarity between Neurons [4.32776344138537]
  我々は、訓練段階におけるコンパクトモデルにおいて、ニューロン数を漸進的に増加させる新しいアプローチを探求する。 本稿では,ニューロン類似性分布に基づく制約を導入することにより,特徴抽出バイアスと神経冗長性を低減する手法を提案する。 CIFAR-10とCIFAR-100データセットの結果、精度が向上した。
  論文  参考訳（メタデータ） (2024-08-23T11:16:37Z)
• Automatic Discovery of Visual Circuits [66.99553804855931]
  本稿では,視覚モデルにおける視覚的概念の認識の基盤となる計算グラフのサブグラフを抽出するスケーラブルな手法について検討する。 提案手法は, モデル出力に因果的に影響を及ぼす回路を抽出し, これらの回路を編集することで, 敵攻撃から大きな事前学習モデルを守ることができることがわかった。
  論文  参考訳（メタデータ） (2024-04-22T17:00:57Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• EvalAttAI: A Holistic Approach to Evaluating Attribution Maps in Robust and Non-Robust Models [0.3425341633647624]
  本稿では、ロバストニューラルネットワークがより説明しやすいかどうかを調べるために、属性マッピングの評価方法に焦点を当てる。 従来の指標の限界に対処する新しい説明可能性忠実度指標(EvalAttAI)を提案する。
  論文  参考訳（メタデータ） (2023-03-15T18:33:22Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• Factorized Neural Processes for Neural Processes: $K$-Shot Prediction of Neural Responses [9.792408261365043]
  我々は,小さな刺激応答対からニューロンのチューニング関数を推定するファクトリズ・ニューラル・プロセスを開発した。 本稿では,ニューラルプロセスからの予測および再構成された受容場が,試行数の増加とともに真理に近づいたことをシミュレートした応答を示す。 この新しいディープラーニングシステム識別フレームワークは、ニューラルネットワークモデリングを神経科学実験にリアルタイムに組み込むのに役立つと信じている。
  論文  参考訳（メタデータ） (2020-10-22T15:43:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。