論文の概要: Structured Neuron Pruning in Deep Neural Networks Using Multi-Armed Bandits
- arxiv url: http://arxiv.org/abs/2606.07615v1
- Date: Fri, 29 May 2026 19:56:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 07:09:36.782396
- Title: Structured Neuron Pruning in Deep Neural Networks Using Multi-Armed Bandits
- Title（参考訳）: マルチアーマッドバンドを用いた深部ニューラルネットワークにおける構造化ニューロンプルーニング
- Abstract要約: 本稿では,マルチアーム・バンディット(MAB)アルゴリズムを用いて完全ニューロンを除去する構造的プルーニングフレームワークを提案する。
このフレームワークは、Epsilon-Greedy、Softmax、UPB1、Thompson Samplingなどのポリシーをサポートし、Hedgeスタイルの乗法重みやEXP3を含む乗法重みポリシーをサポートしている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks often contain redundant hidden units. Removing individual weights can reduce parameter count, but unstructured sparsity is not always easy to exploit in standard dense implementations. This paper develops a structured pruning framework in which complete neurons are removed using multi-armed bandit (MAB) algorithms. Each candidate neuron is treated as an arm; pulling an arm temporarily masks that neuron, measures the change in loss on a sampled mini-batch, restores the neuron, and updates an estimate of its safe-removal reward. The framework supports stochastic policies, including Epsilon-Greedy, Softmax, UCB1 and Thompson Sampling, and multiplicative-weight policies, including Hedge-style multiplicative weights and EXP3. We evaluate the method on tabular classification, tabular regression and deep neural-network benchmarks covering image, text and reasoning tasks. Statistical comparisons using the Friedman test followed by the Nemenyi post-hoc test show significant differences between methods. On tabular classification tasks, UCB1 obtains the highest mean rank among pruning policies and improves on the unpruned neural network. On regression tasks, UCB1 obtains the highest mean rank and is statistically competitive with, or superior to, several standard regression models according to R^2. On deep-learning tasks, UCB1 and Thompson Sampling obtain the strongest ranks, and several MAB policies significantly outperform the unpruned model, magnitude-based neuron pruning and greedy activation-variation pruning. The results show that MAB-based neuron pruning is an effective and computationally practical approach for structured model reduction.
- Abstract（参考訳）: ディープニューラルネットワークは、しばしば冗長な隠れたユニットを含む。
個々の重みの除去はパラメータ数を減少させるが、非構造的疎結合は標準の高密度実装で利用しやすいとは限らない。
本稿では,マルチアーム・バンディット(MAB)アルゴリズムを用いて完全ニューロンを除去する構造的プルーニングフレームワークを提案する。
各候補ニューロンは腕として扱われ、腕が一時的にそのニューロンをマスクし、サンプル化されたミニバッチにおける損失の変化を測定し、ニューロンを回復し、その安全な除去報酬の見積を更新する。
このフレームワークは、Epsilon-Greedy、Softmax、UPB1、Thompson Smplingなどの確率的ポリシーをサポートし、Hedgeスタイルの乗法的ウェイトやEXP3を含む乗法的ウェイトポリシーをサポートする。
画像,テキスト,推論タスクを網羅した表型分類,表型回帰,ディープニューラルネットワークベンチマークについて検討した。
Friedman test と Nemenyi post-hoc test による統計的比較では,方法の違いが顕著であった。
表型分類タスクでは、UPB1はプルーニングポリシーの中で最高の平均ランクを取得し、未実行ニューラルネットワークを改善する。
レグレッションタスクでは、CB1は最高平均ランクを取得し、R^2に従っていくつかの標準回帰モデルと統計的に競合する。
深層学習タスクにおいて、UCB1とトンプソン・サンプリングは最強のランクを獲得し、いくつかのMABポリシーは未成熟モデル、等級ベースニューロンプルーニング、グレディアクティベーション・バーナライゼーション・プルーニングを著しく上回っている。
その結果,MABをベースとしたニューロンプルーニングは,構造化モデル縮小のための効果的かつ実用的な手法であることが示唆された。
関連論文リスト
- Doubly Robust Proxy Causal Learning with Neural Mean Embeddings [58.8808794752741]
我々は、連続的かつ構造化された治療を用いて因果学習をプロキシするための、神経的に二重に頑健なフレームワークを開発する。
このフレームワークは、人口、不均一、条件付き線量応答関数をカバーし、完全な応答曲線推定器を生成する。
合成および画像評価ベンチマーク全体で、提案した推定器は既存のベースラインと単一ブリッジニューラル推定器より優れている。
論文 参考訳（メタデータ） (2026-05-10T12:50:25Z) - Deep learning with missing data [3.829599191332801]
本稿では,既存の計算手法と組み合わせて適用可能なパターン埋め込みニューラルネットワーク(PENN)を提案する。
インプットされたデータに基づいてトレーニングされたニューラルネットワークに加えて、PENNは観察指標のベクトルを第2のニューラルネットワークに渡して、コンパクトな表現を提供する。
出力は第3のニューラルネットワークに結合され、最終的な予測が生成される。
論文 参考訳（メタデータ） (2025-04-21T18:57:36Z) - Revisiting Large Language Model Pruning using Neuron Semantic Attribution [63.62836612864512]
人気プルーニング手法を用いて,24のデータセットと4つのタスクの評価を行った。
感情分類タスクでは,既存のプルーニング手法の大幅な性能低下がみられた。
本稿では,各ニューロンと特定の意味論を関連づけることを学ぶニューロン意味属性を提案する。
論文 参考訳（メタデータ） (2025-03-03T13:52:17Z) - Magnificent Minified Models [0.360953887026184]
本論文は、大規模なトレーニングニューラルネットワークを「圧縮」し、パラメータやニューロン全体を削除することで、より小さくするタスクを自覚する。
パラメータとニューロン選択の様々な方法を比較する:ドロップアウトベースニューロン損傷推定、ニューロンのマージ、絶対値ベース選択、ランダム選択。
ニューロンレベルのプルーニングでは、スクラッチから再トレーニングを行うことで、実験はずっと良くなりました。
論文 参考訳（メタデータ） (2023-06-16T21:00:44Z) - Can pruning improve certified robustness of neural networks? [106.03070538582222]
ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。
実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。
さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
論文 参考訳（メタデータ） (2022-06-15T05:48:51Z) - Bagged Polynomial Regression and Neural Networks [0.0]
時系列とデータセットの回帰は、ニューラルネットワークと同じ関数クラスを近似することができる。
textitbagged regression (BPR)は、ニューラルネットワークの魅力的な代替品である。
BPRは、衛星データを用いた作物分類において、ニューラルネットワークと同様に機能する。
論文 参考訳（メタデータ） (2022-05-17T19:55:56Z) - Revisiting Gaussian Neurons for Online Clustering with Unknown Number of
Clusters [0.0]
参照するクラスタ数の最大限のオンラインクラスタリングを行う、新しいローカルラーニングルールが提示される。
実験結果は,学習パラメータの安定性を多数のトレーニングサンプルで実証した。
論文 参考訳（メタデータ） (2022-05-02T14:01:40Z) - Receding Neuron Importances for Structured Pruning [11.375436522599133]
構造化プルーニングは、重要でないニューロンを特定して除去することで、ネットワークを効率的に圧縮する。
境界スケーリングパラメータを持つ単純なBatchNorm変動を導入し、低重要性のニューロンのみを抑制する新しい正規化項を設計する。
我々は、この方法でトレーニングされたニューラルネットワークを、より大きく、より少ない劣化で刈り取ることができることを示した。
論文 参考訳（メタデータ） (2022-04-13T14:08:27Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳（メタデータ） (2021-02-15T08:19:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。