論文の概要: Mutual Information Preserving Neural Network Pruning

• arxiv url: http://arxiv.org/abs/2411.00147v2
• Date: Mon, 03 Feb 2025 11:55:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-04 16:04:14.514037
• Title: Mutual Information Preserving Neural Network Pruning
• Title（参考訳）: ニューラルネットワークプルーニングのための相互情報保存
• Authors: Charles Westphal, Stephen Hailes, Mirco Musolesi,
• Abstract要約: 我々は,Mutual Information Preserving Pruning (MIPP)を導入する。 MIPPは、訓練前または訓練後のプルーニングが実行されたかどうかにかかわらず、最先端の手法を一貫して上回っている。
• 参考スコア（独自算出の注目度）: 3.7414804164475983
• License:
• Abstract: Pruning has emerged as the primary approach used to limit the resource requirements of large neural networks (NNs). Since the proposal of the lottery ticket hypothesis, researchers have focused either on pruning at initialization or after training. However, recent theoretical findings have shown that the sample efficiency of robust pruned models is proportional to the mutual information (MI) between the pruning masks and the model's training datasets, \textit{whether at initialization or after training}. In this paper, starting from these results, we introduce Mutual Information Preserving Pruning (MIPP), a structured activation-based pruning technique applicable before or after training. The core principle of MIPP is to select nodes in a way that conserves MI shared between the activations of adjacent layers, and consequently between the data and masks. Approaching the pruning problem in this manner means we can prove that there exists a function that can map the pruned upstream layer's activations to the downstream layer's, implying re-trainability. We demonstrate that MIPP consistently outperforms state-of-the-art methods, regardless of whether pruning is performed before or after training.
• Abstract（参考訳）: プルーニングは、大規模なニューラルネットワーク(NN)のリソース要求を制限するために使用される主要なアプローチとして登場した。 宝くじの仮説が提案されて以来、研究者は初期化時に刈り取るか、訓練後に行うかに焦点を合わせてきた。 しかし、近年の理論的研究により、頑健な刈り込みモデルのサンプル効率は、刈り込みマスクとモデルのトレーニングデータセットの相互情報(MI)に比例していることが示されている。 本稿では,これらの結果から,Mutual Information Preserving Pruning (MIPP)を導入する。 MIPPの中核的な原則は、隣接層の活性化と結果としてデータとマスクの間で共有されるMIを保存する方法でノードを選択することである。 この方法でプルーニング問題にアプローチすることで、プルーニングされた上流層の活性化を下流層の活性化にマッピングできる関数が存在することを証明できる。 また,MIPPは,訓練前後のプルーニングの実施の有無にかかわらず,最先端の手法よりも一貫して優れることを示した。

関連論文リスト

• Information Consistent Pruning: How to Efficiently Search for Sparse Networks? [5.524804393257921]
  反復等級プルーニング法(IMP)は、ディープニューラルネットワーク(DNN)における重要なノード数を減らすことに成功している。 プルーニングネットワークにおけるIMPの人気にもかかわらず、既存のIMPアルゴリズムの基本的な制限は、各プルーニング勾配に必要なトレーニング時間である。 本稿では,ネットワーク層間の情報やフローをモニタし,トレーニング時間を最小化するIMPのための新しいテキストトッピング基準を提案する。
  論文  参考訳（メタデータ） (2025-01-26T16:40:59Z)
• Learning effective pruning at initialization from iterative pruning [15.842658282636876]
  本稿では、トレーニングコストを削減するために、エンドツーエンドのニューラルネットワークに基づくPaI手法を提案する。 提案手法は, 既存手法よりも高スパース性設定で優れる。 ニューラルネットワークを用いた最初のPaI手法として、このアプローチに影響を与える要因を検証するために広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-27T03:17:52Z)
• Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
  トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。 本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
  論文  参考訳（メタデータ） (2024-06-06T23:19:57Z)
• Neural Maximum A Posteriori Estimation on Unpaired Data for Motion Deblurring [87.97330195531029]
  本稿では、ニューラルネットワークをトレーニングし、失明したデータから視覚情報や鋭いコンテンツを復元するためのニューラルネットワークの最大Aポストエリオリ(NeurMAP)推定フレームワークを提案する。 提案されたNeurMAPは、既存のデブロアリングニューラルネットワークに対するアプローチであり、未使用データセット上のイメージデブロアリングネットワークのトレーニングを可能にする最初のフレームワークである。
  論文  参考訳（メタデータ） (2022-04-26T08:09:47Z)
• Learning to Win Lottery Tickets in BERT Transfer via Task-agnostic Mask Training [55.43088293183165]
  近年の研究では、BERTのような事前学習言語モデル(PLM)には、元のPLMと同じような変換学習性能を持つマッチングワークが含まれていることが示されている。 本稿では, BERTworksがこれらの研究で示された以上の可能性を秘めていることを示す。 我々は、サブネットワークの普遍的な転送可能性を維持することを目的として、事前学習タスクのモデル重みよりも二項マスクを訓練する。
  論文  参考訳（メタデータ） (2022-04-24T08:42:47Z)
• Prospect Pruning: Finding Trainable Weights at Initialization using Meta-Gradients [36.078414964088196]
  初期化時にニューラルネットワークをプルーニングすることで、元のネットワークの精度を保ったスパースモデルを見つけることができる。 現在の方法は、この最適化を可能にするには不十分であり、モデル性能の大幅な低下につながります。 提案するProspect Pruning(ProsPr)は,最適化の最初の数ステップを通じてメタグラディエントを用いて,どの重み付けを行うかを決定する。 本手法は,従来のプルーニング・アット・初期化手法と比較して,データの少ない1ショットで,様々な視覚分類タスクにおける最先端のプルーニング性能を実現する。
  論文  参考訳（メタデータ） (2022-02-16T15:18:55Z)
• Sparse Training via Boosting Pruning Plasticity with Neuroregeneration [79.78184026678659]
  本研究では, プラスティック性の観点から, 訓練を通しての刈り込みの効果について検討した。 ゼロコスト神経再生(GraNet)と動的スパーストレーニング(DST)変異(GraNet-ST)を併用した段階的プラニング(gradual pruning)法を考案した。 おそらく最も印象的なのは、ImageNet上のResNet-50との大きなマージンで、さまざまな密集したスパースメソッドに対するスパース・ツー・スパーストレーニングのパフォーマンスを初めて向上させたことだ。
  論文  参考訳（メタデータ） (2021-06-19T02:09:25Z)
• Pruning neural networks without any data by iteratively conserving synaptic flow [27.849332212178847]
  ディープニューラルネットワークのパラメータを抽出することは、時間、記憶、エネルギーの潜在的な節約によって、大きな関心を集めている。 近年の研究では、高価なトレーニングとプルーニングサイクルを通じて、当選した宝くじやスパーストレーナーブルワークスの存在が特定されている。 我々は、理論駆動型アルゴリズム設計を通じて、この問題に対する肯定的な回答を提供する。
  論文  参考訳（メタデータ） (2020-06-09T19:21:57Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Robust Pruning at Initialization [61.30574156442608]
  計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。 ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
  論文  参考訳（メタデータ） (2020-02-19T17:09:50Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。