論文の概要: Mutual Information Preserving Neural Network Pruning

• arxiv url: http://arxiv.org/abs/2411.00147v2
• Date: Mon, 03 Feb 2025 11:55:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-04 15:57:53.312887
• Title: Mutual Information Preserving Neural Network Pruning
• Title（参考訳）: ニューラルネットワークプルーニングのための相互情報保存
• Authors: Charles Westphal, Stephen Hailes, Mirco Musolesi,
• Abstract要約: 我々は,Mutual Information Preserving Pruning (MIPP)を導入する。 MIPPは、訓練前または訓練後のプルーニングが実行されたかどうかにかかわらず、最先端の手法を一貫して上回っている。
• 参考スコア（独自算出の注目度）: 3.7414804164475983
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Pruning has emerged as the primary approach used to limit the resource requirements of large neural networks (NNs). Since the proposal of the lottery ticket hypothesis, researchers have focused either on pruning at initialization or after training. However, recent theoretical findings have shown that the sample efficiency of robust pruned models is proportional to the mutual information (MI) between the pruning masks and the model's training datasets, \textit{whether at initialization or after training}. In this paper, starting from these results, we introduce Mutual Information Preserving Pruning (MIPP), a structured activation-based pruning technique applicable before or after training. The core principle of MIPP is to select nodes in a way that conserves MI shared between the activations of adjacent layers, and consequently between the data and masks. Approaching the pruning problem in this manner means we can prove that there exists a function that can map the pruned upstream layer's activations to the downstream layer's, implying re-trainability. We demonstrate that MIPP consistently outperforms state-of-the-art methods, regardless of whether pruning is performed before or after training.
• Abstract（参考訳）: プルーニングは、大規模なニューラルネットワーク(NN)のリソース要求を制限するために使用される主要なアプローチとして登場した。 宝くじの仮説が提案されて以来、研究者は初期化時に刈り取るか、訓練後に行うかに焦点を合わせてきた。 しかし、近年の理論的研究により、頑健な刈り込みモデルのサンプル効率は、刈り込みマスクとモデルのトレーニングデータセットの相互情報(MI)に比例していることが示されている。 本稿では,これらの結果から,Mutual Information Preserving Pruning (MIPP)を導入する。 MIPPの中核的な原則は、隣接層の活性化と結果としてデータとマスクの間で共有されるMIを保存する方法でノードを選択することである。 この方法でプルーニング問題にアプローチすることで、プルーニングされた上流層の活性化を下流層の活性化にマッピングできる関数が存在することを証明できる。 また,MIPPは,訓練前後のプルーニングの実施の有無にかかわらず,最先端の手法よりも一貫して優れることを示した。

関連論文リスト

• Information Consistent Pruning: How to Efficiently Search for Sparse Networks? [5.524804393257921]
  反復等級プルーニング法(IMP)は、ディープニューラルネットワーク(DNN)における重要なノード数を減らすことに成功している。 プルーニングネットワークにおけるIMPの人気にもかかわらず、既存のIMPアルゴリズムの基本的な制限は、各プルーニング勾配に必要なトレーニング時間である。 本稿では,ネットワーク層間の情報やフローをモニタし,トレーニング時間を最小化するIMPのための新しいテキストトッピング基準を提案する。
  論文  参考訳（メタデータ） (2025-01-26T16:40:59Z)
• Learning effective pruning at initialization from iterative pruning [15.842658282636876]
  本稿では、トレーニングコストを削減するために、エンドツーエンドのニューラルネットワークに基づくPaI手法を提案する。 提案手法は, 既存手法よりも高スパース性設定で優れる。 ニューラルネットワークを用いた最初のPaI手法として、このアプローチに影響を与える要因を検証するために広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-27T03:17:52Z)
• Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
  トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。 本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
  論文  参考訳（メタデータ） (2024-06-06T23:19:57Z)
• Neural Maximum A Posteriori Estimation on Unpaired Data for Motion Deblurring [87.97330195531029]
  本稿では、ニューラルネットワークをトレーニングし、失明したデータから視覚情報や鋭いコンテンツを復元するためのニューラルネットワークの最大Aポストエリオリ(NeurMAP)推定フレームワークを提案する。 提案されたNeurMAPは、既存のデブロアリングニューラルネットワークに対するアプローチであり、未使用データセット上のイメージデブロアリングネットワークのトレーニングを可能にする最初のフレームワークである。
  論文  参考訳（メタデータ） (2022-04-26T08:09:47Z)
• Learning to Win Lottery Tickets in BERT Transfer via Task-agnostic Mask Training [55.43088293183165]
  近年の研究では、BERTのような事前学習言語モデル(PLM)には、元のPLMと同じような変換学習性能を持つマッチングワークが含まれていることが示されている。 本稿では, BERTworksがこれらの研究で示された以上の可能性を秘めていることを示す。 我々は、サブネットワークの普遍的な転送可能性を維持することを目的として、事前学習タスクのモデル重みよりも二項マスクを訓練する。
  論文  参考訳（メタデータ） (2022-04-24T08:42:47Z)
• Prospect Pruning: Finding Trainable Weights at Initialization using Meta-Gradients [36.078414964088196]
  初期化時にニューラルネットワークをプルーニングすることで、元のネットワークの精度を保ったスパースモデルを見つけることができる。 現在の方法は、この最適化を可能にするには不十分であり、モデル性能の大幅な低下につながります。 提案するProspect Pruning(ProsPr)は,最適化の最初の数ステップを通じてメタグラディエントを用いて,どの重み付けを行うかを決定する。 本手法は,従来のプルーニング・アット・初期化手法と比較して,データの少ない1ショットで,様々な視覚分類タスクにおける最先端のプルーニング性能を実現する。
  論文  参考訳（メタデータ） (2022-02-16T15:18:55Z)
• Edge-Enhanced Global Disentangled Graph Neural Network for Sequential Recommendation [44.15486708923762]
  本稿では,エッジ拡張グローバルディスタングルグラフニューラルネットワーク(EGD-GNN)モデルを提案する。 グローバルレベルでは、アイテムの関係をモデル化するために、すべてのシーケンスにまたがるグローバルリンクグラフを構築します。 ローカルレベルでは、変動型自動エンコーダフレームワークを適用して、現在のシーケンスに関するユーザの意図を学習する。
  論文  参考訳（メタデータ） (2021-11-20T08:15:20Z)
• SSSNET: Semi-Supervised Signed Network Clustering [4.895808607591299]
  SSSNETと呼ばれる半教師付きネットワーククラスタリングのためのGNNフレームワークにおいて、トレーニングノードに対する確率的バランスの取れた正規化カット損失を新たに導入する。 主な斬新なアプローチは、署名されたネットワーク埋め込みにおける社会的バランス理論の役割に関する新しい見解である。
  論文  参考訳（メタデータ） (2021-10-13T10:36:37Z)
• Sparse Training via Boosting Pruning Plasticity with Neuroregeneration [79.78184026678659]
  本研究では, プラスティック性の観点から, 訓練を通しての刈り込みの効果について検討した。 ゼロコスト神経再生(GraNet)と動的スパーストレーニング(DST)変異(GraNet-ST)を併用した段階的プラニング(gradual pruning)法を考案した。 おそらく最も印象的なのは、ImageNet上のResNet-50との大きなマージンで、さまざまな密集したスパースメソッドに対するスパース・ツー・スパーストレーニングのパフォーマンスを初めて向上させたことだ。
  論文  参考訳（メタデータ） (2021-06-19T02:09:25Z)
• Learning Deep Interleaved Networks with Asymmetric Co-Attention for Image Restoration [65.11022516031463]
  本稿では,高品質(本社)画像再構成のために,異なる状態の情報をどのように組み合わせるべきかを学習するディープインターリーブドネットワーク(DIN)を提案する。 本稿では,各インターリーブノードにアタッチメントされた非対称なコアテンション(AsyCA)を提案し,その特性依存性をモデル化する。 提案したDINはエンドツーエンドで訓練でき、様々な画像復元タスクに適用できる。
  論文  参考訳（メタデータ） (2020-10-29T15:32:00Z)
• DINE: A Framework for Deep Incomplete Network Embedding [33.97952453310253]
  本稿では,ディープ不完全ネットワーク埋め込み,すなわちDINEを提案する。 まず、期待最大化フレームワークを用いて、部分的に観測可能なネットワーク内のノードとエッジの両方を含む欠落部分を完成させる。 マルチラベル分類およびリンク予測タスクにおいて,DINEを3つのネットワーク上で評価する。
  論文  参考訳（メタデータ） (2020-08-09T04:59:35Z)
• GloDyNE: Global Topology Preserving Dynamic Network Embedding [31.269883917366478]
  動的ネットワーク埋め込み(DNE)は、ネットワークトポロジを各ステップで保存しながらノード埋め込みを更新することを目的としている。 本稿では,ネットワーク上の代表ノードを多様に選択する新たな手法を提案する。 実験では、少数のノードが選択されているGloDyNEが、すでに優れたパフォーマンスまたは同等のパフォーマンスを達成できることを示した。
  論文  参考訳（メタデータ） (2020-08-05T05:10:15Z)
• Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
  異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。 PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
  論文  参考訳（メタデータ） (2020-07-07T03:36:28Z)
• Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
  グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。 複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。 本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:03:06Z)
• Graph Prototypical Networks for Few-shot Learning on Attributed Networks [72.31180045017835]
  グラフメタ学習フレームワーク - Graph Prototypeal Networks (GPN) を提案する。 GPNは、属性付きネットワーク上でテキストミータ学習を行い、ターゲット分類タスクを扱うための高度に一般化可能なモデルを導出する。
  論文  参考訳（メタデータ） (2020-06-23T04:13:23Z)
• Pruning neural networks without any data by iteratively conserving synaptic flow [27.849332212178847]
  ディープニューラルネットワークのパラメータを抽出することは、時間、記憶、エネルギーの潜在的な節約によって、大きな関心を集めている。 近年の研究では、高価なトレーニングとプルーニングサイクルを通じて、当選した宝くじやスパーストレーナーブルワークスの存在が特定されている。 我々は、理論駆動型アルゴリズム設計を通じて、この問題に対する肯定的な回答を提供する。
  論文  参考訳（メタデータ） (2020-06-09T19:21:57Z)
• Unsupervised Differentiable Multi-aspect Network Embedding [52.981277420394846]
  本稿では,asp2vecと呼ばれるマルチアスペクトネットワーク埋め込みのための新しいエンドツーエンドフレームワークを提案する。 提案するフレームワークは容易に異種ネットワークに拡張できる。
  論文  参考訳（メタデータ） (2020-06-07T19:26:20Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Robust Pruning at Initialization [61.30574156442608]
  計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。 ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
  論文  参考訳（メタデータ） (2020-02-19T17:09:50Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)
• EdgeNets:Edge Varying Graph Neural Networks [179.99395949679547]
  本稿では、EdgeNetの概念を通じて、最先端グラフニューラルネットワーク(GNN)を統一する一般的なフレームワークを提案する。 EdgeNetはGNNアーキテクチャであり、異なるノードが異なるパラメータを使って異なる隣人の情報を測定することができる。 これは、ノードが実行でき、既存のグラフ畳み込みニューラルネットワーク(GCNN)とグラフアテンションネットワーク(GAT)の1つの定式化の下で包含できる一般的な線形で局所的な操作である。
  論文  参考訳（メタデータ） (2020-01-21T15:51:17Z)
• A Block-based Generative Model for Attributed Networks Embedding [42.00826538556588]
  本稿では,確率の観点から属性付きネットワーク埋め込みのためのブロックベース生成モデルを提案する。 ニューラルネットワークを用いてノード埋め込みとノード属性間の非線形性を特徴付ける。 その結果,提案手法はクラスタリングと分類タスクの両方において,最先端の埋め込み手法よりも一貫して優れていることがわかった。
  論文  参考訳（メタデータ） (2020-01-06T03:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。