論文の概要: Mutual Information Preserving Neural Network Pruning
- arxiv url: http://arxiv.org/abs/2411.00147v1
- Date: Thu, 31 Oct 2024 18:50:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-05 14:47:34.964842
- Title: Mutual Information Preserving Neural Network Pruning
- Title（参考訳）: ニューラルネットワークプルーニングのための相互情報保存
- Authors: Charles Westphal, Stephen Hailes, Mirco Musolesi,
- Abstract要約: ノード間の相互情報を保存するMIPP(Mitual Information Preserving Pruning)を導入する。
MIPPはビジョンモデルやデータセットにおける最先端の手法よりも優れています。
- 参考スコア（独自算出の注目度）: 3.7414804164475983
- License:
- Abstract: Model pruning is attracting increasing interest because of its positive implications in terms of resource consumption and costs. A variety of methods have been developed in the past years. In particular, structured pruning techniques discern the importance of nodes in neural networks (NNs) and filters in convolutional neural networks (CNNs). Global versions of these rank all nodes in a network and select the top-k, offering an advantage over local methods that rank nodes only within individual layers. By evaluating all nodes simultaneously, global techniques provide greater control over the network architecture, which improves performance. However, the ranking and selecting process carried out during global pruning can have several major drawbacks. First, the ranking is not updated in real time based on the pruning already performed, making it unable to account for inter-node interactions. Second, it is not uncommon for whole layers to be removed from a model, which leads to untrainable networks. Lastly, global pruning methods do not offer any guarantees regarding re-training. In order to address these issues, we introduce Mutual Information Preserving Pruning (MIPP). The fundamental principle of our method is to select nodes such that the mutual information (MI) between the activations of adjacent layers is maintained. We evaluate MIPP on an array of vision models and datasets, including a pre-trained ResNet50 on ImageNet, where we demonstrate MIPP's ability to outperform state-of-the-art methods. The implementation of MIPP will be made available upon publication.
- Abstract（参考訳）: モデルプルーニングは、資源消費とコストの点で肯定的な意味を持つため、関心が高まりつつある。
近年、様々な方法が開発されている。
特に、構造化プルーニング技術は、ニューラルネットワーク(NN)におけるノードの重要性と畳み込みニューラルネットワーク(CNN)におけるフィルタを区別する。
これらのグローバルバージョンは、ネットワーク内のすべてのノードをランク付けし、トップkを選択する。
すべてのノードを同時に評価することにより、グローバルな手法がネットワークアーキテクチャをより制御し、パフォーマンスを向上させる。
しかしながら、グローバルプルーニング中に行われるランク付けと選択のプロセスには、いくつかの大きな欠点がある。
まず、ランキングは、既に実行されたプルーニングに基づいてリアルタイムで更新されないため、ノード間の相互作用を考慮できない。
第二に、レイヤー全体がモデルから取り除かれることは珍しいことではありません。
最後に、グローバルプルーニング手法は再トレーニングに関する保証を提供していない。
これらの問題に対処するため、MIPP(Mutual Information Preserving Pruning)を導入する。
本手法の基本原理は,隣接層間の相互情報(MI)が維持されるようなノードを選択することである。
我々は、イメージネット上で事前訓練されたResNet50を含むビジョンモデルとデータセットの配列上でMIPPを評価し、MIPPが最先端の手法より優れていることを示す。
MIPPの実装は、出版時に利用可能になる。
関連論文リスト
- Edge-Enhanced Global Disentangled Graph Neural Network for Sequential
Recommendation [44.15486708923762]
本稿では,エッジ拡張グローバルディスタングルグラフニューラルネットワーク(EGD-GNN)モデルを提案する。
グローバルレベルでは、アイテムの関係をモデル化するために、すべてのシーケンスにまたがるグローバルリンクグラフを構築します。
ローカルレベルでは、変動型自動エンコーダフレームワークを適用して、現在のシーケンスに関するユーザの意図を学習する。
論文 参考訳（メタデータ） (2021-11-20T08:15:20Z) - SSSNET: Semi-Supervised Signed Network Clustering [4.895808607591299]
SSSNETと呼ばれる半教師付きネットワーククラスタリングのためのGNNフレームワークにおいて、トレーニングノードに対する確率的バランスの取れた正規化カット損失を新たに導入する。
主な斬新なアプローチは、署名されたネットワーク埋め込みにおける社会的バランス理論の役割に関する新しい見解である。
論文 参考訳（メタデータ） (2021-10-13T10:36:37Z) - Learning Deep Interleaved Networks with Asymmetric Co-Attention for
Image Restoration [65.11022516031463]
本稿では,高品質(本社)画像再構成のために,異なる状態の情報をどのように組み合わせるべきかを学習するディープインターリーブドネットワーク(DIN)を提案する。
本稿では,各インターリーブノードにアタッチメントされた非対称なコアテンション(AsyCA)を提案し,その特性依存性をモデル化する。
提案したDINはエンドツーエンドで訓練でき、様々な画像復元タスクに適用できる。
論文 参考訳（メタデータ） (2020-10-29T15:32:00Z) - DINE: A Framework for Deep Incomplete Network Embedding [33.97952453310253]
本稿では,ディープ不完全ネットワーク埋め込み,すなわちDINEを提案する。
まず、期待最大化フレームワークを用いて、部分的に観測可能なネットワーク内のノードとエッジの両方を含む欠落部分を完成させる。
マルチラベル分類およびリンク予測タスクにおいて,DINEを3つのネットワーク上で評価する。
論文 参考訳（メタデータ） (2020-08-09T04:59:35Z) - GloDyNE: Global Topology Preserving Dynamic Network Embedding [31.269883917366478]
動的ネットワーク埋め込み(DNE)は、ネットワークトポロジを各ステップで保存しながらノード埋め込みを更新することを目的としている。
本稿では,ネットワーク上の代表ノードを多様に選択する新たな手法を提案する。
実験では、少数のノードが選択されているGloDyNEが、すでに優れたパフォーマンスまたは同等のパフォーマンスを達成できることを示した。
論文 参考訳（メタデータ） (2020-08-05T05:10:15Z) - Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。
PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
論文 参考訳（メタデータ） (2020-07-07T03:36:28Z) - Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。
複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。
本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
論文 参考訳（メタデータ） (2020-06-26T17:03:06Z) - Graph Prototypical Networks for Few-shot Learning on Attributed Networks [72.31180045017835]
グラフメタ学習フレームワーク - Graph Prototypeal Networks (GPN) を提案する。
GPNは、属性付きネットワーク上でテキストミータ学習を行い、ターゲット分類タスクを扱うための高度に一般化可能なモデルを導出する。
論文 参考訳（メタデータ） (2020-06-23T04:13:23Z) - Unsupervised Differentiable Multi-aspect Network Embedding [52.981277420394846]
本稿では,asp2vecと呼ばれるマルチアスペクトネットワーク埋め込みのための新しいエンドツーエンドフレームワークを提案する。
提案するフレームワークは容易に異種ネットワークに拡張できる。
論文 参考訳（メタデータ） (2020-06-07T19:26:20Z) - EdgeNets:Edge Varying Graph Neural Networks [179.99395949679547]
本稿では、EdgeNetの概念を通じて、最先端グラフニューラルネットワーク(GNN)を統一する一般的なフレームワークを提案する。
EdgeNetはGNNアーキテクチャであり、異なるノードが異なるパラメータを使って異なる隣人の情報を測定することができる。
これは、ノードが実行でき、既存のグラフ畳み込みニューラルネットワーク(GCNN)とグラフアテンションネットワーク(GAT)の1つの定式化の下で包含できる一般的な線形で局所的な操作である。
論文 参考訳（メタデータ） (2020-01-21T15:51:17Z) - A Block-based Generative Model for Attributed Networks Embedding [42.00826538556588]
本稿では,確率の観点から属性付きネットワーク埋め込みのためのブロックベース生成モデルを提案する。
ニューラルネットワークを用いてノード埋め込みとノード属性間の非線形性を特徴付ける。
その結果,提案手法はクラスタリングと分類タスクの両方において,最先端の埋め込み手法よりも一貫して優れていることがわかった。
論文 参考訳（メタデータ） (2020-01-06T03:44:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。