論文の概要: Mutual Information Preserving Neural Network Pruning

• arxiv url: http://arxiv.org/abs/2411.00147v2
• Date: Mon, 03 Feb 2025 11:55:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-04 16:04:14.514037
• Title: Mutual Information Preserving Neural Network Pruning
• Title（参考訳）: ニューラルネットワークプルーニングのための相互情報保存
• Authors: Charles Westphal, Stephen Hailes, Mirco Musolesi,
• Abstract要約: 我々は,Mutual Information Preserving Pruning (MIPP)を導入する。 MIPPは、訓練前または訓練後のプルーニングが実行されたかどうかにかかわらず、最先端の手法を一貫して上回っている。
• 参考スコア（独自算出の注目度）: 3.7414804164475983
• License:
• Abstract: Pruning has emerged as the primary approach used to limit the resource requirements of large neural networks (NNs). Since the proposal of the lottery ticket hypothesis, researchers have focused either on pruning at initialization or after training. However, recent theoretical findings have shown that the sample efficiency of robust pruned models is proportional to the mutual information (MI) between the pruning masks and the model's training datasets, \textit{whether at initialization or after training}. In this paper, starting from these results, we introduce Mutual Information Preserving Pruning (MIPP), a structured activation-based pruning technique applicable before or after training. The core principle of MIPP is to select nodes in a way that conserves MI shared between the activations of adjacent layers, and consequently between the data and masks. Approaching the pruning problem in this manner means we can prove that there exists a function that can map the pruned upstream layer's activations to the downstream layer's, implying re-trainability. We demonstrate that MIPP consistently outperforms state-of-the-art methods, regardless of whether pruning is performed before or after training.
• Abstract（参考訳）: プルーニングは、大規模なニューラルネットワーク(NN)のリソース要求を制限するために使用される主要なアプローチとして登場した。 宝くじの仮説が提案されて以来、研究者は初期化時に刈り取るか、訓練後に行うかに焦点を合わせてきた。 しかし、近年の理論的研究により、頑健な刈り込みモデルのサンプル効率は、刈り込みマスクとモデルのトレーニングデータセットの相互情報(MI)に比例していることが示されている。 本稿では,これらの結果から,Mutual Information Preserving Pruning (MIPP)を導入する。 MIPPの中核的な原則は、隣接層の活性化と結果としてデータとマスクの間で共有されるMIを保存する方法でノードを選択することである。 この方法でプルーニング問題にアプローチすることで、プルーニングされた上流層の活性化を下流層の活性化にマッピングできる関数が存在することを証明できる。 また,MIPPは,訓練前後のプルーニングの実施の有無にかかわらず,最先端の手法よりも一貫して優れることを示した。

関連論文リスト

• Edge-Enhanced Global Disentangled Graph Neural Network for Sequential Recommendation [44.15486708923762]
  本稿では,エッジ拡張グローバルディスタングルグラフニューラルネットワーク(EGD-GNN)モデルを提案する。 グローバルレベルでは、アイテムの関係をモデル化するために、すべてのシーケンスにまたがるグローバルリンクグラフを構築します。 ローカルレベルでは、変動型自動エンコーダフレームワークを適用して、現在のシーケンスに関するユーザの意図を学習する。
  論文  参考訳（メタデータ） (2021-11-20T08:15:20Z)
• SSSNET: Semi-Supervised Signed Network Clustering [4.895808607591299]
  SSSNETと呼ばれる半教師付きネットワーククラスタリングのためのGNNフレームワークにおいて、トレーニングノードに対する確率的バランスの取れた正規化カット損失を新たに導入する。 主な斬新なアプローチは、署名されたネットワーク埋め込みにおける社会的バランス理論の役割に関する新しい見解である。
  論文  参考訳（メタデータ） (2021-10-13T10:36:37Z)
• Learning Deep Interleaved Networks with Asymmetric Co-Attention for Image Restoration [65.11022516031463]
  本稿では,高品質(本社)画像再構成のために,異なる状態の情報をどのように組み合わせるべきかを学習するディープインターリーブドネットワーク(DIN)を提案する。 本稿では,各インターリーブノードにアタッチメントされた非対称なコアテンション(AsyCA)を提案し,その特性依存性をモデル化する。 提案したDINはエンドツーエンドで訓練でき、様々な画像復元タスクに適用できる。
  論文  参考訳（メタデータ） (2020-10-29T15:32:00Z)
• DINE: A Framework for Deep Incomplete Network Embedding [33.97952453310253]
  本稿では,ディープ不完全ネットワーク埋め込み,すなわちDINEを提案する。 まず、期待最大化フレームワークを用いて、部分的に観測可能なネットワーク内のノードとエッジの両方を含む欠落部分を完成させる。 マルチラベル分類およびリンク予測タスクにおいて,DINEを3つのネットワーク上で評価する。
  論文  参考訳（メタデータ） (2020-08-09T04:59:35Z)
• GloDyNE: Global Topology Preserving Dynamic Network Embedding [31.269883917366478]
  動的ネットワーク埋め込み(DNE)は、ネットワークトポロジを各ステップで保存しながらノード埋め込みを更新することを目的としている。 本稿では,ネットワーク上の代表ノードを多様に選択する新たな手法を提案する。 実験では、少数のノードが選択されているGloDyNEが、すでに優れたパフォーマンスまたは同等のパフォーマンスを達成できることを示した。
  論文  参考訳（メタデータ） (2020-08-05T05:10:15Z)
• Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
  異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。 PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
  論文  参考訳（メタデータ） (2020-07-07T03:36:28Z)
• Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
  グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。 複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。 本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:03:06Z)
• Graph Prototypical Networks for Few-shot Learning on Attributed Networks [72.31180045017835]
  グラフメタ学習フレームワーク - Graph Prototypeal Networks (GPN) を提案する。 GPNは、属性付きネットワーク上でテキストミータ学習を行い、ターゲット分類タスクを扱うための高度に一般化可能なモデルを導出する。
  論文  参考訳（メタデータ） (2020-06-23T04:13:23Z)
• Unsupervised Differentiable Multi-aspect Network Embedding [52.981277420394846]
  本稿では,asp2vecと呼ばれるマルチアスペクトネットワーク埋め込みのための新しいエンドツーエンドフレームワークを提案する。 提案するフレームワークは容易に異種ネットワークに拡張できる。
  論文  参考訳（メタデータ） (2020-06-07T19:26:20Z)
• EdgeNets:Edge Varying Graph Neural Networks [179.99395949679547]
  本稿では、EdgeNetの概念を通じて、最先端グラフニューラルネットワーク(GNN)を統一する一般的なフレームワークを提案する。 EdgeNetはGNNアーキテクチャであり、異なるノードが異なるパラメータを使って異なる隣人の情報を測定することができる。 これは、ノードが実行でき、既存のグラフ畳み込みニューラルネットワーク(GCNN)とグラフアテンションネットワーク(GAT)の1つの定式化の下で包含できる一般的な線形で局所的な操作である。
  論文  参考訳（メタデータ） (2020-01-21T15:51:17Z)
• A Block-based Generative Model for Attributed Networks Embedding [42.00826538556588]
  本稿では,確率の観点から属性付きネットワーク埋め込みのためのブロックベース生成モデルを提案する。 ニューラルネットワークを用いてノード埋め込みとノード属性間の非線形性を特徴付ける。 その結果,提案手法はクラスタリングと分類タスクの両方において,最先端の埋め込み手法よりも一貫して優れていることがわかった。
  論文  参考訳（メタデータ） (2020-01-06T03:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。