論文の概要: Meta Pruning via Graph Metanetworks : A Meta Learning Framework for Network Pruning

• arxiv url: http://arxiv.org/abs/2506.12041v1
• Date: Sat, 24 May 2025 08:22:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-22 23:32:14.603929
• Title: Meta Pruning via Graph Metanetworks : A Meta Learning Framework for Network Pruning
• Title（参考訳）: グラフメタネットによるメタ・プルーニング : ネットワーク・プルーニングのためのメタ・ラーニング・フレームワーク
• Authors: Yewei Liu, Xiyuan Wang, Muhan Zhang,
• Abstract要約: ニューラルネットワークをプルークニューラルネットワークに利用する"新しいアプローチを提案する。 メタネットワーク(Metanetwork)は、別のネットワークを入力とし、修正されたネットワークを出力として生成するネットワークである。 我々はプルーニング戦略を学習するメタネットワークをトレーニングし、プーンしにくいネットワークをプーンし易い別のネットワークに変換することができる。
• 参考スコア（独自算出の注目度）: 24.505897569096476
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Network pruning, aimed at reducing network size while preserving accuracy, has attracted significant research interest. Numerous pruning techniques have been proposed over time. They are becoming increasingly effective, but more complex and harder to interpret as well. Given the inherent complexity of neural networks, we argue that manually designing pruning criteria has reached a bottleneck. To address this, we propose a novel approach in which we "use a neural network to prune neural networks". More specifically, we introduce the newly developed idea of metanetwork from meta-learning into pruning. A metanetwork is a network that takes another network as input and produces a modified network as output. In this paper, we first establish a bijective mapping between neural networks and graphs, and then employ a graph neural network as our metanetwork. We train a metanetwork that learns the pruning strategy automatically which can transform a network that is hard to prune into another network that is much easier to prune. Once the metanetwork is trained, our pruning needs nothing more than a feedforward through the metanetwork and the standard finetuning to prune at state-of-the-art. Our method achieved outstanding results on many popular and representative pruning tasks (including ResNet56 on CIFAR10, VGG19 on CIFAR100, ResNet50 on ImageNet). Our code is available at https://github.com/Yewei-Liu/MetaPruning
• Abstract（参考訳）: ネットワークプルーニングは、精度を保ちながらネットワークサイズを減らすことを目的としており、かなりの研究関心を集めている。 様々なプルーニング技術が提案されている。 効果はますます高まっているが、より複雑で解釈も難しくなっている。 ニューラルネットワークの本質的な複雑さを考えると、手動でプルーニング基準を設計することはボトルネックに達している、と私たちは主張する。 この問題に対処するため、我々は「ニューラルネットワークをプルークニューラルネットワークに利用する」という新しいアプローチを提案する。 具体的には、メタラーニングからプルーニングへのメタネットワークのアイデアを紹介する。 メタネットワーク(Metanetwork)は、別のネットワークを入力とし、修正されたネットワークを出力として生成するネットワークである。 本稿では,まず,ニューラルネットワークとグラフ間の客観的マッピングを構築し,その上で,グラフニューラルネットワークをメタネットワークとして利用する。 我々はプルーニング戦略を学習するメタネットワークをトレーニングし、プーンしにくいネットワークをプーンし易い別のネットワークに変換することができる。 メタネットワークのトレーニングが終わると、私たちのプルーニングはメタネットワークと最先端のプルーンの標準的な微調整を通じてフィードフォワード以上のものを必要とします。 提案手法は,CIFAR10上のResNet56,CIFAR100上のVGG19,ImageNet上のResNet50など,多くの人気および代表的プルーニングタスクにおいて優れた結果を得た。 私たちのコードはhttps://github.com/Yewei-Liu/MetaPruningで利用可能です。

関連論文リスト

• Stitching for Neuroevolution: Recombining Deep Neural Networks without Breaking Them [0.0]
  神経進化への伝統的なアプローチは、しばしばゼロから始まる。 アーキテクチャと特徴表現が典型的に異なるため、トレーニングされたネットワークの再結合は簡単ではない。 我々は、クロスオーバーポイントで新しいレイヤを導入することで、ネットワークをマージするステアリングを採用しています。
  論文  参考訳（メタデータ） (2024-03-21T08:30:44Z)
• You Can Have Better Graph Neural Networks by Not Training Weights at All: Finding Untrained GNNs Tickets [105.24703398193843]
  グラフニューラルネットワーク(GNN)の未訓練作業はまだ謎のままだ。 得られた未学習作品によって,GNNの過度なスムース化問題を大幅に軽減できることを示す。 また,そのような未学習作業が,入力摂動の分布外検出と堅牢性に優れていることも観察した。
  論文  参考訳（メタデータ） (2022-11-28T14:17:36Z)
• Multipath Graph Convolutional Neural Networks [6.216778442751621]
  本稿では,複数の浅いネットワークの出力を集約する新しいマルチパスグラフ畳み込みニューラルネットワークを提案する。 その結果,提案手法は精度の向上だけでなく,収束に要する訓練時間も少なくなることがわかった。
  論文  参考訳（メタデータ） (2021-05-04T14:11:20Z)
• Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks [50.684661759340145]
  firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。 ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。 特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
  論文  参考訳（メタデータ） (2021-02-17T04:47:18Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• A Framework for Neural Network Pruning Using Gibbs Distributions [34.0576955010317]
  Gibbs pruningは、ニューラルネットワークのプルーニングメソッドを表現および設計するための新しいフレームワークである。 学習したウェイトとプルーニングマスクが互いに順応するように、同時にネットワークを訓練し訓練することができる。 我々は、CIFAR-10データセットでResNet-56を刈り取るための、最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2020-06-08T23:04:53Z)
• Good Subnetworks Provably Exist: Pruning via Greedy Forward Selection [35.121856435677564]
  本稿では,ディープニューラルネットワークにおけるグッドワークを見つけるための,単純な欲求選択手法を提案する。 十分に大きな事前訓練ネットワークに欲求選択戦略を適用することで、勾配降下で直接訓練されたネットワークよりも損失の少ないスモールワークを見つけることが保証される。
  論文  参考訳（メタデータ） (2020-03-03T21:03:11Z)
• Knapsack Pruning with Inner Distillation [11.04321604965426]
  そこで本研究では,プルーンドネットワークの最終精度を最適化する新しいプルーニング手法を提案する。 ネットワークの高レベル構造を維持しながら、ネットワークチャネルを熟考する。 提案手法は,ResNetバックボーンを用いたImageNet,CIFAR-10,CIFAR-100における最先端のプルーニング結果をもたらす。
  論文  参考訳（メタデータ） (2020-02-19T16:04:48Z)
• A "Network Pruning Network" Approach to Deep Model Compression [62.68120664998911]
  マルチタスクネットワークを用いた深部モデル圧縮のためのフィルタプルーニング手法を提案する。 我々のアプローチは、プレナーネットワークを学習して、事前訓練されたターゲットネットワークを訓練することに基づいている。 提案手法によって生成された圧縮モデルは汎用的であり,特別なハードウェア/ソフトウェアのサポートは不要である。
  論文  参考訳（メタデータ） (2020-01-15T20:38:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。