論文の概要: Growing Networks with Autonomous Pruning

• arxiv url: http://arxiv.org/abs/2603.19759v1
• Date: Fri, 20 Mar 2026 08:44:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:39.060128
• Title: Growing Networks with Autonomous Pruning
• Title（参考訳）: 自律型プルーニングによるネットワークの成長
• Authors: Charles De Lambilly, Stefan Duffner,
• Abstract要約: 本稿では,画像分類のためのGNAP(Growing Networks with Autonomous Pruning)を提案する。 従来の畳み込みニューラルネットワークとは異なり、GNAPはそのサイズと、トレーニング中に使用しているパラメータの数を変えて、可能な限り少ないパラメータを使用しようとしてデータに最も適している。
• 参考スコア（独自算出の注目度）: 1.716372564838794
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces Growing Networks with Autonomous Pruning (GNAP) for image classification. Unlike traditional convolutional neural networks, GNAP change their size, as well as the number of parameters they are using, during training, in order to best fit the data while trying to use as few parameters as possible. This is achieved through two complementary mechanisms: growth and pruning. GNAP start with few parameters, but their size is expanded periodically during training to add more expressive power each time the network has converged to a saturation point. Between these growing phases, model parameters are trained for classification and pruned simultaneously, with complete autonomy by gradient descent. Growing phases allow GNAP to improve their classification performance, while autonomous pruning allows them to keep as few parameters as possible. Experimental results on several image classification benchmarks show that our approach can train extremely sparse neural networks with high accuracy. For example, on MNIST, we achieved 99.44% accuracy with as few as 6.2k parameters, while on CIFAR10, we achieved 92.2\ accuracy with 157.8k parameters.
• Abstract（参考訳）: 本稿では,画像分類のためのGNAP(Growing Networks with Autonomous Pruning)を提案する。 従来の畳み込みニューラルネットワークとは異なり、GNAPはそのサイズと、トレーニング中に使用しているパラメータの数を変えて、可能な限り少ないパラメータを使用しようとしてデータに最も適している。 これは成長と刈り取りという2つの相補的なメカニズムによって達成される。 GNAPは、パラメータがほとんどないが、ネットワークが飽和点に収束するたびに、より表現力を加えるために、トレーニング中にそのサイズが周期的に拡大される。 これらの成長段階の間、モデルパラメータは分類のために訓練され、勾配降下による完全な自律性とともに同時に刈り取られる。 成長段階により、GNAPは分類性能を向上し、自律的なプルーニングは可能な限り少ないパラメータを維持できる。 いくつかの画像分類ベンチマークによる実験結果から,提案手法は極めてスパースなニューラルネットワークを高精度に学習できることが示唆された。 例えば、MNISTでは6.2kのパラメータで99.44%の精度を達成し、CIFAR10では157.8kのパラメータで92.2\の精度を達成しました。

関連論文リスト

• Recurrent Diffusion for Large-Scale Parameter Generation [52.98888368644455]
  リカレント拡散(Recurrent Diffusion for Large Scale Generation)は、単一のGPU上で最大数億のニューラルネットワークパラメータを生成する新しいフレームワークである。 RPGはAI生成において重要な進歩であり、以前は不可能と考えられていたスケールでの効率的な重量生成を可能にする可能性がある。
  論文  参考訳（メタデータ） (2025-01-20T16:46:26Z)
• Learning to Compose SuperWeights for Neural Parameter Allocation Search [61.078949532440724]
  提案手法は,同じ重み集合を用いて多くのネットワークに対してパラメータを生成することができることを示す。 これにより、効率的なアンサンブルや、いつでも予測できるようなタスクをサポートできます。
  論文  参考訳（メタデータ） (2023-12-03T04:20:02Z)
• Kronecker-Factored Approximate Curvature for Modern Neural Network Architectures [85.76673783330334]
  線形重み付け層の2つの異なる設定がクロネッカー型近似曲率(K-FAC)の2つの風味を動機付けている 重み付けをそれぞれ設定したディープ・リニア・ネットワークに対して正確であることを示す。 グラフニューラルネットワークと視覚変換器の両方をトレーニングするために、これらの2つのK-FACの違いをほとんど観測しない。
  論文  参考訳（メタデータ） (2023-11-01T16:37:00Z)
• Learning to Generate Parameters of ConvNets for Unseen Image Data [36.68392191824203]
  ConvNetは大量の画像データに依存しており、ネットワークパラメータを学習するための反復最適化アルゴリズムを採用している。 本稿では,新しい学習パラダイムを提案し,予測タスクにConvNetのパラメータ学習を定式化する。 提案手法は,2種類の画像データセットに対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:26:18Z)
• Resource Efficient Neural Networks Using Hessian Based Pruning [7.042897867094235]
  我々はFP32の代わりにFP16精度を用いてヘッセントレースを推定することで既存のアプローチを修正した。 我々の修正されたアプローチは、モデルアーキテクチャとGPUデバイスの異なる組み合わせの実験において、17%から最大44%のスピードアップを達成することができる。 また, FP16 と FP32 Hessian のトレース計算によるプルーニングの結果について述べる。
  論文  参考訳（メタデータ） (2023-06-12T11:09:16Z)
• Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
  2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。 我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。 得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
  論文  参考訳（メタデータ） (2022-11-16T21:55:05Z)
• EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for Mobile Vision Applications [68.35683849098105]
  入力テンソルを複数のチャネルグループに分割するSDTAエンコーダを導入する。 1.3Mパラメータを持つEdgeNeXtモデルでは、ImageNet-1Kで71.2%のTop-1精度を実現している。 パラメータ5.6MのEdgeNeXtモデルでは、ImageNet-1Kで79.4%のTop-1精度を実現しています。
  論文  参考訳（メタデータ） (2022-06-21T17:59:56Z)
• RGP: Neural Network Pruning through Its Regular Graph Structure [6.0686251332936365]
  本稿では,ニューラルネットワークのグラフ構造について検討し,レギュラーグラフベースプルーニング(RGP)を提案し,ワンショットニューラルネットワークプルーニングを行う。 実験の結果,グラフの平均最短経路長は,対応するニューラルネットワークの分類精度と負の相関が認められた。
  論文  参考訳（メタデータ） (2021-10-28T15:08:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。