論文の概要: A Hierarchical Importance-Guided Multi-objective Evolutionary Framework for Deep Neural Network Pruning

• arxiv url: http://arxiv.org/abs/2604.01076v1
• Date: Wed, 01 Apr 2026 16:08:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-02 16:44:32.078577
• Title: A Hierarchical Importance-Guided Multi-objective Evolutionary Framework for Deep Neural Network Pruning
• Title（参考訳）: 階層的重要度誘導型深層ニューラルネットワーク解析のための多目的進化フレームワーク
• Abstract要約: 本稿では,大規模多目的最適化問題を再検討する階層的重要客観的枠組みを提案する。 提案手法は,大規模多目的最適化問題を解くために,スケーラブルな進化的アプローチに寄与する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The optimization of over-parameterized deep neural networks represents a large-scale, high-dimensional, and strongly non-convex decision problem that challenges existing optimization frameworks. Current evolutionary and gradient-based pruning methods often struggle to scale to such dimensionalities, as they rely on flat search spaces, scalarized objectives, or repeated retraining, leading to premature convergence and prohibitive computational cost. This paper introduces a hierarchical importance-guided evolutionary framework that reformulates convolutional network pruning as a tractable large-scale multi-objective optimization problem. In the first phase, a continuous evolutionary search performs coarse exploration of weight-wise pruning thresholds to shrink the search space and identify promising regions of the Pareto set. The second phase applies a fine-grained binary evolutionary optimization constrained to the surviving weights, where importance-aware sampling and adaptive variation operators refine local search in the sparse region of the Pareto set. This hierarchical design combines global exploration and localized exploitation to achieve a well-distributed Pareto set of networks balancing compactness and accuracy. Empirical results on CIFAR-10 and CIFAR-100 using ResNet-56 and ResNet-110 confirm the method's effectiveness compared to existing evolutionary approaches: pruning achieves up to 51.9\% and 38.9\% parameter reductions with almost no accuracy loss compared to state-of-the-art evolutionary DNN pruning methods. The proposed method contributes a scalable evolutionary approach for solving very-large-scale multi-objective optimization problems, offering a general paradigm extendable to other domains where the decision space is exponentially large, objective functions are conflicting, and efficient trade-off discovery is essential.
• Abstract（参考訳）: 過パラメータ化されたディープニューラルネットワークの最適化は、既存の最適化フレームワークに挑戦する大規模で高次元で、非凸な決定問題を表している。 現在の進化的および勾配に基づくプルーニング法は、平坦な探索空間、スキャラライズされた目的、あるいは反復的な再訓練に依存するため、しばしばそのような次元にスケールするのに苦労する。 本稿では,大規模多目的最適化問題として,畳み込みネットワークプルーニングを再構築する階層的重要誘導進化フレームワークを提案する。 第1段階において、連続進化的探索は、探索空間を縮小し、パレート集合の有望な領域を特定するために、重量ワイドプルーニングしきい値の粗い探索を行う。 第2のフェーズでは、生き残った重みに制約された細粒度のバイナリ進化的最適化が適用され、パレート集合のスパース領域の局所探索を重要視するサンプリングと適応変分演算子が洗練される。 この階層的な設計は、グローバルな探索と局所的な利用を組み合わせて、コンパクト性と精度のバランスをとるよく分散されたパレートネットワークを実現する。 ResNet-56 と ResNet-110 を用いた CIFAR-10 と CIFAR-100 の実証実験により,提案手法の有効性が確認された。 提案手法は,決定空間が指数関数的に大きく,目的関数が矛盾し,効率的なトレードオフ発見が不可欠である他の領域にも拡張可能な汎用パラダイムを提供することにより,超大規模多目的最適化問題の解決にスケーラブルな進化的アプローチを提供する。

関連論文リスト

• Evolution of Optimization Methods: Algorithms, Scenarios, and Evaluations [98.44542103979735]
  勾配勾配降下法(SGD)とアダム(Adam)による1次勾配勾配降下法は、現代の訓練パイプラインの基礎となる。 大規模モデルトレーニング、厳格なプライバシ要件、分散学習パラダイムは、プライバシ保護とメモリ効率に関する従来のアプローチにおける重要な制限を明らかにする。 深層学習最適化アルゴリズムの進化軌道を振り返って分析し、様々なモデルアーキテクチャやトレーニングシナリオの主流を包括的に評価する。 我々は、重要な新興トレンドと基本設計のトレードオフを抽出し、将来の研究の有望な方向性を示唆する。
  論文  参考訳（メタデータ） (2026-04-14T17:01:36Z)
• An Evolutionary Algorithm with Probabilistic Annealing for Large-scale Sparse Multi-objective Optimization [21.49421845647136]
  大規模スパース多目的最適化問題(LSMOP)は、現実世界のアプリケーションで広く用いられている。 提案アルゴリズムは探索とエクスプロイトの動的平衡を実現する。 ベンチマーク問題と実世界の応用に関する実験結果は,提案アルゴリズムが最先端の進化的アルゴリズムより優れていることを示す。
  論文  参考訳（メタデータ） (2026-03-12T12:48:49Z)
• Renormalization Group Guided Tensor Network Structure Search [58.0378300612202]
  ネットワーク構造探索(TN-SS)は、高次元データ表現における効率的なテンソル分解のための最適なネットワークトポロジとランクロバスト性を自動的に発見することを目的としている。 RGTN(Renormalization Group Guided Network Search)は、TN-SSを変換する物理に着想を得たフレームワークである。
  論文  参考訳（メタデータ） (2025-12-31T06:31:43Z)
• Adaptive Anomaly Detection in Network Flows with Low-Rank Tensor Decompositions and Deep Unrolling [4.944495309580902]
  異常検出(AD)は、将来の通信システムのレジリエンスを確保するための重要な要素として、ますます認識されている。 この研究は、不完全測定を用いたネットワークフローにおけるADについて考察する。 本稿では,正規化モデル適合性に基づくブロック帰属凸近似アルゴリズムを提案する。 ベイズ的アプローチに触発されて、我々はモデルアーキテクチャを拡張し、フローごとのオンライン適応とステップごとの統計処理を行う。
  論文  参考訳（メタデータ） (2024-09-17T19:59:57Z)
• Multiform Evolution for High-Dimensional Problems with Low Effective Dimensionality [36.44425198302701]
  進化的アルゴリズムを高次元最適化問題に拡張する。 全ての定式化を単一のマルチタスク設定に統一するマルチフォーム進化アルゴリズムを開発した。 その結果、目的タスクは様々な低次元探索で進化した解を効率的に再利用することができる。
  論文  参考訳（メタデータ） (2023-12-30T08:13:47Z)
• Large-scale global optimization of ultra-high dimensional non-convex landscapes based on generative neural networks [0.0]
  超高次元最適化を行うアルゴリズムを提案する。 ディープ・ジェネレーティブ・ネットワークをベースとしています 提案手法は, 最先端のアルゴリズムと比較して, 機能評価が少なく, 性能がよいことを示す。
  論文  参考訳（メタデータ） (2023-07-09T00:05:59Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• FactorizeNet: Progressive Depth Factorization for Efficient Network Architecture Exploration Under Quantization Constraints [93.4221402881609]
  量子化制約下での効率的なCNNアーキテクチャ探索のためのプログレッシブ・ディープ・ファクタライズ・ストラテジーを導入する。 アルゴリズムによって深度分解の粒度を漸進的に増大させることで,層状分布の微細で低レベルな解析が可能となる。 このようなプログレッシブな深度分解戦略は、最適深度分解マクロ構造設計の効率的な同定を可能にする。
  論文  参考訳（メタデータ） (2020-11-30T07:12:26Z)
• Efficient and Sparse Neural Networks by Pruning Weights in a Multiobjective Learning Approach [0.0]
  本稿では、予測精度とネットワーク複雑性を2つの個別目的関数として扱うことにより、ニューラルネットワークのトレーニングに関する多目的視点を提案する。 模範的畳み込みニューラルネットワークの予備的な数値結果から、ニューラルネットワークの複雑性の大幅な低減と精度の低下が可能であることが確認された。
  論文  参考訳（メタデータ） (2020-08-31T13:28:03Z)
• Discretization-Aware Architecture Search [81.35557425784026]
  本稿では,離散化対応アーキテクチャサーチ(DAtextsuperscript2S)を提案する。 中心となる考え方は、超ネットワークを所望のトポロジの構成に向けることであり、離散化による精度損失がほとんど軽減される。 標準画像分類ベンチマークの実験は、我々のアプローチの優位性を実証している。
  論文  参考訳（メタデータ） (2020-07-07T01:18:58Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。