論文の概要: IDAP++: Advancing Divergence-Based Pruning via Filter-Level and Layer-Level Optimization

• arxiv url: http://arxiv.org/abs/2511.20141v1
• Date: Tue, 25 Nov 2025 10:02:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 17:37:04.396304
• Title: IDAP++: Advancing Divergence-Based Pruning via Filter-Level and Layer-Level Optimization
• Title（参考訳）: IDAP++: フィルタレベルと層レベル最適化によるダイバージェンスベースのプルーニングの改善
• Authors: Aleksei Samarin, Artem Nazarenko, Egor Kotenko, Valentin Malykh, Alexander Savelev, Aleksei Toropov,
• Abstract要約: 本稿では,フィルタとアーキテクチャの両レベルでの冗長性に対処するニューラルネットワーク圧縮に対する新しいアプローチを提案する。 我々は,テンソルフローの分散という概念に基づいて,情報をネットワーク層間でどのように変換するかを定量化する。
• 参考スコア（独自算出の注目度）: 38.16787019088681
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a novel approach to neural network compression that addresses redundancy at both the filter and architectural levels through a unified framework grounded in information flow analysis. Building on the concept of tensor flow divergence, which quantifies how information is transformed across network layers, we develop a two-stage optimization process. The first stage employs iterative divergence-aware pruning to identify and remove redundant filters while preserving critical information pathways. The second stage extends this principle to higher-level architecture optimization by analyzing layer-wise contributions to information propagation and selectively eliminating entire layers that demonstrate minimal impact on network performance. The proposed method naturally adapts to diverse architectures, including convolutional networks, transformers, and hybrid designs, providing a consistent metric for comparing the structural importance across different layer types. Experimental validation across multiple modern architectures and datasets reveals that this combined approach achieves substantial model compression while maintaining competitive accuracy. The presented approach achieves parameter reduction results that are globally comparable to those of state-of-the-art solutions and outperforms them across a wide range of modern neural network architectures, from convolutional models to transformers. The results demonstrate how flow divergence serves as an effective guiding principle for both filter-level and layer-level optimization, offering practical benefits for deployment in resource-constrained environments.
• Abstract（参考訳）: 本稿では,情報フロー解析に基づく統合フレームワークを用いて,フィルタとアーキテクチャレベルでの冗長性に対処するニューラルネットワーク圧縮手法を提案する。 ネットワーク層間で情報がどのように変換されるかを定量化するテンソルフロー分散の概念に基づいて、2段階最適化プロセスを開発する。 第1段階では、重要な情報経路を保持しながら冗長なフィルタを識別および除去するために反復発散認識プルーニングを用いる。 第2段階では、情報伝達に対するレイヤワイドなコントリビューションを分析し、ネットワーク性能に最小限の影響を示す全レイヤを選択的に除去することにより、この原則を高レベルなアーキテクチャ最適化に拡張する。 提案手法は, 畳み込みネットワーク, トランスフォーマー, ハイブリッド設計など, 多様なアーキテクチャに自然に適応し, 異なる層間の構造的重要性を比較するための一貫した指標を提供する。 複数の現代的なアーキテクチャとデータセットにまたがる実験的な検証により、この組み合わせのアプローチは、競争精度を維持しながら、かなりのモデルの圧縮を実現することが明らかになった。 提案した手法は、最先端のソリューションに匹敵するパラメータ削減結果を実現し、畳み込みモデルからトランスフォーマーまで、幅広い現代のニューラルネットワークアーキテクチャで性能を向上する。 その結果,フローの分散がフィルタレベルの最適化と層レベルの最適化に有効であることを示す。

関連論文リスト

• CaAdam: Improving Adam optimizer using connection aware methods [0.0]
  我々はAdamにインスパイアされた新しい手法を導入し、収束速度を高め、損失関数の最小化を実現する。 Adamを含む従来のプロキシは、アーキテクチャの詳細を考慮せずに、ニューラルネットワーク全体で均一またはグローバルに調整された学習率を適用している。 我々のアルゴリズムであるCaAdamは、アーキテクチャ情報を慎重に設計することで、接続対応の最適化を導入することで、見落としている領域を探索する。
  論文  参考訳（メタデータ） (2024-10-31T17:59:46Z)
• Universal Pooling Method of Multi-layer Features from Pretrained Models for Speaker Verification [7.005068872406135]
  大規模事前学習ネットワークを活用した自動話者検証(ASV)研究の最近の進歩が達成されている。 ASVのための事前学習モデルの多層特性を利用するための新しい手法を提案する。 提案した層間処理が,事前学習モデルを利用する利点の最大化にどのように役立つかを示す。
  論文  参考訳（メタデータ） (2024-09-12T05:55:32Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• An Adaptive and Stability-Promoting Layerwise Training Approach for Sparse Deep Neural Network Architecture [0.0]
  この研究は、与えられたトレーニングデータセットに対してうまく一般化するディープニューラルネットワーク(DNN)アーキテクチャを開発するための2段階適応フレームワークを提案する。 第1段階では、新しいレイヤを毎回追加し、前のレイヤでパラメータを凍結することで独立してトレーニングする、レイヤワイズトレーニングアプローチが採用されている。 本稿では, 学習アルゴリズムの望ましい特性として, エプシロン・デルタ安定促進の概念を導入し, 多様体正規化を用いることで, エプシロン・デルタ安定促進アルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-13T09:51:16Z)
• A Novel Architecture Slimming Method for Network Pruning and Knowledge Distillation [30.39128740788747]
  本稿では,レイヤ構成プロセスを自動化するアーキテクチャスリム化手法を提案する。 本手法は, 浸漬, 蒸留後, ベースラインよりも顕著な性能向上を示した。 驚くべきことに、結果として生じる層ワイド圧縮速度は、既存の研究で見られる層感度と一致している。
  論文  参考訳（メタデータ） (2022-02-21T12:45:51Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• SIRe-Networks: Skip Connections over Interlaced Multi-Task Learning and Residual Connections for Structure Preserving Object Classification [28.02302915971059]
  本稿では、オブジェクト分類タスクにおける消失勾配を低減するために、SIReを定義したインターレース型マルチタスク学習戦略を提案する。 提案手法は、自動エンコーダを介して入力画像構造を保存することにより、畳み込みニューラルネットワーク(CNN)を直接改善する。 提案手法を検証するため、SIRe戦略を介して単純なCNNと有名なネットワークの様々な実装を拡張し、CIFAR100データセットで広範囲にテストする。
  論文  参考訳（メタデータ） (2021-10-06T13:54:49Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。