Fugu-MT 論文翻訳(概要): CoNNect: A Swiss-Army-Knife Regularizer for Pruning of Neural Networks

論文の概要: CoNNect: A Swiss-Army-Knife Regularizer for Pruning of Neural Networks

arxiv url: http://arxiv.org/abs/2502.00744v1
Date: Sun, 02 Feb 2025 10:32:55 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-05 14:58:10.308863
Title: CoNNect: A Swiss-Army-Knife Regularizer for Pruning of Neural Networks
Title（参考訳）: CoNNect: ニューラルネットワークのプルーニングのためのスイス・アーミーナイフ正規化ツール
Authors: Christian Franssen, Jinyang Jiang, Yijie Peng, Bernd Heidergott,
Abstract要約: CoNNectは、スパースNNトレーニングのための新しい差別化可能なレギュレータである。 CoNNectは確立したプルーニング戦略を統合し、構造化プルーニングと非構造化プルーニングの両方をサポートする。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Pruning encompasses a range of techniques aimed at increasing the sparsity of neural networks (NNs). These techniques can generally be framed as minimizing a loss function subject to an $L_0$-norm constraint. This paper introduces CoNNect, a novel differentiable regularizer for sparse NN training that ensures connectivity between input and output layers. CoNNect integrates with established pruning strategies and supports both structured and unstructured pruning. We proof that CoNNect approximates $L_0$-regularization, guaranteeing maximally connected network structures while avoiding issues like layer collapse. Numerical experiments demonstrate that CoNNect improves classical pruning strategies and enhances state-of-the-art one-shot pruners, such as DepGraph and LLM-pruner.
Abstract（参考訳）: プルーニングは、ニューラルネットワーク(NN)の拡張を目的とした、さまざまなテクニックを含んでいる。これらの手法は一般に、損失関数を$L_0$-norm制約で最小化できる。本稿では、入力層と出力層との接続を保証するスパースNNトレーニングのための新しい微分可能正規化器であるCoNNectを紹介する。 CoNNectは確立したプルーニング戦略を統合し、構造化プルーニングと非構造化プルーニングの両方をサポートする。我々は、CNNectが$L_0$-regularizationを近似し、階層崩壊などの問題を回避しつつ、最大接続されたネットワーク構造を保証することを証明した。数値実験により、CNNectは古典的なプルーニング戦略を改善し、DepGraphやLLM-prunerのような最先端のワンショットプルーナーを強化している。

関連論文リスト

Designing Semi-Structured Pruning of Graph Convolutional Networks for Skeleton-based Recognition [5.656581242851759]
プルーニング(Pruning)は、不要なネットワーク部品を除去して動作させる軽量なネットワーク設計手法の1つである。本稿では,構造的および非構造的プルーニングの欠点を解消する,新しい半構造化手法を提案する。提案手法は, (i) 大きさに応じて重みを振る舞うバンドストップ機構, (ii) 個別にあるいはグループ的に接続するウェイトシェアリングパラメトリゼーション, (iii) 異なるグループワイドとエントリーワイドプルーニングを仲裁するゲーティング機構を組み合わせた, 微分可能なカスケードパラメトリゼーションに基づく。
論文参考訳（メタデータ） (2024-12-16T14:29:31Z)
Structure-Preserving Network Compression Via Low-Rank Induced Training Through Linear Layers Composition [11.399520888150468]
ローランド誘導訓練(LoRITa)と呼ばれる理論的修正手法を提案する。 LoRITaは線形層を構成することで低ランク化を促進し、特異値切り込みを用いて圧縮する。我々は,完全連結ネットワーク上でのMNIST,視覚変換器上でのCIFAR10,畳み込みニューラルネットワーク上でのCIFAR10/100と画像ネットを用いたアプローチの有効性を示す。
論文参考訳（メタデータ） (2024-05-06T00:58:23Z)
Verifying message-passing neural networks via topology-based bounds tightening [3.3267518043390205]
我々は、メッセージパッシングニューラルネットワーク(MPNN)のための堅牢な証明書を提供するための、計算学的に効果的なアプローチを開発する。私たちの研究は混合整数最適化に基づいており、様々なサブプロブレムをエンコードしています。ノード分類とグラフ分類の両方の問題を検証し、エッジの追加と削除の両方を行うトポロジ的攻撃について検討する。
論文参考訳（メタデータ） (2024-02-21T17:05:27Z)
Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
論文参考訳（メタデータ） (2023-12-25T18:51:23Z)
Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文参考訳（メタデータ） (2023-10-20T12:45:12Z)
On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文参考訳（メタデータ） (2022-04-22T15:56:43Z)
Edge Rewiring Goes Neural: Boosting Network Resilience via Policy Gradient [62.660451283548724]
ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。 ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
論文参考訳（メタデータ） (2021-10-18T06:14:28Z)
Only Train Once: A One-Shot Neural Network Training And Pruning Framework [31.959625731943675]
構造化プルーニング(Structured pruning)は、リソース制約のあるデバイスにディープニューラルネットワーク(DNN)をデプロイする際に一般的に使用されるテクニックである。我々は,DNNが競争性能と,OTO(Not-Train-Once)によるFLOPの大幅な削減に敏感なフレームワークを提案する。 OTOには2つのキーが含まれている: (i) DNNのパラメータをゼロ不変群に分割し、出力に影響を与えることなくゼロ群をプルークすることができる; (ii)ゼロ群をプロモートするために、構造化画像最適化アルゴリズムであるHalf-Space Projected (HSPG)を定式化する。 OTOの有効性を示すために、私たちはトレーニングとトレーニングを行います。
論文参考訳（メタデータ） (2021-07-15T17:15:20Z)
Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文参考訳（メタデータ） (2021-06-15T17:22:59Z)
Neural Optimization Kernel: Towards Robust Deep Learning [13.147925376013129]
近年の研究では、ニューラルネットワーク(NN)とカーネルメソッドの関連性が示されている。本稿では,カーネル(NOK)という新しいカーネルファミリーを提案する。パラメータ化ディープNN(NOK)は,経験的リスクを低減し,有界一般化を同時に低減できることを示す。
論文参考訳（メタデータ） (2021-06-11T00:34:55Z)
Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
論文参考訳（メタデータ） (2020-08-06T04:38:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。