論文の概要: ONG: One-Shot NMF-based Gradient Masking for Efficient Model Sparsification

• arxiv url: http://arxiv.org/abs/2508.12891v1
• Date: Mon, 18 Aug 2025 12:46:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:11.344383
• Title: ONG: One-Shot NMF-based Gradient Masking for Efficient Model Sparsification
• Title（参考訳）: OnG: 効率的なモデルスペーシングのためのワンショットNMFによるグラディエントマスキング
• Authors: Sankar Behera, Yamuna Prasad,
• Abstract要約: Deep Neural Networks(DNN)は目覚ましい成功を収めているが、その大きなサイズはデプロイメント上の課題を引き起こす。 そこで本研究では,Non- negative Matrix Factorization (NMF) を用いたトレーニング開始時のワンショットプルーニングにより,サレントウェイト構造を同定する新しいスペーシフィケーション戦略であるONGを紹介する。 ONGは厳密な勾配マスキング機構を採用し、未切断重量のみが更新されることを保証し、トレーニングフェーズを通してターゲットの空間を厳密に保存する。
• 参考スコア（独自算出の注目度）: 1.03590082373586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Neural Networks (DNNs) have achieved remarkable success but their large size poses deployment challenges. While various pruning techniques exist, many involve complex iterative processes, specialized criteria, or struggle to maintain sparsity effectively during training. We introduce ONG (One-shot NMF-based Gradient Masking), a novel sparsification strategy that identifies salient weight structures using Non-negative Matrix Factorization (NMF) for one-shot pruning at the outset of training. Subsequently, ONG employs a precise gradient masking mechanism to ensure that only unpruned weights are updated, strictly preserving the target sparsity throughout the training phase. We integrate ONG into the BIMP comparative framework and evaluate it on CIFAR-10 and CIFAR-100 with ResNet56, ResNet34, and ResNet18 against established stable sparsification methods. Our experiments demonstrate ONG's ability to achieve comparable or superior performance at various sparsity levels while maintaining structural integrity post-pruning and offering a clear mechanism for targeting desired sparsities.
• Abstract（参考訳）: Deep Neural Networks(DNN)は目覚ましい成功を収めているが、その大きなサイズはデプロイメント上の課題を引き起こす。 様々なプルーニング技術が存在するが、その多くは複雑な反復プロセス、特別な基準、訓練中に効果的にスパーシティを維持するのに苦労する。 OnG (One-shot NMF-based Gradient Masking) は,Non- negative Matrix Factorization (NMF) を用いて,訓練開始時の一発プルーニングに有効である。 その後、ONGは厳密な勾配マスキング機構を採用し、未切断重量のみが更新されることを保証し、トレーニングフェーズを通してターゲットの間隔を厳密に保存する。 我々は,ONG を BIMP 比較フレームワークに統合し,CIFAR-10 および CIFAR-100 上で ResNet56,ResNet34,ResNet18 を用いて,確立された安定したスペーサー化手法に対して評価する。 本実験は, 種々のスパシティレベルにおいて同等あるいは優れた性能を達成しつつ, プレニング後の構造的整合性を維持しつつ, 所望のスパシティをターゲットとした明確なメカニズムを提供することを実証するものである。

関連論文リスト

• Pangu Light: Weight Re-Initialization for Pruning and Accelerating LLMs [79.7618807098457]
  大きな言語モデル(LLM)は多くのタスクにまたがって最先端の機能を提供しますが、その巨大なサイズと推論コストは、実用的なデプロイメントに重大な計算上の課題をもたらします。 本稿は,このような積極的関節切断を実現させる上で重要な,しばしば見落とされがちな側面として,残った重量の戦略的再初期化と調整があげられることを論じる。 構造化プルーニングを中心としたLCM加速のためのフレームワークであるPangu Lightと、新しい重量再初期化技術を紹介する。
  論文  参考訳（メタデータ） (2025-05-26T15:57:08Z)
• Lattice-Based Pruning in Recurrent Neural Networks via Poset Modeling [0.0]
  リカレントニューラルネットワーク(RNN)はシーケンスモデリングタスクの中心であるが、その高い計算複雑性はスケーラビリティとリアルタイムデプロイメントの課題を引き起こす。 本稿では,RNNを部分的に順序付けられた集合(命題)としてモデル化し,対応する依存格子を構成する新しいフレームワークを提案する。 既約ニューロンを同定することにより、格子ベースのプルーニングアルゴリズムは、冗長なニューロンを除去しながら、重要な接続を選択的に保持する。
  論文  参考訳（メタデータ） (2025-02-23T10:11:38Z)
• CCSRP: Robust Pruning of Spiking Neural Networks through Cooperative Coevolution [2.5388345537743056]
  スパイキングニューラルネットワーク(SNN)は、様々な動的視覚タスクにおいて有望であることを示しているが、現実的なデプロイメントの準備が整ったものは、リソース制限と安全クリティカルな設定に不可欠なコンパクト性と堅牢性を欠いていることが多い。 我々は,協調的共進化を基盤としたSNNの革新的な頑健な刈り取り法であるCSRPを提案する。
  論文  参考訳（メタデータ） (2024-07-18T04:28:16Z)
• Neural-Kernel Conditional Mean Embeddings [26.862984140099837]
  カーネル条件付き平均埋め込み(CME)は条件分布を表す強力なフレームワークを提供するが、スケーラビリティと課題に直面することが多い。 本稿では,これらの課題に対処するために,ディープラーニングとCMEの強みを効果的に組み合わせた新しい手法を提案する。 条件付き密度推定タスクでは、NN-CMEハイブリッドは競合性能を達成し、しばしば既存のディープラーニング手法を上回ります。
  論文  参考訳（メタデータ） (2024-03-16T08:51:02Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Training Recipe for N:M Structured Sparsity with Decaying Pruning Mask [8.02992650002693]
  モデル精度と計算コストのトレードオフの観点から,N:M空間の様々なトレーニングレシピについて検討し,評価を行った。 我々は,2つの新しい崩壊に基づくプルーニング法,すなわち「プルーニングマスク崩壊」と「スパース構造崩壊」を提案する。 評価の結果,提案手法は非構造空間に匹敵する精度のSOTA(State-of-the-art)モデルを実現することがわかった。
  論文  参考訳（メタデータ） (2022-09-15T21:30:55Z)
• Controlled Sparsity via Constrained Optimization or: How I Learned to Stop Tuning Penalties and Love Constraints [81.46143788046892]
  スパースラーニングを行う際には,スパーシティのレベルを制御するタスクに焦点をあてる。 スパーシリティを誘発する罰則に基づく既存の方法は、ペナルティファクターの高価な試行錯誤チューニングを含む。 本稿では,学習目標と所望のスパーシリティ目標によって,エンドツーエンドでスペーシフィケーションをガイドする制約付き定式化を提案する。
  論文  参考訳（メタデータ） (2022-08-08T21:24:20Z)
• Sparsity Winning Twice: Better Robust Generalization from More Efficient Training [94.92954973680914]
  スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。 いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。 我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
  論文  参考訳（メタデータ） (2022-02-20T15:52:08Z)
• Growing Efficient Deep Networks by Structured Continuous Sparsification [34.7523496790944]
  私たちは、トレーニングの過程でディープネットワークアーキテクチャを成長させるアプローチを開発します。 我々の手法は、小さくてシンプルなシードアーキテクチャから始まり、動的に成長し、層とフィルタの両方を熟成することができる。 ImageNetのベースラインであるResNet-50と比較すると、推論FLOPは49.7%、トレーニングFLOPは47.4%である。
  論文  参考訳（メタデータ） (2020-07-30T10:03:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。