論文の概要: Beyond One-Way Pruning: Bidirectional Pruning-Regrowth for Extreme Accuracy-Sparsity Tradeoff

• arxiv url: http://arxiv.org/abs/2511.11675v1
• Date: Tue, 11 Nov 2025 21:22:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:22.896479
• Title: Beyond One-Way Pruning: Bidirectional Pruning-Regrowth for Extreme Accuracy-Sparsity Tradeoff
• Title（参考訳）: ワンウェイ・プルーニングを超えて:極端精度・スパーシティトレードオフのための双方向・プルーニング・リグロース
• Authors: Junchen Liu, Yi Sheng,
• Abstract要約: スパシティが一定の閾値を超えると、反復的およびワンショットプルーニング法の両方がモデル性能の急激な低下につながる。 この急激な劣化は、達成可能な圧縮比を制限し、特定のハードウェアプラットフォームに必要な厳密なサイズ制約を満たすことを防ぐ。 ハードウェア制約を満たす高度に圧縮されたネットワークから始まる双方向のプルーニング・リグロース戦略を提案する。
• 参考スコア（独自算出の注目度）: 7.1603511160472
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a widely adopted model compression technique, model pruning has demonstrated strong effectiveness across various architectures. However, we observe that when sparsity exceeds a certain threshold, both iterative and one-shot pruning methods lead to a steep decline in model performance. This rapid degradation limits the achievable compression ratio and prevents models from meeting the stringent size constraints required by certain hardware platforms, rendering them inoperable. To overcome this limitation, we propose a bidirectional pruning-regrowth strategy. Starting from an extremely compressed network that satisfies hardware constraints, the method selectively regenerates critical connections to recover lost performance, effectively mitigating the sharp accuracy drop commonly observed under high sparsity conditions.
• Abstract（参考訳）: 広く採用されているモデル圧縮技術として、モデルプルーニングは様々なアーキテクチャで大きな効果を発揮している。 しかし, あるしきい値を超えた場合, 反復的および一発的プルーニング法は, モデル性能の急激な低下を招いた。 この急激な劣化は、達成可能な圧縮比を制限し、特定のハードウェアプラットフォームで要求される厳密なサイズ制約を満たすことを防止し、それらを操作不能にする。 この制限を克服するために、双方向のプルーニング・リグロース戦略を提案する。 ハードウェア制約を満たす高度に圧縮されたネットワークから、重要接続を選択的に再生し、損失性能を回復し、高空間条件下でよく見られるシャープな精度低下を効果的に軽減する。

関連論文リスト

• Integrating Pruning with Quantization for Efficient Deep Neural Networks Compression [0.0]
  プルーニングと量子化は、モデルのサイズを減らし、処理速度を向上させるために広く使われている圧縮技術である。 本稿では,類似性に基づくフィルタプルーニングとアダプティブ・パワー・オブ・ツー(APoT)量子化を統合し,高い圧縮効率を実現する2つの手法を提案する。 実験により,提案手法は精度の低下を最小限に抑え,効率的なモデル圧縮を実現することを示す。
  論文  参考訳（メタデータ） (2025-09-04T14:17:28Z)
• Choose Your Model Size: Any Compression of Large Language Models Without Re-Computation [10.376875638696504]
  本研究は, 圧縮性能トレードオフを決定するアルゴリズム手法であるACIP (Any Compression via Iterative Pruning) を提案する。 線形層をSVDで再パラメータ化し,その特異値をスペーサ性誘導ペナルティで反復的にプルーする。 本稿では,ACIPが共通量子化に基づく圧縮手法をシームレスに補完することを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:40:58Z)
• Efficient Fine-Tuning and Concept Suppression for Pruned Diffusion Models [93.76814568163353]
  本稿では,2段階の拡散モデルに対する新しい最適化フレームワークを提案する。 このフレームワークは、微調整と未学習のプロセスを統一的なフェーズに統合する。 様々なプルーニングや概念未学習の手法と互換性がある。
  論文  参考訳（メタデータ） (2024-12-19T19:13:18Z)
• Convex Distillation: Efficient Compression of Deep Networks via Convex Optimization [46.18363767705346]
  リソース制約のあるデバイスに大規模で複雑な凸ネットワークを配置することは、その要求のために大きな課題となった。 本稿では,本モデルを用いてモデルを効率よく圧縮する新しい蒸留技術を紹介する。 当社のアプローチでは,後処理を必要とせずに,オリジナルモデルに匹敵するパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-10-09T06:04:52Z)
• Learning Accurate Performance Predictors for Ultrafast Automated Model Compression [86.22294249097203]
  フレキシブルネットワーク展開のための超高速自動モデル圧縮フレームワークSeerNetを提案する。 本手法は,探索コストを大幅に削減した競合精度・複雑度トレードオフを実現する。
  論文  参考訳（メタデータ） (2023-04-13T10:52:49Z)
• Controlled Sparsity via Constrained Optimization or: How I Learned to Stop Tuning Penalties and Love Constraints [81.46143788046892]
  スパースラーニングを行う際には,スパーシティのレベルを制御するタスクに焦点をあてる。 スパーシリティを誘発する罰則に基づく既存の方法は、ペナルティファクターの高価な試行錯誤チューニングを含む。 本稿では,学習目標と所望のスパーシリティ目標によって,エンドツーエンドでスペーシフィケーションをガイドする制約付き定式化を提案する。
  論文  参考訳（メタデータ） (2022-08-08T21:24:20Z)
• Attentive Fine-Grained Structured Sparsity for Image Restoration [63.35887911506264]
  N:M 構造化プルーニングは,モデルの精度制約を効率的にするための効果的かつ実用的なプルーニング手法の1つである。 そこで本稿では, 各層におけるN:M構造化空間の刈り取り比を決定する新しい刈り取り法を提案する。
  論文  参考訳（メタデータ） (2022-04-26T12:44:55Z)
• Sparse Progressive Distillation: Resolving Overfitting under Pretrain-and-Finetune Paradigm [7.662952656290564]
  トランスフォーマーベースの言語モデルのフットプリント要求を減らすために、様々なプルーニング手法が提案されている。 オーバーフィッティングのリスクを減らすことが,プレトレイン・アンド・ファインチューンパラダイムの下での刈り込みの有効性を初めて示す。
  論文  参考訳（メタデータ） (2021-10-15T16:42:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。