論文の概要: Breaking the Compression Barrier: Cross-Architecture Compression Boundary Learning via Reverse Regrowth

• arxiv url: http://arxiv.org/abs/2608.16010v1
• Date: Mon, 17 Aug 2026 01:59:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.501528
• Title: Breaking the Compression Barrier: Cross-Architecture Compression Boundary Learning via Reverse Regrowth
• Title（参考訳）: 圧縮障壁を破る - 逆回帰によるクロスアーキテクチャ圧縮境界学習
• Abstract要約: 本稿では,境界探索問題として圧縮を再構成する境界学習逆フレームワークBRIDGEを提案する。 提案手法はまず, 崩壊領域を公開するために, 極めて希薄な状態にモデルを駆動し, 臨界構造を選択的に再生し, 性能を回復する。 実験により,本手法はCNNとTransformerアーキテクチャの両方において,崩壊の瀬戸際からモデルを復元可能であることが示された。
• 参考スコア（独自算出の注目度）: 1.454787329315493
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model compression is critical for deploying networks on resource-constrained edge devices. While pruning-based methods can significantly reduce model size, they often suffer from abrupt performance collapse beyond a sparsity thresh-old, making it difficult to identify the feasible compression limit of the model. To address this challenge, we propose a boundary-Learning reverse regrowth framework, BRIDGE, that reformulates compression as a constructive boundary-search problem. Unlike forward pruning, our method first drives the model to an extremely sparse state to expose the collapse region, and then selectively regenerates the critical structure to restore performance. The proposed framework employs a hierarchical regeneration strategy, including coarse-grained layer selection and fine-grained regeneration parameter selection, to accurately identify which parameters require recovery. Experiments show that our method can recover models from the brink of collapse on both CNNs and Transformer architectures, demonstrating its architecture in-dependence. BRIDGE achieves a performance improvement of up to 1.49% in unstructured pruning and up to 4.77% in structured pruning. These results demonstrate that reverse regeneration can effectively extend the compression limit while maintaining stable performance. The source code is available at https://github.com/EnumaCaliber/BRIDGE.
• Abstract（参考訳）: モデル圧縮は、リソース制約のあるエッジデバイスにネットワークをデプロイするために重要である。 プルーニングベースの手法はモデルサイズを大幅に削減できるが、しばしばスレッシュ古いスレッシュ以上の急激な性能低下に悩まされるため、モデルの実行可能な圧縮限界を特定することは困難である。 この課題に対処するために,構成的境界探索問題として圧縮を再構成する境界学習逆成長フレームワークBRIDGEを提案する。 フォワードプルーニングとは異なり, 本手法はまず, 崩壊領域を公開するために, 極めてスパースな状態にモデルを駆動し, 臨界構造を選択的に再生して性能を回復する。 提案手法では, 粗粒層選択と微細粒層再生パラメータ選択を含む階層的再生戦略を用いて, 回復に必要なパラメータを正確に同定する。 実験により,本手法はCNNとTransformerアーキテクチャの両アーキテクチャの崩壊の瀬戸際からモデルを復元し,そのアーキテクチャの依存性を実証する。 BRIDGEは非構造化プルーニングで1.49%、構造化プルーニングで4.77%の性能向上を実現している。 これらの結果から, 逆再生は圧縮限界を効果的に拡張し, 安定性能を維持できることが示唆された。 ソースコードはhttps://github.com/EnumaCaliber/BRIDGEで入手できる。

関連論文リスト

• Beyond One-Way Pruning: Bidirectional Pruning-Regrowth for Extreme Accuracy-Sparsity Tradeoff [7.1603511160472]
  スパシティが一定の閾値を超えると、反復的およびワンショットプルーニング法の両方がモデル性能の急激な低下につながる。 この急激な劣化は、達成可能な圧縮比を制限し、特定のハードウェアプラットフォームに必要な厳密なサイズ制約を満たすことを防ぐ。 ハードウェア制約を満たす高度に圧縮されたネットワークから始まる双方向のプルーニング・リグロース戦略を提案する。
  論文  参考訳（メタデータ） (2025-11-11T21:22:29Z)
• Pathology Image Compression with Pre-trained Autoencoders [52.208181380986524]
  デジタル病理学における全スライド画像は、記憶、伝達、計算効率の面で大きな課題をもたらす。 JPEGのような標準的な圧縮手法はファイルサイズを小さくするが、下流のタスクに不可欠な微細な表現型の詳細を保存できない。 本研究では,遅延拡散モデル用に設計されたオートエンコーダ(AE)を,病理画像の効率的な学習圧縮フレームワークとして再利用する。
  論文  参考訳（メタデータ） (2025-03-14T17:01:17Z)
• Choose Your Model Size: Any Compression of Large Language Models Without Re-Computation [10.376875638696504]
  本研究は, 圧縮性能トレードオフを決定するアルゴリズム手法であるACIP (Any Compression via Iterative Pruning) を提案する。 線形層をSVDで再パラメータ化し,その特異値をスペーサ性誘導ペナルティで反復的にプルーする。 本稿では,ACIPが共通量子化に基づく圧縮手法をシームレスに補完することを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:40:58Z)
• Reconstruct the Pruned Model without Any Retraining [23.235907813011174]
  本稿では,線形補間に基づく適応再構成(LIAR)フレームワークを提案する。 LIARはバックプロパゲーションや再トレーニングを必要とせず、様々なプルーニング基準やモジュールと互換性がある。 GLUE, SQuAD, WikiText, 常識推論などのベンチマークによる評価の結果, LIARはパラメータの50%を除去しても, 98%の精度でBERTモデルを維持できることがわかった。
  論文  参考訳（メタデータ） (2024-07-18T09:30:44Z)
• LaCo: Large Language Model Pruning via Layer Collapse [56.92068213969036]
  トランスフォーマーに基づく大規模言語モデル(LLM)は、サイズ拡大の顕著な傾向を目撃している。 モデル量子化、知識蒸留、モデルプルーニングといった既存の手法は、様々な問題によって制約されている。 後部モデル層が前層に崩壊する「textitLayer Collapse (LaCo)」と呼ばれる簡潔な層構造プルーナーを提案する。
  論文  参考訳（メタデータ） (2024-02-17T04:16:30Z)
• Lightweight Diffusion Models with Distillation-Based Block Neural Architecture Search [55.41583104734349]
  拡散蒸留に基づくブロックワイドニューラルネットワークサーチ(NAS)により拡散モデルの構造的冗長性を自動的に除去することを提案する。 事前訓練を受けた教師がより多い場合、DiffNASを利用して、教師よりもパフォーマンスが良い最小限のアーキテクチャを探索する。 従来のブロックワイズNAS法とは異なり、DiffNASはブロックワイズ局所探索戦略と、関節ダイナミックロスを伴う再訓練戦略を含んでいる。
  論文  参考訳（メタデータ） (2023-11-08T12:56:59Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Attentive Fine-Grained Structured Sparsity for Image Restoration [63.35887911506264]
  N:M 構造化プルーニングは,モデルの精度制約を効率的にするための効果的かつ実用的なプルーニング手法の1つである。 そこで本稿では, 各層におけるN:M構造化空間の刈り取り比を決定する新しい刈り取り法を提案する。
  論文  参考訳（メタデータ） (2022-04-26T12:44:55Z)
• Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization [1.8579693774597708]
  低ランクテンソル分解を用いた事前学習ネットワークを圧縮するモデル削減手法を提案する。 圧縮中の重要でない要因を抑えるために, ファンネル関数と呼ばれる新しい正規化法を提案する。 ImageNet2012のResNet18では、GMACの精度は0.7%に過ぎず、Top-1の精度はわずかに低下する。
  論文  参考訳（メタデータ） (2021-12-07T13:41:51Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Successive Pruning for Model Compression via Rate Distortion Theory [15.598364403631528]
  NN圧縮を情報理論的手法を用いて検討し, NN圧縮の理論的限界を達成するために, 速度歪み理論がプルーニングを示唆していることを示す。 我々の導出は、新しいプルーニング戦略を含むエンドツーエンドの圧縮パイプラインも提供する。 本手法は,既存のプルーニング戦略を一貫して上回り,プルーニングモデルのサイズを2.5倍小さくする。
  論文  参考訳（メタデータ） (2021-02-16T18:17:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。