論文の概要: HASTE: A Framework for Training-Free, Dynamic, and Steerable Compression of Pre-Trained Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2606.30516v1
• Date: Mon, 29 Jun 2026 16:24:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.32889
• Title: HASTE: A Framework for Training-Free, Dynamic, and Steerable Compression of Pre-Trained Convolutional Neural Networks
• Title（参考訳）: HASTE: 事前学習型畳み込みニューラルネットワークの学習自由,動的,静的圧縮のためのフレームワーク
• Authors: Lukas Meiner, Jens Mehnert, Alexandru Paul Condurache,
• Abstract要約: HASTE(Hashing for Tractable Efficiency)は,大規模CNNの学習不要で動的に圧縮できる,プラグアンドプレイのコンボリューションモジュールである。 推論時には、HASTEはローカリティに敏感なハッシュを使用して、パッチワイズベースで潜在フィーチャーマップの冗長なチャネルを特定し、マージする。 我々は,CIFAR-10上のResNet34の46.2%のFLOPを1.25%の精度で,CIFAR-10とImageNetの広範な実験を行った。
• 参考スコア（独自算出の注目度）: 45.63830993050021
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deploying large convolutional neural networks (CNNs) on resource-constrained devices is challenging due to their high computational cost. While dynamic execution methods are promising, existing approaches for CNNs typically require specialized training or fine-tuning, limiting their effectiveness when applied to pre-trained models and requiring data access. To address this gap, we propose HASTE (Hashing for Tractable Efficiency), a plug-and-play convolution module that enables training-free, dynamic compression of large pre-trained CNNs. At inference time, HASTE uses locality-sensitive hashing to identify and merge redundant channels of latent feature maps on a patch-wise basis. This process simultaneously compresses the depth of both input features and their corresponding filters, resulting in computationally cheaper convolutions. We conduct extensive experiments on CIFAR-10 and ImageNet across a range of architectures, demonstrating a 46.2% FLOPs reduction in a ResNet34 on CIFAR-10 with only a 1.25% drop in accuracy, without any retraining. We support our claims by comprehensive ablation studies to validate our core design choices, an analysis of the method's properties and limitations, and a discussion that connects our channel merging scheme to the conceptually related task of token merging in Vision Transformers. Our results demonstrate that HASTE provides an effective solution for steerable compression of pre-trained CNNs at runtime, opening new possibilities for the deployment of efficient deep learning methods.
• Abstract（参考訳）: リソース制約のあるデバイスに大規模な畳み込みニューラルネットワーク(CNN)をデプロイすることは、計算コストが高いため、難しい。 動的実行メソッドは有望だが、既存のCNNのアプローチでは、通常、特別なトレーニングや微調整が必要であり、事前訓練されたモデルに適用された場合の有効性を制限し、データアクセスを必要とする。 このギャップに対処するために,大規模な訓練済みCNNの学習不要で動的に圧縮できるHASTE (Hashing for Tractable Efficiency) というプラグイン・アンド・プレイ・コンボリューション・モジュールを提案する。 推論時には、HASTEはローカリティに敏感なハッシュを使用して、パッチワイズベースで潜在フィーチャーマップの冗長なチャネルを特定し、マージする。 このプロセスは、入力特徴とその対応するフィルタの深さを同時に圧縮し、計算的により安価な畳み込みをもたらす。 CIFAR-10上のResNet34の46.2%のFLOPを1.25%の精度で再トレーニングすることなく、CIFAR-10とImageNetの広範な実験を行った。 我々は、コア設計の選択を検証するための包括的なアブレーション研究、手法の特性と限界の分析、およびチャンネルマージスキームをビジョントランスフォーマーにおけるトークンマージという概念的に関連するタスクに結びつける議論によって、クレームをサポートします。 以上の結果から,HASTEは,実行時に事前学習したCNNをステアブルに圧縮する有効なソリューションであり,効率的なディープラーニング手法の展開に新たな可能性を開くことが示唆された。

関連論文リスト

• Accelerating Distributed Deep Learning using Lossless Homomorphic Compression [17.654138014999326]
  本稿では,ワーカレベルの圧縮とネットワーク内アグリゲーションを効果的に融合する新しい圧縮アルゴリズムを提案する。 集約のスループットが6.33$times$改善され、イテレーションごとのトレーニング速度が3.74$times$アップします。
  論文  参考訳（メタデータ） (2024-02-12T09:57:47Z)
• Dynamic Semantic Compression for CNN Inference in Multi-access Edge Computing: A Graph Reinforcement Learning-based Autoencoder [82.8833476520429]
  部分オフロードにおける効果的な意味抽出と圧縮のための新しい意味圧縮手法であるオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。 セマンティックエンコーダでは、CNNのチャネルアテンション機構に基づく特徴圧縮モジュールを導入し、最も情報性の高い特徴を選択して中間データを圧縮する。 セマンティックデコーダでは、受信した圧縮データから学習して中間データを再構築し、精度を向上させる軽量デコーダを設計する。
  論文  参考訳（メタデータ） (2024-01-19T15:19:47Z)
• Convolutional Neural Network Compression via Dynamic Parameter Rank Pruning [4.7027290803102675]
  動的パラメータランクプルーニングによるCNN圧縮の効率的なトレーニング手法を提案する。 提案手法は, 分類性能の維持や向上を図りながら, かなりの蓄えを得られることを示す。
  論文  参考訳（メタデータ） (2024-01-15T23:52:35Z)
• Data-Free Dynamic Compression of CNNs for Tractable Efficiency [46.498278084317704]
  構造化プルーニング手法は, 精度が大幅に低下することなく浮動小数点演算を低下させる可能性を示唆している。 HASTE(Hashing for Tractable Efficiency)は,データフリーでプラグイン・アンド・プレイのコンボリューションモジュールで,トレーニングや微調整なしにネットワークのテスト時間推論コストを瞬時に低減する。 CIFAR-10とImageNetでは46.72%のFLOPを1.25%の精度で削減した。
  論文  参考訳（メタデータ） (2023-09-29T13:09:40Z)
• Transferability of Convolutional Neural Networks in Stationary Learning Tasks [96.00428692404354]
  本稿では,大規模な空間問題に対する畳み込みニューラルネットワーク(CNN)の効率的なトレーニングのための新しいフレームワークを提案する。 このような信号の小さなウィンドウで訓練されたCNNは、再学習することなく、はるかに大きなウィンドウでほぼ性能を発揮することを示す。 以上の結果から,CNNは10人未満の訓練を受けた後,数百人のエージェントによる問題に対処できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-21T13:51:45Z)
• Attention-based Feature Compression for CNN Inference Offloading in Edge Computing [93.67044879636093]
  本稿では,デバイスエッジ共振器におけるCNN推論の計算負荷について検討する。 エンドデバイスにおける効率的な特徴抽出のための新しいオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。 実験の結果、AECNNは中間データを約4%の精度で256倍圧縮できることがわかった。
  論文  参考訳（メタデータ） (2022-11-24T18:10:01Z)
• Learning in Feedback-driven Recurrent Spiking Neural Networks using full-FORCE Training [4.124948554183487]
  本稿では,トレーニング中にのみ第2のネットワークを導入するRSNNの教師付きトレーニング手順を提案する。 提案したトレーニング手順は、リカレント層とリードアウト層の両方のターゲットを生成することで構成される。 本研究では,8つの力学系をモデル化するためのフルFORCEトレーニング手法の性能向上とノイズ堅牢性を示す。
  論文  参考訳（メタデータ） (2022-05-26T19:01:19Z)
• Compact CNN Structure Learning by Knowledge Distillation [34.36242082055978]
  知識蒸留とカスタマイズ可能なブロックワイズ最適化を活用し、軽量なCNN構造を学習するフレームワークを提案する。 提案手法は,予測精度の向上を図りながら,アートネットワーク圧縮の状態を再現する。 特に,すでにコンパクトなネットワークであるMobileNet_v2では,モデル圧縮が最大2倍,モデル圧縮が5.2倍向上する。
  論文  参考訳（メタデータ） (2021-04-19T10:34:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。