論文の概要: Compression Aware Certified Training

• arxiv url: http://arxiv.org/abs/2506.11992v1
• Date: Fri, 13 Jun 2025 17:48:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 17:50:49.906077
• Title: Compression Aware Certified Training
• Title（参考訳）: 圧縮認識訓練
• Authors: Changming Xu, Gagandeep Singh,
• Abstract要約: 既存の方法は圧縮と証明された堅牢性を別々の目標として扱い、効率性または安全性を損なう。 我々は、これらの目標を訓練中に統一するための一般的なフレームワークであるCACTUSを提案する。 我々は, CACTUS をプルーニングと量子化の両方に適用し, 効率的に圧縮可能なモデルを効果的に訓練することを示した。
• 参考スコア（独自算出の注目度）: 4.456428506059651
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks deployed in safety-critical, resource-constrained environments must balance efficiency and robustness. Existing methods treat compression and certified robustness as separate goals, compromising either efficiency or safety. We propose CACTUS (Compression Aware Certified Training Using network Sets), a general framework for unifying these objectives during training. CACTUS models maintain high certified accuracy even when compressed. We apply CACTUS for both pruning and quantization and show that it effectively trains models which can be efficiently compressed while maintaining high accuracy and certifiable robustness. CACTUS achieves state-of-the-art accuracy and certified performance for both pruning and quantization on a variety of datasets and input specifications.
• Abstract（参考訳）: 安全クリティカルでリソースに制約のある環境で展開されるディープニューラルネットワークは、効率性と堅牢性のバランスをとる必要がある。 既存の方法は圧縮と証明された堅牢性を別々の目標として扱い、効率性または安全性を損なう。 CACTUS (Compression Aware Certified Training Using Network Sets) は,これらの学習目的を統一するための一般的なフレームワークである。 CACTUSモデルは圧縮しても高い精度を維持している。 我々は, CACTUS をプルーニングと量子化の両方に適用し, 高精度で信頼性の高いロバスト性を保ちながら, 効率的に圧縮できるモデルを効果的に訓練することを示した。 CACTUSは、様々なデータセットと入力仕様のプルーニングと量子化の両方に対して、最先端の精度と認定された性能を達成する。

関連論文リスト

• Efficient Token Compression for Vision Transformer with Spatial Information Preserved [59.79302182800274]
  トーケン圧縮は、トランスモデルの計算およびメモリ要求の低減に不可欠である。 本稿では,Prune と Merge という,効率的なハードウェア互換のトークン圧縮手法を提案する。
  論文  参考訳（メタデータ） (2025-03-30T14:23:18Z)
• PYRA: Parallel Yielding Re-Activation for Training-Inference Efficient Task Adaptation [61.57833648734164]
  本稿では, PYRA(Parallel Yielding Re-Activation)法を提案する。 PYRAは低圧縮率と高圧縮率の両方で競合する全ての手法より優れている。
  論文  参考訳（メタデータ） (2024-03-14T09:06:49Z)
• Adaptive Certified Training: Towards Better Accuracy-Robustness Tradeoffs [17.46692880231195]
  本稿では,適応型認定ラジイを用いたトレーニングがモデルの精度と堅牢性の向上に役立つというキーインサイトに基づく,新しい認定トレーニング手法を提案する。 提案手法の有効性を,MNIST,CIFAR-10,TinyImageNetデータセットに示す。
  論文  参考訳（メタデータ） (2023-07-24T18:59:46Z)
• Augment then Smooth: Reconciling Differential Privacy with Certified Robustness [32.49465965847842]
  標準偏差プライベートモデルトレーニングは,信頼性の高いロバスト性保証を提供するには不十分であることを示す。 本稿では,プライバシとロバスト性の両方を同時に実現する,シンプルで効果的なDP-CERTを提案する。
  論文  参考訳（メタデータ） (2023-06-14T17:52:02Z)
• CrAFT: Compression-Aware Fine-Tuning for Efficient Visual Task Adaptation [3.043665249713003]
  プルーニングや量子化といったポストトレーニング後の圧縮技術は、デプロイメントコストの削減に役立つ。 本稿では,ネットワーク圧縮を効果的に訓練するフレームワークCrAFTを提案する。 CrAFTアプローチは、単一のGPUで数分または数時間以内に微調整を行うため、無視可能なトレーニングオーバーヘッドを追加する。
  論文  参考訳（メタデータ） (2023-05-08T07:51:40Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• Beyond Preserved Accuracy: Evaluating Loyalty and Robustness of BERT Compression [49.288196234823005]
  本稿では,圧縮モデルがオリジナルのモデルにどの程度近いかを測定するため,ラベル忠実度と確率忠誠度という2つの新しい指標を提案する。 また,敵攻撃時の強靭性に対する圧縮の効果についても検討した。
  論文  参考訳（メタデータ） (2021-09-07T17:55:47Z)
• Regularized Training and Tight Certification for Randomized Smoothed Classifier with Provable Robustness [15.38718018477333]
  我々は新たな正規化リスクを導出し、正規化器はスムーズな手法の精度と堅牢性を適応的に促進することができる。 また、正規化効果を利用して、高い確率で保持されるより厳密なロバスト性の下限を提供する新しい認証アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2020-02-17T20:54:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。