論文の概要: Dynamical Low-Rank Compression of Neural Networks with Robustness under Adversarial Attacks
- arxiv url: http://arxiv.org/abs/2505.08022v1
- Date: Mon, 12 May 2025 19:46:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-14 20:57:54.318424
- Title: Dynamical Low-Rank Compression of Neural Networks with Robustness under Adversarial Attacks
- Title（参考訳）: 対向攻撃時のロバスト性を有するニューラルネットワークの動的低ランク圧縮
- Authors: Steffen Schotthöfer, H. Lexie Yang, Stefan Schnake,
- Abstract要約: 本稿では,各層における低ランクコアの条件数を制御する新しいスペクトル正規化器によって強化された低ランクトレーニング手法を提案する。
提案手法は, クリーンな精度を犠牲にすることなく, 対向摂動に対する圧縮モデルの感度を緩和する。
- 参考スコア（独自算出の注目度）: 1.7068557927955383
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deployment of neural networks on resource-constrained devices demands models that are both compact and robust to adversarial inputs. However, compression and adversarial robustness often conflict. In this work, we introduce a dynamical low-rank training scheme enhanced with a novel spectral regularizer that controls the condition number of the low-rank core in each layer. This approach mitigates the sensitivity of compressed models to adversarial perturbations without sacrificing clean accuracy. The method is model- and data-agnostic, computationally efficient, and supports rank adaptivity to automatically compress the network at hand. Extensive experiments across standard architectures, datasets, and adversarial attacks show the regularized networks can achieve over 94% compression while recovering or improving adversarial accuracy relative to uncompressed baselines.
- Abstract（参考訳）: リソース制約のあるデバイスにニューラルネットワークをデプロイするには、コンパクトで、敵の入力に対して堅牢なモデルが必要である。
しかし、圧縮と敵の堅牢性はしばしば矛盾する。
本研究では,各層における低ランクコアの条件数を制御する新しいスペクトル正規化器によって強化された動的低ランクトレーニング手法を提案する。
提案手法は, クリーンな精度を犠牲にすることなく, 対向摂動に対する圧縮モデルの感度を緩和する。
この方法は、モデルとデータに依存しない、計算的に効率的であり、手前のネットワークを自動的に圧縮するためのランク適応性をサポートする。
標準アーキテクチャ、データセット、および敵攻撃にわたる大規模な実験は、正規化されたネットワークが94%以上の圧縮を達成でき、非圧縮ベースラインに対する敵の精度を回復または改善できることを示している。
関連論文リスト
- Theoretical Guarantees for Low-Rank Compression of Deep Neural Networks [5.582683296425384]
ディープニューラルネットワークは多くのアプリケーションで最先端のパフォーマンスを実現している。
低ランク近似技術は、これらのネットワークのサイズと複雑さを減らし、有望な解決策を提供する。
我々は、データ駆動の低ランク圧縮のための分析フレームワークを開発した。
論文 参考訳（メタデータ） (2025-02-04T23:10:13Z) - Holistic Adversarially Robust Pruning [15.760568867982903]
我々は、各層に固有のパラメータ(圧縮率)とどのパラメータ(装飾接続)を個別にプーンするかを最適化するグローバル圧縮戦略を学習する。
本手法は,異なる目的のバランスをとる段階的な漸進関数に従って,動的正則化を伴う既存モデルを微調整する。
学習した圧縮戦略により、トレーニング済みのモデルの自然な精度と、ネットワーク元のサイズの99%削減のための対角的ロバスト性を維持することができる。
論文 参考訳（メタデータ） (2024-12-19T10:25:21Z) - Robust low-rank training via approximate orthonormal constraints [2.519906683279153]
低ランク行列多様体上でネットワークの重みを維持する頑健な低ランク学習アルゴリズムを導入する。
その結果, モデル精度を損なうことなく, トレーニングコストと推論コストを低減し, 良好な条件設定を実現し, 対向ロバスト性を向上する。
論文 参考訳（メタデータ） (2023-06-02T12:22:35Z) - Backdoor Attacks Against Deep Image Compression via Adaptive Frequency
Trigger [106.10954454667757]
本稿では,学習画像圧縮モデルに対する複数のトリガーを用いたバックドアアタックを提案する。
既存の圧縮システムや標準で広く使われている離散コサイン変換(DCT)に動機付けられ,周波数ベースのトリガーインジェクションモデルを提案する。
論文 参考訳（メタデータ） (2023-02-28T15:39:31Z) - Learning Robust Kernel Ensembles with Kernel Average Pooling [3.6540368812166872]
本稿では,階層活性化テンソルのカーネル次元に沿って平均フィルタを適用するニューラルネットワーク構築ブロックであるKernel Average Pooling(KAP)を紹介する。
類似機能を持つカーネルのアンサンブルは、KAPを装備した畳み込みニューラルネットワークにおいて自然に出現し、バックプロパゲーションで訓練されることを示す。
論文 参考訳（メタデータ） (2022-09-30T19:49:14Z) - Interpolated Joint Space Adversarial Training for Robust and
Generalizable Defenses [82.3052187788609]
敵の訓練(AT)は、敵の攻撃に対する最も信頼できる防御の1つと考えられている。
近年の研究では、新たな脅威モデルの下での対向サンプルによる一般化の改善が示されている。
我々は、JSTM(Joint Space Threat Model)と呼ばれる新しい脅威モデルを提案する。
JSTMでは,新たな敵攻撃・防衛手法が開発されている。
論文 参考訳（メタデータ） (2021-12-12T21:08:14Z) - LCS: Learning Compressible Subspaces for Adaptive Network Compression at
Inference Time [57.52251547365967]
本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。
構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。
我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
論文 参考訳（メタデータ） (2021-10-08T17:03:34Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳（メタデータ） (2021-02-23T20:59:30Z) - Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness [97.67477497115163]
我々は、モード接続を用いて、ディープニューラルネットワークの対角的堅牢性を研究する。
実験では、異なるネットワークアーキテクチャやデータセットに適用される様々な種類の敵攻撃について取り上げる。
以上の結果から,モード接続は,敵の強靭性を評価・改善するための総合的なツールであり,実用的な手段であることが示唆された。
論文 参考訳（メタデータ） (2020-04-30T19:12:50Z) - Structured Sparsification with Joint Optimization of Group Convolution
and Channel Shuffle [117.95823660228537]
本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。
提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。
また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
論文 参考訳（メタデータ） (2020-02-19T12:03:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。