論文の概要: Safety and Performance, Why not Both? Bi-Objective Optimized Model
Compression toward AI Software Deployment
- arxiv url: http://arxiv.org/abs/2208.05969v1
- Date: Thu, 11 Aug 2022 04:41:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-15 13:54:12.230999
- Title: Safety and Performance, Why not Both? Bi-Objective Optimized Model
Compression toward AI Software Deployment
- Title（参考訳）: 安全とパフォーマンス - なぜ両方ではないのか?
AIソフトウェア展開に向けた双方向最適化モデル圧縮
- Authors: Jie Zhu, Leye Wang, Xiao Han
- Abstract要約: ハイパフォーマンスを維持しながらモデルサイズを圧縮することを目的として、AIソフトウェア圧縮が重要な役割を果たす。
本稿では,安全性と性能の両立の観点から,安全なモデル圧縮問題に対処する。
具体的には、ソフトウェアエンジニアリングにおけるテスト駆動開発(TDD)パラダイムにヒントを得て、SafeCompressというテスト駆動スパーストレーニングフレームワークを提案します。
- 参考スコア（独自算出の注目度）: 12.153709321048947
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The size of deep learning models in artificial intelligence (AI) software is
increasing rapidly, which hinders the large-scale deployment on
resource-restricted devices (e.g., smartphones). To mitigate this issue, AI
software compression plays a crucial role, which aims to compress model size
while keeping high performance. However, the intrinsic defects in the big model
may be inherited by the compressed one. Such defects may be easily leveraged by
attackers, since the compressed models are usually deployed in a large number
of devices without adequate protection. In this paper, we try to address the
safe model compression problem from a safety-performance co-optimization
perspective. Specifically, inspired by the test-driven development (TDD)
paradigm in software engineering, we propose a test-driven sparse training
framework called SafeCompress. By simulating the attack mechanism as the safety
test, SafeCompress can automatically compress a big model to a small one
following the dynamic sparse training paradigm. Further, considering a
representative attack, i.e., membership inference attack (MIA), we develop a
concrete safe model compression mechanism, called MIA-SafeCompress. Extensive
experiments are conducted to evaluate MIA-SafeCompress on five datasets for
both computer vision and natural language processing tasks. The results verify
the effectiveness and generalization of our method. We also discuss how to
adapt SafeCompress to other attacks besides MIA, demonstrating the flexibility
of SafeCompress.
- Abstract（参考訳）: 人工知能(AI)ソフトウェアにおけるディープラーニングモデルのサイズは急速に増加しており、リソース制限されたデバイス(例えばスマートフォン)への大規模な展開を妨げる。
この問題を軽減するため、AIソフトウェア圧縮は、高性能を維持しながらモデルサイズを圧縮することを目的として、重要な役割を果たす。
しかし、大きなモデルに内在する欠陥は圧縮されたモデルに受け継がれるかもしれない。
圧縮モデルは通常、適切な保護なしに多数のデバイスにデプロイされるため、このような欠陥は攻撃者によって容易に利用することができる。
本稿では,安全性能の協調最適化の観点から,安全なモデル圧縮問題に対処する。
具体的には,ソフトウェア工学におけるテスト駆動開発(tdd)パラダイムに着想を得て,safecompressと呼ばれるテスト駆動スパーストレーニングフレームワークを提案する。
安全テストとして攻撃機構をシミュレートすることで、SafeCompressは、ダイナミックスパーストレーニングパラダイムに従って、大きなモデルを小さなものに自動的に圧縮することができる。
さらに、代表攻撃、すなわちメンバーシップ推論攻撃(mia)を考えると、mia-safecompressと呼ばれる具体的な安全なモデル圧縮機構を開発する。
MIA-SafeCompressをコンピュータビジョンと自然言語処理の両方の5つのデータセットで評価するために、大規模な実験を行った。
その結果,本手法の有効性と一般化が検証された。
SafeCompressをMIA以外の攻撃に適応させる方法についても議論し、SafeCompressの柔軟性を示す。
関連論文リスト
- Beyond Perplexity: Multi-dimensional Safety Evaluation of LLM Compression [33.45167213570976]
モデル圧縮が4次元に与える影響について検討する:(1)退化障害、すなわち、世代におけるバイアスと毒性、(2)表現障害、すなわち、識別的タスクにおけるバイアス、(3)方言バイアス、(4)言語モデリングと下流タスクのパフォーマンス。
解析の結果,圧縮が予期せぬ結果をもたらすことが明らかとなった。
論文 参考訳（メタデータ） (2024-07-06T05:56:22Z) - SMC++: Masked Learning of Unsupervised Video Semantic Compression [54.62883091552163]
ビデオセマンティクスを特に保持するMasked Video Modeling (MVM) を利用した圧縮フレームワークを提案する。
MVMは、マスクされたパッチ予測タスクを通じて一般化可能なセマンティクスを学ぶのに熟練している。
また、簡単なテクスチャの詳細やビットコストの浪費、セマンティックノイズなど、意味のない情報をエンコードすることもできる。
論文 参考訳（メタデータ） (2024-06-07T09:06:40Z) - PROSAC: Provably Safe Certification for Machine Learning Models under
Adversarial Attacks [20.73708921078335]
最先端の機械学習モデルは、敵の摂動によって深刻な危険にさらされる可能性がある。
本稿では,敵対的攻撃が存在する場合に,機械学習モデルの性能を証明するための新しい手法を提案する。
論文 参考訳（メタデータ） (2024-02-04T22:45:20Z) - Safety and Performance, Why Not Both? Bi-Objective Optimized Model
Compression against Heterogeneous Attacks Toward AI Software Deployment [15.803413192172037]
我々はSafeCompressと呼ばれるテスト駆動スパーストレーニングフレームワークを提案する。
攻撃メカニズムを安全性テストとしてシミュレートすることで、SafeCompressは大きなモデルを小さなものに自動的に圧縮することができる。
コンピュータビジョンと自然言語処理の両タスクのための5つのデータセットについて広範な実験を行った。
論文 参考訳（メタデータ） (2024-01-02T02:31:36Z) - Code Polymorphism Meets Code Encryption: Confidentiality and Side-Channel Protection of Software Components [0.0]
PolEnは、サイドチャネル攻撃を効果的に軽減するために、対策を組み合わせるツールチェーンとプロセッサアーキテクチャである。
コード暗号化はプロセッサ拡張によってサポートされ、マシン命令はCPU内でのみ復号化される。
プログラムの可観測環境を定期的に変更し、攻撃者が予測できないようにする。
論文 参考訳（メタデータ） (2023-10-11T09:16:10Z) - Citadel: Real-World Hardware-Software Contracts for Secure Enclaves Through Microarchitectural Isolation and Controlled Speculation [8.414722884952525]
セキュアなエンクレーブのようなハードウェアアイソレーションプリミティブは、プログラムを保護することを目的としているが、一時的な実行攻撃には弱いままである。
本稿では,マイクロアーキテクチャの分離プリミティブと制御された投機機構をプロセッサに組み込むことを提唱する。
命令外プロセッサにおいて、エンクレーブと信頼できないOS間でメモリを安全に共有する2つのメカニズムを導入する。
論文 参考訳（メタデータ） (2023-06-26T17:51:23Z) - DRSM: De-Randomized Smoothing on Malware Classifier Providing Certified
Robustness [58.23214712926585]
我々は,マルウェア検出領域の非ランダム化スムース化技術を再設計し,DRSM(De-Randomized Smoothed MalConv)を開発した。
具体的には,実行可能ファイルの局所構造を最大に保ちながら,逆数バイトの影響を確実に抑制するウィンドウアブレーション方式を提案する。
私たちは、マルウェア実行ファイルの静的検出という領域で、認証された堅牢性を提供する最初の人です。
論文 参考訳（メタデータ） (2023-03-20T17:25:22Z) - Backdoor Attacks Against Deep Image Compression via Adaptive Frequency
Trigger [106.10954454667757]
本稿では,学習画像圧縮モデルに対する複数のトリガーを用いたバックドアアタックを提案する。
既存の圧縮システムや標準で広く使われている離散コサイン変換(DCT)に動機付けられ,周波数ベースのトリガーインジェクションモデルを提案する。
論文 参考訳（メタデータ） (2023-02-28T15:39:31Z) - What do Compressed Large Language Models Forget? Robustness Challenges
in Model Compression [68.82486784654817]
本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。
本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。
サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
論文 参考訳（メタデータ） (2021-10-16T00:20:04Z) - Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。
任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。
本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
論文 参考訳（メタデータ） (2021-05-31T17:01:05Z) - Covert Model Poisoning Against Federated Learning: Algorithm Design and
Optimization [76.51980153902774]
フェデレーテッド・ラーニング(FL)はパラメータ伝達中にFLモデルに対する外部攻撃に対して脆弱である。
本稿では,最先端の防御アグリゲーション機構に対処する有効なMPアルゴリズムを提案する。
実験の結果,提案したCMPアルゴリズムは,既存の攻撃機構よりも効果的で,かなり優れていることが示された。
論文 参考訳（メタデータ） (2021-01-28T03:28:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。