Fugu-MT 論文翻訳(概要): Relationship between Model Compression and Adversarial Robustness: A Review of Current Evidence

論文の概要: Relationship between Model Compression and Adversarial Robustness: A Review of Current Evidence

arxiv url: http://arxiv.org/abs/2311.15782v1
Date: Mon, 27 Nov 2023 12:55:39 GMT
ステータス: 処理完了
システム内更新日: 2023-11-28 15:17:29.725263
Title: Relationship between Model Compression and Adversarial Robustness: A Review of Current Evidence
Title（参考訳）: モデル圧縮と敵対的ロバスト性の関係--現在のエビデンスを振り返って
Authors: Svetlana Pavlitska, Hannes Grolig and J. Marius Z\"ollner
Abstract要約: モデル容量の増大は、ディープラーニングネットワークの対角的堅牢性を高めるための既知のアプローチである。プルーニングや量子化を含むモデル圧縮技術は、精度を保ちながらネットワークのサイズを減らすことができる。この研究は、利用可能な証拠を要約し、観察された影響の可能な説明について議論する。
参考スコア（独自算出の注目度）: 5.00301731167245
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Increasing the model capacity is a known approach to enhance the adversarial robustness of deep learning networks. On the other hand, various model compression techniques, including pruning and quantization, can reduce the size of the network while preserving its accuracy. Several recent studies have addressed the relationship between model compression and adversarial robustness, while some experiments have reported contradictory results. This work summarizes available evidence and discusses possible explanations for the observed effects.
Abstract（参考訳）: モデル能力の増大は、ディープラーニングネットワークの敵対的堅牢性を高めるための既知のアプローチである。一方、プルーニングや量子化など様々なモデル圧縮技術は、精度を保ちながらネットワークのサイズを小さくすることができる。最近のいくつかの研究はモデル圧縮と敵対的ロバスト性の関係を扱っているが、いくつかの実験では矛盾した結果が報告されている。この研究は、利用可能な証拠を要約し、観察された効果の可能な説明について論じる。

関連論文リスト

Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
論文参考訳（メタデータ） (2024-08-08T17:20:08Z)
Effective Interplay between Sparsity and Quantization: From Theory to Practice [33.697590845745815]
空間性と量子化は、モデル精度を保ちながら計算量とメモリフットプリントの大幅な削減を個別に示す2つの顕著な圧縮手法である。これら2つの手法間の相互作用を調査し、それらの組み合わせが最終的なモデルの精度に影響を及ぼすかどうかを評価する。我々の研究結果は、リソース制限された計算プラットフォームにおける大規模モデルの効率的なデプロイと、サービスコストの削減にまで及んでいる。
論文参考訳（メタデータ） (2024-05-31T15:34:13Z)
Adversarial Fine-tuning of Compressed Neural Networks for Joint Improvement of Robustness and Efficiency [3.3490724063380215]
アドリラルトレーニングは、より堅牢なモデルをもたらすことができる緩和戦略として提示されている。本稿では,2つの異なるモデル圧縮手法(構造的重み打ち法と量子化法)が対向ロバスト性に及ぼす影響について検討する。本研究では, 圧縮モデルの逆方向微調整により, 対向訓練モデルに匹敵する強靭性性能が得られることを示す。
論文参考訳（メタデータ） (2024-03-14T14:34:25Z)
Benchmarking Adversarial Robustness of Compressed Deep Learning Models [15.737988622271219]
本研究は, 基本モデルの逆入力が刈り取ったバージョンに与える影響を理解することを目的とする。以上の結果から, 汎用性, 圧縮性, 高速な推論時間は保たれるが, 対向ロバスト性はベースモデルに匹敵することがわかった。
論文参考訳（メタデータ） (2023-08-16T06:06:56Z)
Bias in Pruned Vision Models: In-Depth Analysis and Countermeasures [93.17009514112702]
ニューラルネットワークのパラメータのかなりの部分集合をゼロに設定するプルーニングは、モデル圧縮の最も一般的な方法の1つである。この現象の既存の証拠にもかかわらず、ニューラルネットワークのプルーニングと誘導バイアスの関係はよく理解されていない。
論文参考訳（メタデータ） (2023-04-25T07:42:06Z)
Fairness Increases Adversarial Vulnerability [50.90773979394264]
フェアネスとロバストネスの間に二分法が存在することを示し、フェアネスを達成するとモデルロバストネスを減少させる。非線形モデルと異なるアーキテクチャの実験は、複数の視覚領域における理論的発見を検証する。フェアネスとロバストネスの良好なトレードオフを達成するためのモデルを構築するための,シンプルで効果的なソリューションを提案する。
論文参考訳（メタデータ） (2022-11-21T19:55:35Z)
What do Compressed Large Language Models Forget? Robustness Challenges in Model Compression [68.82486784654817]
本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
論文参考訳（メタデータ） (2021-10-16T00:20:04Z)
Pruning in the Face of Adversaries [0.0]
ニューラルネットワークのプルーニングがL-0,L-2,L-infinity攻撃に対する対向的ロバスト性に及ぼす影響を評価する。その結果,ニューラルネットワークのプルーニングと対向ロバスト性は相互に排他的ではないことが確認された。分析を敵のシナリオに付加的な仮定を取り入れた状況にまで拡張し、状況によって異なる戦略が最適であることを示す。
論文参考訳（メタデータ） (2021-08-19T09:06:16Z)
Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
論文参考訳（メタデータ） (2021-06-18T16:34:23Z)
Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness [97.67477497115163]
我々は、モード接続を用いて、ディープニューラルネットワークの対角的堅牢性を研究する。実験では、異なるネットワークアーキテクチャやデータセットに適用される様々な種類の敵攻撃について取り上げる。以上の結果から,モード接続は,敵の強靭性を評価・改善するための総合的なツールであり,実用的な手段であることが示唆された。
論文参考訳（メタデータ） (2020-04-30T19:12:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。