論文の概要: Model Compression vs. Adversarial Robustness: An Empirical Study on Language Models for Code
- arxiv url: http://arxiv.org/abs/2508.03949v1
- Date: Tue, 05 Aug 2025 22:32:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-07 20:09:22.466056
- Title: Model Compression vs. Adversarial Robustness: An Empirical Study on Language Models for Code
- Title（参考訳）: モデル圧縮対逆ロバスト性:コードの言語モデルに関する実証的研究
- Authors: Md. Abdul Awal, Mrigank Rochan, Chanchal K. Roy,
- Abstract要約: コードに対するトランスフォーマーベースの言語モデルは、様々なソフトウェア分析タスクにおいて顕著なパフォーマンスを示している。
彼らの採用は高い計算コスト、推論速度の遅さ、環境への影響によって妨げられている。
プルーニング、量子化、知識蒸留といったモデル圧縮技術は、これらの課題に対処する上で大きな役割を果たしている。
- 参考スコア（独自算出の注目度）: 11.16693333878553
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Transformer-based language models for code have shown remarkable performance in various software analytics tasks, but their adoption is hindered by high computational costs, slow inference speeds, and substantial environmental impact. Model compression techniques such as pruning, quantization, and knowledge distillation have gained traction in addressing these challenges. However, the impact of these strategies on the robustness of compressed language models for code in adversarial scenarios remains poorly understood. Understanding how these compressed models behave under adversarial attacks is essential for their safe and effective deployment in real-world applications. To bridge this knowledge gap, we conduct a comprehensive evaluation of how common compression strategies affect the adversarial robustness of compressed models. We assess the robustness of compressed versions of three widely used language models for code across three software analytics tasks, using six evaluation metrics and four commonly used classical adversarial attacks. Our findings indicate that compressed models generally maintain comparable performance to their uncompressed counterparts. However, when subjected to adversarial attacks, compressed models exhibit significantly reduced robustness. These results reveal a trade-off between model size reduction and adversarial robustness, underscoring the need for careful consideration when deploying compressed models in security-critical software applications. Our study highlights the need for further research into compression strategies that strike a balance between computational efficiency and adversarial robustness, which is essential for deploying reliable language models for code in real-world software applications.
- Abstract（参考訳）: コードに対するトランスフォーマーベースの言語モデルは、様々なソフトウェア分析タスクにおいて顕著な性能を示してきたが、その採用には高い計算コスト、推論速度の遅さ、環境への影響が妨げられている。
プルーニング、量子化、知識蒸留といったモデル圧縮技術は、これらの課題に対処する上で大きな役割を果たしている。
しかし、これらの戦略がコードに対する圧縮言語モデルの堅牢性に与える影響は、まだよく分かっていない。
これらの圧縮モデルが敵攻撃の下でどのように振る舞うかを理解することは、現実世界のアプリケーションに安全かつ効果的に配置するために不可欠である。
この知識ギャップを埋めるため、圧縮モデルの対角的ロバスト性に共通の圧縮戦略がどう影響するかを包括的に評価する。
6つの評価指標と4つの古典的敵対的攻撃を用いて,3つのソフトウェア分析タスクにまたがるコードに対する3つの広く使用されている言語モデルの圧縮版の堅牢性を評価する。
以上の結果から,圧縮モデルでは非圧縮モデルと同等の性能を保っていることが示唆された。
しかし、敵攻撃を受けると、圧縮されたモデルはロバスト性を著しく低下させる。
これらの結果から, モデルサイズ削減と対向ロバスト性とのトレードオフが明らかとなり, セキュリティクリティカルなソフトウェアアプリケーションに圧縮されたモデルをデプロイする場合, 慎重に検討する必要があることが示唆された。
本研究は,実世界のソフトウェアアプリケーションにおいて,コードに対する信頼性の高い言語モデルをデプロイするために不可欠である,計算効率と敵の堅牢性とのバランスを崩す圧縮戦略のさらなる研究の必要性を強調した。
関連論文リスト
- On the Compression of Language Models for Code: An Empirical Study on CodeBERT [9.574645433491225]
我々は、知識蒸留、量子化、プルーニングの3つの有名な圧縮戦略が、ソフトウェアエンジニアリングタスクの3つの異なるクラスに与える影響を調査する。
その結果,これらの戦略の影響は,タスクや特定の圧縮方法によって大きく異なることが明らかとなった。
論文 参考訳（メタデータ） (2024-12-18T11:14:30Z) - Compress and Compare: Interactively Evaluating Efficiency and Behavior Across ML Model Compression Experiments [20.360936113552597]
デバイス上で機械学習モデルをデプロイするには、圧縮アルゴリズムを使用して、高品質なアウトプットを維持しながらモデルを縮小および高速化する。
既存の圧縮ツールは比較を不十分にサポートし、退屈な結果となり、時には不完全な解析が非結合ツールに分散する。
実世界の比較を支援するために,Compress and Compareという対話型ビジュアルシステムを開発した。
コンプレックスとコンプレックスは、圧縮されたモデル間の前兆関係を可視化し、モデルの予測、重み、アクティベーションを比較することで圧縮誘起の挙動変化を明らかにすることで、圧縮戦略を約束する。
論文 参考訳（メタデータ） (2024-08-06T16:17:51Z) - Composable Interventions for Language Models [60.32695044723103]
言語モデルのテストタイム介入は、事実の正確性を高め、有害な出力を軽減し、コストのかかる再トレーニングなしにモデルの効率を向上させる。
しかし、新しい手法の洪水にもかかわらず、様々な種類の介入が独立して発展している。
複数の介入が同じ言語モデルに与える影響を研究するためのフレームワークである構成可能な介入を導入する。
論文 参考訳（メタデータ） (2024-07-09T01:17:44Z) - Adversarial Fine-tuning of Compressed Neural Networks for Joint Improvement of Robustness and Efficiency [3.3490724063380215]
アドリラルトレーニングは、より堅牢なモデルをもたらすことができる緩和戦略として提示されている。
本稿では,2つの異なるモデル圧縮手法(構造的重み打ち法と量子化法)が対向ロバスト性に及ぼす影響について検討する。
本研究では, 圧縮モデルの逆方向微調整により, 対向訓練モデルに匹敵する強靭性性能が得られることを示す。
論文 参考訳（メタデータ） (2024-03-14T14:34:25Z) - Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。
グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。
実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
論文 参考訳（メタデータ） (2024-01-15T15:54:54Z) - Benchmarking Adversarial Robustness of Compressed Deep Learning Models [15.737988622271219]
本研究は, 基本モデルの逆入力が刈り取ったバージョンに与える影響を理解することを目的とする。
以上の結果から, 汎用性, 圧縮性, 高速な推論時間は保たれるが, 対向ロバスト性はベースモデルに匹敵することがわかった。
論文 参考訳（メタデータ） (2023-08-16T06:06:56Z) - Learning Accurate Performance Predictors for Ultrafast Automated Model
Compression [86.22294249097203]
フレキシブルネットワーク展開のための超高速自動モデル圧縮フレームワークSeerNetを提案する。
本手法は,探索コストを大幅に削減した競合精度・複雑度トレードオフを実現する。
論文 参考訳（メタデータ） (2023-04-13T10:52:49Z) - Backdoor Attacks Against Deep Image Compression via Adaptive Frequency
Trigger [106.10954454667757]
本稿では,学習画像圧縮モデルに対する複数のトリガーを用いたバックドアアタックを提案する。
既存の圧縮システムや標準で広く使われている離散コサイン変換(DCT)に動機付けられ,周波数ベースのトリガーインジェクションモデルを提案する。
論文 参考訳（メタデータ） (2023-02-28T15:39:31Z) - Improving robustness of jet tagging algorithms with adversarial training [56.79800815519762]
本研究では,フレーバータグ付けアルゴリズムの脆弱性について,敵攻撃による検証を行った。
シミュレーション攻撃の影響を緩和する対人訓練戦略を提案する。
論文 参考訳（メタデータ） (2022-03-25T19:57:19Z) - What do Compressed Large Language Models Forget? Robustness Challenges
in Model Compression [68.82486784654817]
本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。
本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。
サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
論文 参考訳（メタデータ） (2021-10-16T00:20:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。