論文の概要: Evaluate-and-Purify: Fortifying Code Language Models Against Adversarial Attacks Using LLM-as-a-Judge

• arxiv url: http://arxiv.org/abs/2504.19730v1
• Date: Mon, 28 Apr 2025 12:28:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.423412
• Title: Evaluate-and-Purify: Fortifying Code Language Models Against Adversarial Attacks Using LLM-as-a-Judge
• Title（参考訳）: 評価と調査:LLM-as-a-Judgeを用いた敵攻撃に対するコード言語モデルの構築
• Authors: Wenhan Mu, Ling Xu, Shuren Pei, Le Mi, Huichi Zhou,
• Abstract要約: 識別子置換攻撃者が生成した敵例の80%以上が実際に検出可能であることを示す。 識別子置換攻撃の評価と浄化のための統合フレームワークEP-Shieldを提案する。
• 参考スコア（独自算出の注目度）: 3.1656947459658813
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The widespread adoption of code language models in software engineering tasks has exposed vulnerabilities to adversarial attacks, especially the identifier substitution attacks. Although existing identifier substitution attackers demonstrate high success rates, they often produce adversarial examples with unnatural code patterns. In this paper, we systematically assess the quality of adversarial examples using LLM-as-a-Judge. Our analysis reveals that over 80% of adversarial examples generated by state-of-the-art identifier substitution attackers (e.g., ALERT) are actually detectable. Based on this insight, we propose EP-Shield, a unified framework for evaluating and purifying identifier substitution attacks via naturalness-aware reasoning. Specifically, we first evaluate the naturalness of code and identify the perturbed adversarial code, then purify it so that the victim model can restore correct prediction. Extensive experiments demonstrate the superiority of EP-Shield over adversarial fine-tuning (up to 83.36% improvement) and its lightweight design 7B parameters) with GPT-4-level performance.
• Abstract（参考訳）: ソフトウェアエンジニアリングタスクにおけるコード言語モデルの普及により、特に識別子置換攻撃(英語版)に対する脆弱性が明らかになった。 既存の識別子置換攻撃者は高い成功率を示すが、不自然なコードパターンを持つ敵の例をしばしば生成する。 本稿では,LLM-as-a-Judgeを用いて,敵対例の品質を体系的に評価する。 解析の結果,最先端の識別子置換攻撃者(ALERTなど)が生み出す敵対例の80%以上が実際に検出可能であることがわかった。 この知見に基づいて,自然性を考慮した推論による識別子置換攻撃の評価と浄化のための統合フレームワークEP-Shieldを提案する。 具体的には、まずコードの自然性を評価し、乱れた敵のコードを特定し、被害者のモデルが正しい予測を復元できるように浄化する。 EP-Shieldの対向的な微調整(最大83.36%の改善)と軽量設計7Bパラメータ(GPT-4レベルの性能)に対する優位性を示す大規模な実験が行われた。

関連論文リスト

• Mind the Gap: Detecting Black-box Adversarial Attacks in the Making through Query Update Analysis [3.795071937009966]
  アドリアックは機械学習(ML)モデルの整合性を損なう可能性がある。 本稿では,逆ノイズインスタンスが生成されているかどうかを検出するフレームワークを提案する。 適応攻撃を含む8つの最先端攻撃に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2025-03-04T20:25:12Z)
• Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [51.51850981481236]
  非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。 PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。 これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
  論文  参考訳（メタデータ） (2025-01-03T15:40:03Z)
• Jailbreaking as a Reward Misspecification Problem [80.52431374743998]
  本稿では,この脆弱性をアライメントプロセス中に不特定性に対処する新たな視点を提案する。 本稿では,報酬の相違の程度を定量化し,その有効性を実証する指標ReGapを紹介する。 ReMissは、報酬ミスの空間で敵のプロンプトを生成する自動レッドチームリングシステムである。
  論文  参考訳（メタデータ） (2024-06-20T15:12:27Z)
• An Extensive Study on Adversarial Attack against Pre-trained Models of Code [14.948361027395748]
  Transformer-based pre-trained code (PTMC) は広く利用されており、多くのミッションクリティカルなアプリケーションで最先端のパフォーマンスを実現している。 識別子の置換やコーディングスタイルの変換によって、敵の攻撃に弱い可能性がある。 本研究は,5つの対人攻撃アプローチを3つの観点から体系的に分析する。
  論文  参考訳（メタデータ） (2023-11-13T18:48:54Z)
• PRAT: PRofiling Adversarial aTtacks [52.693011665938734]
  PRofiling Adversarial aTacks (PRAT) の新たな問題点について紹介する。 敵対的な例として、PRATの目的は、それを生成するのに使用される攻撃を特定することである。 AIDを用いてPRATの目的のための新しいフレームワークを考案する。
  論文  参考訳（メタデータ） (2023-09-20T07:42:51Z)
• Towards a Practical Defense against Adversarial Attacks on Deep Learning-based Malware Detectors via Randomized Smoothing [3.736916304884177]
  本稿では,ランダムな平滑化に触発された敵のマルウェアに対する現実的な防御法を提案する。 本研究では,入力のランダム化にガウスノイズやラプラスノイズを使う代わりに,ランダム化アブレーションに基づく平滑化方式を提案する。 BODMASデータセットに対する様々な最先端の回避攻撃に対するアブレーションモデルの有効性を実証的に評価した。
  論文  参考訳（メタデータ） (2023-08-17T10:30:25Z)
• Identifying Adversarially Attackable and Robust Samples [1.4213973379473654]
  アドリアックは、入力サンプルに小さな、知覚不能な摂動を挿入し、ディープラーニングモデルの出力に大きな、望ましくない変化を引き起こす。 本研究は, 対人攻撃に最も影響を受けやすいサンプルを同定することを目的とした, サンプル攻撃可能性の概念を紹介する。 本研究では,未知のターゲットモデルに対する未知のデータセットにおいて,逆攻撃可能で頑健なサンプルを識別するディープラーニングベースの検出器を提案する。
  論文  参考訳（メタデータ） (2023-01-30T13:58:14Z)
• Rethinking Textual Adversarial Defense for Pre-trained Language Models [79.18455635071817]
  文献レビューでは、事前訓練された言語モデル(PrLM)が敵の攻撃に弱いことが示されている。 本稿では、現在の敵攻撃アプローチにより、より自然で知覚不能な敵の例を生成するための新しい指標(異常の度合い)を提案する。 我々は,我々のユニバーサル・ディフェンス・フレームワークが,他の特定のディフェンスと同等あるいはそれ以上のアフターアタック・ディフェンスの精度を達成することを示す。
  論文  参考訳（メタデータ） (2022-07-21T07:51:45Z)
• Learning-based Hybrid Local Search for the Hard-label Textual Attack [53.92227690452377]
  我々は,攻撃者が予測ラベルにのみアクセス可能な,滅多に調査されていないが厳格な設定,すなわちハードラベル攻撃を考える。 そこで本研究では,Learning-based Hybrid Local Search (LHLS)アルゴリズムという,新たなハードラベル攻撃を提案する。 我々のLHLSは、攻撃性能と敵の品質に関する既存のハードラベル攻撃を著しく上回っている。
  論文  参考訳（メタデータ） (2022-01-20T14:16:07Z)
• Indicators of Attack Failure: Debugging and Improving Optimization of Adversarial Examples [29.385242714424624]
  機械学習モデルの頑健さを敵の例に評価することは難しい問題である。 我々は、勾配に基づく攻撃の最適化において共通の障害を明らかにするための定量的指標のセットを定義する。 実験により,現在の対向ロバスト性評価を可視化し,デバッグし,改善するために,提案した障害指標が有効であることを示す。
  論文  参考訳（メタデータ） (2021-06-18T06:57:58Z)
• Towards Defending against Adversarial Examples via Attack-Invariant Features [147.85346057241605]
  ディープニューラルネットワーク(DNN)は敵の雑音に弱い。 敵の強靭性は、敵の例を利用して改善することができる。 目に見えない種類の敵の例に基づいて訓練されたモデルは、一般的に、目に見えない種類の敵の例にうまく一般化できない。
  論文  参考訳（メタデータ） (2021-06-09T12:49:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。