論文の概要: Transfer Attacks and Defenses for Large Language Models on Coding Tasks
- arxiv url: http://arxiv.org/abs/2311.13445v1
- Date: Wed, 22 Nov 2023 15:11:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 14:54:41.991912
- Title: Transfer Attacks and Defenses for Large Language Models on Coding Tasks
- Title（参考訳）: コーディングタスクにおける大規模言語モデルの転送攻撃と防御
- Authors: Chi Zhang, Zifan Wang, Ravi Mangal, Matt Fredrikson, Limin Jia, Corina
Pasareanu
- Abstract要約: 大規模言語モデル(LLM)を用いた符号化作業における対向的摂動の影響について検討する。
本稿では,逆方向の摂動を逆転させるために,逆方向の摂動コードや明示的な指示の例を含むようにプロンプトを変更するプロンプトベースの防御手法を提案する。
実験の結果、より小さなコードモデルで得られた逆例は確かに転送可能であり、LLMの性能は低下していることがわかった。
- 参考スコア（独自算出の注目度）: 30.065641782962974
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern large language models (LLMs), such as ChatGPT, have demonstrated
impressive capabilities for coding tasks including writing and reasoning about
code. They improve upon previous neural network models of code, such as
code2seq or seq2seq, that already demonstrated competitive results when
performing tasks such as code summarization and identifying code
vulnerabilities. However, these previous code models were shown vulnerable to
adversarial examples, i.e. small syntactic perturbations that do not change the
program's semantics, such as the inclusion of "dead code" through false
conditions or the addition of inconsequential print statements, designed to
"fool" the models. LLMs can also be vulnerable to the same adversarial
perturbations but a detailed study on this concern has been lacking so far. In
this paper we aim to investigate the effect of adversarial perturbations on
coding tasks with LLMs. In particular, we study the transferability of
adversarial examples, generated through white-box attacks on smaller code
models, to LLMs. Furthermore, to make the LLMs more robust against such
adversaries without incurring the cost of retraining, we propose prompt-based
defenses that involve modifying the prompt to include additional information
such as examples of adversarially perturbed code and explicit instructions for
reversing adversarial perturbations. Our experiments show that adversarial
examples obtained with a smaller code model are indeed transferable, weakening
the LLMs' performance. The proposed defenses show promise in improving the
model's resilience, paving the way to more robust defensive solutions for LLMs
in code-related applications.
- Abstract（参考訳）: ChatGPTのような現代の大規模言語モデル(LLM)は、コードの記述や推論を含むコーディングタスクの素晴らしい機能を示している。
従来のcode2seqやseq2seqといったニューラルネットワークモデルを改善し、コードの要約やコードの脆弱性の特定といったタスクの実行において、すでに競合的な結果を示している。
しかし、これらの以前のコードモデルは、プログラムのセマンティクスを変えない小さな構文的摂動(例えば、偽の条件による「デッドコード」の挿入や、モデルを「汚す」ように設計された不連続な印刷文の追加など)に対して脆弱であった。
LLMは、同じ逆境の摂動にも弱いが、この懸念に関する詳細な研究は今のところ不十分である。
本稿では,LLMを用いた符号化作業における対向的摂動の影響について検討する。
特に、より小さなコードモデルに対するホワイトボックス攻撃によって生成された逆例のLLMへの転送可能性について検討する。
さらに,再訓練のコストを伴わずに,LSMをこのような敵に対してより堅牢にするために,敵の摂動コードの例や敵の摂動を逆転するための明示的な指示などの追加情報を含むプロンプトの変更を含むプロンプトベースの防御を提案する。
実験の結果、より小さなコードモデルで得られた逆例は確かに転送可能であり、LLMの性能は低下していることがわかった。
提案されたディフェンスはモデルのレジリエンスを改善し、コード関連アプリケーションにおけるLLMのより堅牢なディフェンスソリューションへの道を開くことを約束している。
関連論文リスト
- What You See Is Not Always What You Get: An Empirical Study of Code Comprehension by Large Language Models [0.5735035463793009]
ソースコードに隠された文字操作がLLMの動作を誤認し,人間のレビュアーには検出不能なままにしておくという,大きな言語モデル(LLM)の攻撃に対する脆弱性について検討する。
これらの攻撃には、コードリオーダー、見えないコーディング文字、コード削除、コードホモグリフが含まれる。
以上の結果より,LLMは摂動の大きさと性能に異なる負の相関性を示す一方,LLMは認識不能なコードキャラクタ攻撃に対する感受性を示すことが明らかとなった。
論文 参考訳（メタデータ） (2024-12-11T04:52:41Z) - Case2Code: Scalable Synthetic Data for Code Generation [105.89741089673575]
大規模言語モデル(LLM)は、コード生成において顕著なブレークスルーを示している。
最近の研究は、いくつかの強力なLLMによって生成された合成データをトレーニングすることで、コードLLMを改善している。
プログラムの表現性と正確性を利用したtextbfCase2Code タスクを提案する。
論文 参考訳（メタデータ） (2024-07-17T11:35:00Z) - TPIA: Towards Target-specific Prompt Injection Attack against Code-oriented Large Language Models [28.827640446926253]
本稿では,標的特異的プロンプトインジェクション攻撃(TPIA)という,コードLLMに対する新たな攻撃パラダイムを提案する。
TPIAは悪意のある命令の情報を含む非機能的摂動を生成し、被害者のコードコンテキストに挿入する。
我々のTPIAは、3つの代表的なオープンソースコードLLMと、2つの主要な商用コードLLM統合アプリケーションにうまく対応できることを示す。
論文 参考訳（メタデータ） (2024-07-12T10:59:32Z) - An LLM-Assisted Easy-to-Trigger Backdoor Attack on Code Completion Models: Injecting Disguised Vulnerabilities against Strong Detection [17.948513691133037]
我々は,コード補完モデルに基づくLLM支援バックドアアタックフレームワークであるCodeBreakerを紹介した。
悪意のあるペイロードを最小限の変換でソースコードに直接統合することで、CodeBreakerは現在のセキュリティ対策に挑戦する。
論文 参考訳（メタデータ） (2024-06-10T22:10:05Z) - Assessing Cybersecurity Vulnerabilities in Code Large Language Models [18.720986922660543]
EvilInstructCoderは、命令チューニングされたコードLLMのサイバーセキュリティ脆弱性を敵の攻撃に対して評価するように設計されたフレームワークである。
実際の脅威モデルを組み込んで、さまざまな能力を持つ現実世界の敵を反映している。
我々は、3つの最先端のCode LLMモデルを用いて、コーディングタスクのための命令チューニングの活用性について包括的に調査する。
論文 参考訳（メタデータ） (2024-04-29T10:14:58Z) - AdaShield: Safeguarding Multimodal Large Language Models from Structure-based Attack via Adaptive Shield Prompting [54.931241667414184]
textbfAdaptive textbfShield Promptingを提案する。これは、MLLMを構造ベースのジェイルブレイク攻撃から守るための防御プロンプトで入力をプリペイドする。
我々の手法は、構造に基づくジェイルブレイク攻撃に対するMLLMの堅牢性を一貫して改善することができる。
論文 参考訳（メタデータ） (2024-03-14T15:57:13Z) - Coercing LLMs to do and reveal (almost) anything [80.8601180293558]
大規模言語モデル(LLM)に対する敵対的攻撃は、有害なステートメントを作るためにモデルを「ジェイルブレイク」することができることが示されている。
LLMに対する敵対的攻撃のスペクトルは単なるジェイルブレイクよりもはるかに大きいと我々は主張する。
論文 参考訳（メタデータ） (2024-02-21T18:59:13Z) - SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。
敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
論文 参考訳（メタデータ） (2023-10-05T17:01:53Z) - Universal and Transferable Adversarial Attacks on Aligned Language
Models [118.41733208825278]
本稿では,アライメント言語モデルに反抗的な振る舞いを生じさせる,シンプルで効果的な攻撃手法を提案する。
驚いたことに、我々のアプローチによって生じる敵のプロンプトは、かなり伝達可能である。
論文 参考訳（メタデータ） (2023-07-27T17:49:12Z) - On Extracting Specialized Code Abilities from Large Language Models: A
Feasibility Study [22.265542509143756]
大規模言語モデル(LLM)における模倣攻撃の実現可能性について検討する。
攻撃者は、中規模のバックボーンモデルを訓練して、ターゲットのLLMに似た特殊なコード動作を再現できることを示す。
論文 参考訳（メタデータ） (2023-03-06T10:34:41Z) - Semantic-Preserving Adversarial Code Comprehension [75.76118224437974]
本稿では,セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・アタック(SPACE)を提案する。
実験と分析により、SPACEは、コードに対するPrLMのパフォーマンスを高めながら、最先端の攻撃に対して堅牢であることを示す。
論文 参考訳（メタデータ） (2022-09-12T10:32:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。