Fugu-MT 論文翻訳(概要): RMCBench: Benchmarking Large Language Models' Resistance to Malicious Code

論文の概要: RMCBench: Benchmarking Large Language Models' Resistance to Malicious Code

arxiv url: http://arxiv.org/abs/2409.15154v1
Date: Mon, 23 Sep 2024 16:03:26 GMT
ステータス: 処理完了
システム内更新日: 2024-09-26 14:13:28.319201
Title: RMCBench: Benchmarking Large Language Models' Resistance to Malicious Code
Title（参考訳）: RMCBench: 大規模言語モデルの悪意のあるコードに対する耐性のベンチマーク
Authors: Jiachi Chen, Qingyuan Zhong, Yanlin Wang, Kaiwen Ning, Yongkun Liu, Zenan Xu, Zhe Zhao, Ting Chen, Zibin Zheng,
Abstract要約: LLMが悪意のあるコード生成に抵抗する能力を評価する研究はない。我々は、悪意のあるコード生成に抵抗する能力を評価するために、11の代表的なLCMについて実証的研究を行った。以上の結果から,現在のLLMは,テキスト・ツー・コード・シナリオでは平均40.36%,コード・ツー・コード・シナリオでは11.52%の拒否率で,悪意のあるコード生成に抵抗する能力に限界があることが示唆された。
参考スコア（独自算出の注目度）: 30.244754704562162
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The emergence of Large Language Models (LLMs) has significantly influenced various aspects of software development activities. Despite their benefits, LLMs also pose notable risks, including the potential to generate harmful content and being abused by malicious developers to create malicious code. Several previous studies have focused on the ability of LLMs to resist the generation of harmful content that violates human ethical standards, such as biased or offensive content. However, there is no research evaluating the ability of LLMs to resist malicious code generation. To fill this gap, we propose RMCBench, the first benchmark comprising 473 prompts designed to assess the ability of LLMs to resist malicious code generation. This benchmark employs two scenarios: a text-to-code scenario, where LLMs are prompted with descriptions to generate code, and a code-to-code scenario, where LLMs translate or complete existing malicious code. Based on RMCBench, we conduct an empirical study on 11 representative LLMs to assess their ability to resist malicious code generation. Our findings indicate that current LLMs have a limited ability to resist malicious code generation with an average refusal rate of 40.36% in text-to-code scenario and 11.52% in code-to-code scenario. The average refusal rate of all LLMs in RMCBench is only 28.71%; ChatGPT-4 has a refusal rate of only 35.73%. We also analyze the factors that affect LLMs' ability to resist malicious code generation and provide implications for developers to enhance model robustness.
Abstract（参考訳）: 大規模言語モデル(LLM)の出現は、ソフトウェア開発活動の様々な側面に大きな影響を与えている。それらのメリットにもかかわらず、LSMは有害なコンテンツを生成する可能性や悪意のある開発者に悪用されて悪意のあるコードを作成する可能性など、顕著なリスクも生じている。以前のいくつかの研究は、偏見や攻撃的コンテンツのような人間の倫理基準に反する有害なコンテンツの発生にLLMが抵抗する能力に焦点を当ててきた。しかし、LLMが悪意のあるコード生成に抵抗する能力を評価する研究はない。このギャップを埋めるために、悪意のあるコード生成に抵抗するLSMの能力を評価するために、473のプロンプトからなる最初のベンチマークであるRCCBenchを提案する。このベンチマークでは、2つのシナリオが採用されている: テキストからコードへのシナリオ、LCMがコードを生成するための記述をトリガーするシナリオ、LLMが既存の悪意のあるコードを翻訳または完了させるシナリオである。 RMCBenchに基づいて、悪意のあるコード生成に抵抗する能力を評価するため、11の代表的なLCMについて実証的研究を行った。以上の結果から,現在のLLMは,テキスト・ツー・コード・シナリオでは平均40.36%,コード・ツー・コード・シナリオでは11.52%の拒否率で,悪意のあるコード生成に抵抗する能力に限界があることが示唆された。 RMCBenchにおける全てのLLMの拒絶率は28.71%であり、ChatGPT-4の拒絶率は35.73%である。また、LLMが悪意のあるコード生成に抵抗する能力に影響を及ぼす要因を分析し、開発者がモデルロバスト性を高めるための意味を提供する。

関連論文リスト

Comparing Robustness Against Adversarial Attacks in Code Generation: LLM-Generated vs. Human-Written [11.16693333878553]
本稿では,人間が記述したコードに微調整したPTMC(Pre-trained Models of Code)の対角的ロバスト性を評価するための実証的研究を紹介する。 2つのデータセット、2つの最先端PTMC、2つの堅牢性評価基準、3つのメトリクスを実験で用いた。
論文参考訳（メタデータ） (2024-11-15T20:25:32Z)
Probing the Safety Response Boundary of Large Language Models via Unsafe Decoding Path Generation [44.09578786678573]
大きな言語モデル(LLM)は暗黙のトラブルメーカーである。 LLMは有害なデータ収集や隠蔽攻撃に使用できる。私たちはこのデコード戦略をJVD(Jailbreak Value Decoding)と名付けます。
論文参考訳（メタデータ） (2024-08-20T09:11:21Z)
MCGMark: An Encodable and Robust Online Watermark for LLM-Generated Malicious Code [33.86980891690121]
我々は、LCM生成コードを追跡するための、最初の堅牢で、コード構造を認識し、エンコード可能な透かしアプローチであるMCGMarkを提案する。 MCGMarkは最大出力限界の400トークン内に88.9%の埋め込み成功率を達成する。
論文参考訳（メタデータ） (2024-08-02T16:04:52Z)
What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
論文参考訳（メタデータ） (2024-07-08T17:27:17Z)
SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal Behaviors [64.9938658716425]
安全でないユーザリクエストを認識して拒否する、大規模な言語モデル(LLM)の既存の評価は、3つの制限に直面している。まず、既存の手法では、安全でないトピックの粗い粒度を使い、いくつかのきめ細かいトピックを過剰に表現している。第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。第3に、既存の評価は大きなLCMに頼っているため、コストがかかる可能性がある。
論文参考訳（メタデータ） (2024-06-20T17:56:07Z)
Can We Trust Large Language Models Generated Code? A Framework for In-Context Learning, Security Patterns, and Code Evaluations Across Diverse LLMs [2.7138982369416866]
大規模言語モデル(LLM)は、ソフトウェア工学における自動コード生成に革命をもたらした。しかし、生成されたコードのセキュリティと品質に関する懸念が持ち上がっている。本研究は,LLMの行動学習をセキュアにするための枠組みを導入することで,これらの課題に対処することを目的とする。
論文参考訳（メタデータ） (2024-06-18T11:29:34Z)
CodeAttack: Revealing Safety Generalization Challenges of Large Language Models via Code Completion [117.178835165855]
本稿では,自然言語入力をコード入力に変換するフレームワークであるCodeAttackを紹介する。我々の研究は、コード入力に対するこれらのモデルの新たな、普遍的な安全性の脆弱性を明らかにした。 CodeAttackと自然言語の分布ギャップが大きくなると、安全性の一般化が弱くなる。
論文参考訳（メタデータ） (2024-03-12T17:55:38Z)
InfiBench: Evaluating the Question-Answering Capabilities of Code Large Language Models [56.723509505549536]
InfiBenchは、私たちの知識に合ったコードのための、最初の大規模フリーフォーム質問回答(QA)ベンチマークです。慎重に選択された234の高品質なStack Overflow質問で構成されており、15のプログラミング言語にまたがっている。 InfiBench上で100以上の最新のコードLLMに対して,系統的評価を行い,新しい知見と洞察に富んだ結果を得た。
論文参考訳（メタデータ） (2024-03-11T02:06:30Z)
Assured LLM-Based Software Engineering [51.003878077888686]
この記事では,2024年4月15日にポルトガルのリスボンで開催された International Workshop on Interpretability, Robustness, and Benchmarking in Neural Software Engineering で,Mark Harman 氏による基調講演の内容の概要を紹介する。
論文参考訳（メタデータ） (2024-02-06T20:38:46Z)
If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練されるコードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文参考訳（メタデータ） (2024-01-01T16:51:20Z)
DeceptPrompt: Exploiting LLM-driven Code Generation via Adversarial Natural Language Instructions [27.489622263456983]
DeceptPromptは、コードLLMを駆動し、脆弱性のある機能の正しいコードを生成する、逆の自然言語命令を生成するアルゴリズムである。最適化プレフィックス/サフィックスを適用する場合、アタック成功率(ASR)はプレフィックス/サフィックスを適用せずに平均50%向上する。
論文参考訳（メタデータ） (2023-12-07T22:19:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。