論文の概要: Fine-Tuning LLMs for Code Mutation: A New Era of Cyber Threats

• arxiv url: http://arxiv.org/abs/2410.22293v1
• Date: Tue, 29 Oct 2024 17:43:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:42:48.612171
• Title: Fine-Tuning LLMs for Code Mutation: A New Era of Cyber Threats
• Title（参考訳）: コード変異のための微調整LDM:サイバー脅威の新しい時代
• Authors: Mohammad Setak, Pooria Madani,
• Abstract要約: 本稿では,コード変異の文脈におけるLarge Language Modelsの適用について検討する。 伝統的に、ミッションクリティカルなアプリケーションにおいて、ソフトウェアの堅牢性を高めるためにコード突然変異が使われてきた。 事前学習したLLMベースのコードシンセサイザーに適したコード突然変異訓練の新たな定義を提案する。
• 参考スコア（独自算出の注目度）: 0.9208007322096533
• License:
• Abstract: Recent advancements in Large Language Models (LLMs) have significantly improved their capabilities in natural language processing and code synthesis, enabling more complex applications across different fields. This paper explores the application of LLMs in the context of code mutation, a process where the structure of program code is altered without changing its functionality. Traditionally, code mutation has been employed to increase software robustness in mission-critical applications. Additionally, mutation engines have been exploited by malware developers to evade the signature-based detection methods employed by malware detection systems. Existing code mutation engines, often used by such threat actors, typically result in only limited variations in the malware, which can still be identified through static code analysis. However, the agility demonstrated by an LLM-based code synthesizer could significantly change this threat landscape by allowing for more complex code mutations that are not easily detected using static analysis. One can increase variations of codes synthesized by a pre-trained LLM through fine-tuning and retraining. This process is what we refer to as code mutation training. In this paper, we propose a novel definition of code mutation training tailored for pre-trained LLM-based code synthesizers and demonstrate this training on a lightweight pre-trained model. Our approach involves restructuring (i.e., mutating) code at the subroutine level, which allows for more manageable mutations while maintaining the semantic integrity verified through unit testing. Our experimental results illustrate the effectiveness of our approach in improving code mutation capabilities of LLM-based program synthesizers in producing varied and functionally correct code solutions, showcasing their potential to transform the landscape of code mutation and the threats associated with it.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、自然言語処理とコード合成の能力を大幅に改善し、様々な分野にわたるより複雑なアプリケーションを可能にする。 本稿では,プログラムコードの構造を機能を変更することなく変更するプロセスであるコード突然変異の文脈におけるLLMの適用について検討する。 伝統的に、ミッションクリティカルなアプリケーションにおいて、ソフトウェアの堅牢性を高めるためにコード突然変異が使われてきた。 さらに、マルウェア検出システムで使用されるシグネチャベースの検出方法を回避するために、マルウェア開発者が突然変異エンジンを悪用している。 既存のコード変異エンジンは、しばしばそのような脅威アクターによって使用されるが、通常はマルウェアの限られたバリエーションしか発生しない。 しかし、LCMベースのコードシンセサイザーが示した俊敏性は、静的解析では容易に検出できないより複雑なコード変異を可能にすることで、この脅威の状況を大きく変えることができる。 微調整と再訓練によって、事前訓練されたLLMによって合成されるコードのバリエーションを増やすことができる。 このプロセスは、コード突然変異トレーニングと呼ばれるものです。 本稿では,LLM ベースのコードシンセサイザー用に調整されたコード突然変異トレーニングの新たな定義を提案し,このトレーニングを軽量な事前学習モデルで実証する。 このアプローチでは、サブルーチンレベルでのコード再構成(すなわち、変更)が行われ、それによってより管理可能な変更が可能となり、ユニットテストによって検証されたセマンティックな整合性を維持します。 実験結果から,LLMをベースとしたプログラムシンセサイザーのコード突然変異能力向上のためのアプローチの有効性が示唆された。

関連論文リスト

• Metamorphic Malware Evolution: The Potential and Peril of Large Language Models [1.0878040851638]
  LLM/Transformerモデルに基づく自己テストプログラム変異エンジンを作成するためのフレームワークを提案する。 提案するフレームワークは、次世代の変成マルウェア検出エンジンをテストする上で不可欠なツールである。
  論文  参考訳（メタデータ） (2024-10-31T12:53:56Z)
• HexaCoder: Secure Code Generation via Oracle-Guided Synthetic Training Data [60.75578581719921]
  大規模言語モデル(LLM)は、自動コード生成に大きな可能性を示している。 最近の研究は、多くのLLM生成コードが深刻なセキュリティ脆弱性を含んでいることを強調している。 我々は,LLMがセキュアなコードを生成する能力を高めるための新しいアプローチであるHexaCoderを紹介する。
  論文  参考訳（メタデータ） (2024-09-10T12:01:43Z)
• Genetic Instruct: Scaling up Synthetic Generation of Coding Instructions for Large Language Models [54.51932175059004]
  本稿では,大規模言語モデルのコード生成能力を高めるために,合成命令を生成するスケーラブルな手法を提案する。 提案したアルゴリズムは進化過程を模倣し、自己インストラクションを利用して限られた数の種子から多数の合成サンプルを生成する。
  論文  参考訳（メタデータ） (2024-07-29T20:42:59Z)
• An Empirical Study on Capability of Large Language Models in Understanding Code Semantics [4.638578225024275]
  コードのための大規模言語モデル(コードLLM)は、様々なソフトウェア工学(SE)タスクで顕著なパフォーマンスを示している。 本稿では,コード意味論の理解におけるLLMの能力を評価するためのフレームワークであるEMPICAを紹介する。
  論文  参考訳（メタデータ） (2024-07-04T03:40:58Z)
• Validating LLM-Generated Programs with Metamorphic Prompt Testing [8.785973653167112]
  大規模言語モデル(LLM)は、ソフトウェア開発ライフサイクルにますます統合されています。 本稿では,これらの課題に対処するため,メタモルフィック・プロンプト・テストと呼ばれる新しい手法を提案する。 我々のHumanEvalに対する評価は,GPT-4が生成する誤プログラムの75%を,偽陽性率8.6%で検出できることを示す。
  論文  参考訳（メタデータ） (2024-06-11T00:40:17Z)
• Uncovering LLM-Generated Code: A Zero-Shot Synthetic Code Detector via Code Rewriting [78.48355455324688]
  そこで本研究では,コードと書き直された変種との類似性に基づいて,ゼロショット合成符号検出器を提案する。 以上の結果から,既存のテキスト用合成コンテンツ検出装置よりも顕著な向上が見られた。
  論文  参考訳（メタデータ） (2024-05-25T08:57:28Z)
• CodeIP: A Grammar-Guided Multi-Bit Watermark for Large Language Models of Code [56.019447113206006]
  大規模言語モデル(LLM)はコード生成において顕著な進歩を遂げた。 CodeIPは、新しいマルチビット透かし技術で、出所の詳細を保存するために追加情報を埋め込む。 5つのプログラミング言語にまたがる実世界のデータセットで実施された実験は、CodeIPの有効性を実証している。
  論文  参考訳（メタデータ） (2024-04-24T04:25:04Z)
• Assured LLM-Based Software Engineering [51.003878077888686]
  この記事では,2024年4月15日にポルトガルのリスボンで開催された International Workshop on Interpretability, Robustness, and Benchmarking in Neural Software Engineering で,Mark Harman 氏による基調講演の内容の概要を紹介する。
  論文  参考訳（メタデータ） (2024-02-06T20:38:46Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• Mutation-based Consistency Testing for Evaluating the Code Understanding Capability of LLMs [5.549095839198671]
  大きな言語モデル(LLM)は、自然言語とプログラミング言語の両方を処理する際、顕著な能力を示している。 本稿では,LLMのコード理解性能を評価する新しい手法を提案し,特にコードと記述の微妙な差異に着目した。 演算子置換やステートメント削除など,さまざまなタイプのコード突然変異を適用して,一貫性のないコード記述ペアを生成する。 我々は,現在最先端のコード生成ベンチマークであるHumanEval-Xを用いて,GPT-3.5とGPT-4の2つのLLMのケーススタディを行う。
  論文  参考訳（メタデータ） (2024-01-11T14:27:43Z)
• Test-Case-Driven Programming Understanding in Large Language Models for Better Code Generation [15.166827643436346]
  muFiXは、大きな言語モデル(LLM)のコード生成性能を改善する新しいプロンプト技術である。 まず、テストケース分析を利用して仕様の理解を得、自己改善プロセスを可能にする。 muFiXはさらに、提供された理解と実際の理解の間のギャップを減らす方向に向けた仕様理解を修正している。
  論文  参考訳（メタデータ） (2023-09-28T02:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。