論文の概要: SecRL-Prune: Structured Reinforcement Learning-Based Pruning of CodeLLMs for Preserving Adversarial Code Mutation

• arxiv url: http://arxiv.org/abs/2606.06254v1
• Date: Thu, 04 Jun 2026 14:55:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.878215
• Title: SecRL-Prune: Structured Reinforcement Learning-Based Pruning of CodeLLMs for Preserving Adversarial Code Mutation
• Title（参考訳）: SecRL-Prune: 逆コード変異を保存するためのCodeLLMの構造化強化学習に基づくプルーニング
• Authors: Parsa Memarzadehsaghezi, Pooria Madani, Khalil El-Khatib,
• Abstract要約: SecRL-Pruneは、大規模コード言語モデル(CodeLLM)のための構造化プルーニングフレームワークである。 教師-学生KL分割報酬を用いた強化学習による階層的プルーニング政策を学習する。 pass@kを用いてHumanEval上のSecRL-Pruneを3つの7BコードLLMに対して10～30%の圧縮で実行精度とvar@kで評価した。
• 参考スコア（独自算出の注目度）: 0.4078247440919472
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large code language models (CodeLLMs) can generate and rewrite programs, enabling functionality-preserving code mutation that may be used to create diverse malware variants and evade signature-based detection. A key security question is whether this mutation capability survives model compression, which would make deployment feasible under limited hardware budgets. We propose SecRL-Prune, a structured pruning framework for CodeLLMs that operates on feed-forward (MLP/FFN) channels. Starting from a pretrained teacher, it learns a layer-wise pruning policy with reinforcement learning using a teacher-student KL-divergence reward. To improve efficiency, we cache the teacher's top-P predictions once and compare the pruned student against this compact target, avoiding simultaneous teacher-student residency in GPU memory. We evaluate SecRL-Prune on HumanEval using pass@k for execution correctness and var@k for code diversity across three 7B CodeLLMs at 10-30% compression. SecRL-Prune consistently preserves higher pass@k and var@k than recent structured pruning baselines under aggressive pruning. In a case study on real malware samples, semantics-preserving mutations from 20%-pruned models substantially reduced detections. These results show that code mutation capability can survive significant structured pruning, highlighting the security relevance of compressed CodeLLMs.
• Abstract（参考訳）: 大規模なコード言語モデル(CodeLLMs)はプログラムの生成と書き直しが可能で、多様なマルウェアの変異を発生させ、署名に基づく検出を避けるのに使用できる機能を保存するコード変異を可能にする。 重要なセキュリティ上の問題は、この突然変異能力がモデル圧縮を生き残るかどうかである。 フィードフォワード(MLP/FFN)チャネルで動作するCodeLLMのための構造化プルーニングフレームワークSecRL-Pruneを提案する。 プレトレーニングされた教師から始めて、教師-学生KL分散報酬を用いて強化学習による階層的プルーニング政策を学習する。 効率を向上させるため、教師の上位P予測を一度キャッシュし、このコンパクトな目標と比較し、GPUメモリにおける教師と学生の同時滞留を回避する。 pass@kを用いてHumanEval上のSecRL-Pruneを3つの7BコードLLMに対して10～30%の圧縮で実行精度とvar@kで評価した。 SecRL-Pruneは、アグレッシブプルーニングによる最近の構造化プルーニングベースラインよりも高いパス@kとvar@kを一貫して保持する。 実際のマルウェアサンプルのケーススタディでは、20%切断されたモデルからのセマンティックス保存変異が検出を大幅に削減した。 これらの結果から,コード変異能力は重要な構造化プルーニングを継続し,圧縮されたCodeLLMのセキュリティ関連性を強調した。

関連論文リスト

• Improving Small Language Models for Code Generation with Reinforcement Learning from Verification Feedback [0.0]
  検証可能な(RLVR)言語モデルを用いた強化学習は、単体テスト結果を用いて訓練する。 MBPPベンチマークを用いたPythonコード生成のためのRLVRの実証的研究を行った。 その結果、コード生成におけるRLVRの有効性は、設計と最適化に非常に敏感であることがわかった。
  論文  参考訳（メタデータ） (2026-05-28T18:50:00Z)
• Learning to Evict from Key-Value Cache [17.365511268829703]
  我々はKV Policyを紹介した。KV Policyはトークンのランク付けを学習するためのフレームワークであり、将来的な復号化に役立つと予測されている。 長文ベンチマークRULERとマルチターンダイアログベンチマークOASST2-4kの2種類のモデルファミリで評価した。 その結果、将来のトークンユーティリティを予測する学習は、適応的なKVキャッシュ管理のための強力でスケーラブルなパラダイムであることが示されている。
  論文  参考訳（メタデータ） (2026-02-10T19:34:15Z)
• CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
  コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。 既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。 機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
  論文  参考訳（メタデータ） (2026-01-30T10:33:29Z)
• SecureCodeRL: Security-Aware Reinforcement Learning for Code Generation with Partial-Credit Rewards [1.5377279217726239]
  本稿ではセキュリティ対応コード生成のための強化学習パイプラインSecureCodeRLを提案する。 鍵となるアイデアは、中間スコアを妥当性、実行成功、出力の生成に割り当てる部分クレジット機能報酬である。 Banditは小さな評価では見つからなかったが、セキュリティ用語はトレーニングに統合され、それらが現れると安全でないショートカットを回避できる。
  論文  参考訳（メタデータ） (2026-01-03T13:36:36Z)
• The Choice of Divergence: A Neglected Key to Mitigating Diversity Collapse in Reinforcement Learning with Verifiable Reward [57.56453588632619]
  Reinforcement Learning with Verifiable Reward (RLVR) を用いた細調整大型言語モデル(LLM)における中心的パラドックスは、多目的性能の頻繁な劣化である。 これはしばしば破滅的な忘れが伴い、モデルが以前獲得したスキルを失う。 我々は,標準RLVR目標には知識保持のための重要なメカニズムが欠如していると主張している。
  論文  参考訳（メタデータ） (2025-09-09T06:34:32Z)
• Exploiting Discriminative Codebook Prior for Autoregressive Image Generation [54.14166700058777]
  トークンベースの自己回帰画像生成システムは、まずトークンインデックスのシーケンスをコードブックでトークン化し、次にこれらのシーケンスを自己回帰パラダイムでモデル化する。 自己回帰生成モデルはインデックス値のみに基づいて訓練されるが、豊富なトークン類似性情報を含むコードブックにエンコードされた前者は利用されない。 近年の研究では、トークン上に単純なk平均クラスタリングを行い、コードブックを減らした生成モデルのトレーニングを容易にすることで、これを先に組み込もうとしている。 k-meansの代替として、差別的コードブック先駆者(DCPE)を提案する。
  論文  参考訳（メタデータ） (2025-08-14T15:00:00Z)
• DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation [68.19756761027351]
  拡散大言語モデル(dLLM)は自己回帰(AR)モデルの魅力的な代替品である。 本研究は,それらの認知過程と強化学習手法について考察する。 我々の研究は、dLLM生成のメカニズムについて深い洞察を与え、効果的な拡散ネイティブなRLトレーニングフレームワークを提供します。
  論文  参考訳（メタデータ） (2025-06-25T17:35:47Z)
• Process Supervision-Guided Policy Optimization for Code Generation [15.943210767010045]
  単体テストフィードバックによる強化学習(RL)は、大規模言語モデルのLLM(LLM)コード生成を強化したが、完全なコード評価後にのみ提供されるスパース報酬に依存している。 本稿では,人間のコード修正を模倣したプロセス・リワード・モデル(PRM)を提案する。
  論文  参考訳（メタデータ） (2024-10-23T07:22:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。