論文の概要: Teaching an Old LLM Secure Coding: Localized Preference Optimization on Distilled Preferences

• arxiv url: http://arxiv.org/abs/2506.00419v1
• Date: Sat, 31 May 2025 06:48:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:32.980538
• Title: Teaching an Old LLM Secure Coding: Localized Preference Optimization on Distilled Preferences
• Title（参考訳）: 古いLLMセキュアコーディングを教える:蒸留選好の局所的選好最適化
• Authors: Mohammad Saqib, Saikat Chakraborty, Santu Karmaker, Niranjan Balasubramanian,
• Abstract要約: セキュアなコード生成を改善する上で,2つの重要な課題に対処する。 まず、幅広いセキュリティ問題をカバーする高品質なトレーニングデータを取得することが重要です。 第二に、モデルをセキュアなコードに整合させるには、ローカライズされたコードの領域にフォーカスする必要がある。
• 参考スコア（独自算出の注目度）: 19.791588510105687
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM generated code often contains security issues. We address two key challenges in improving secure code generation. First, obtaining high quality training data covering a broad set of security issues is critical. To address this, we introduce a method for distilling a preference dataset of insecure and secure code pairs from frontier LLMs, along with a security reasoning that explains the issues and the fix. The key idea here is to make use of security knowledge sources to devise a systematic prompting strategy that ensures broad coverage. Second, aligning models to secure code requires focusing on localized regions of code. Direct preference optimization methods, like SimPO, are not designed to handle these localized differences and turn out to be ineffective. We address this with a new localized preference optimization algorithm that masks the security related tokens in both the winning (secure) and losing (insecure) responses. To prevent loss in code quality, we also add a regularizer. Evaluations show that both training on our dataset, DiSCo, and the new preference optimization algorithm, LPO, yield substantial reductions in code insecurity while also improving overall code quality. Code and dataset are available at https://github.com/StonyBrookNLP/disco-lpo.
• Abstract（参考訳）: LLM生成コードにはセキュリティの問題がしばしば含まれている。 セキュアなコード生成を改善する上で,2つの重要な課題に対処する。 まず、幅広いセキュリティ問題をカバーする高品質なトレーニングデータを取得することが重要です。 この問題に対処するために,フロンティアLSMからセキュアでセキュアなコードペアの選好データセットを抽出する手法と,その問題と修正を説明するセキュリティ推論を導入する。 ここでの鍵となるアイデアは、セキュリティ知識ソースを使用して、広範なカバレッジを保証するシステマティックなプロンプト戦略を考案することだ。 第二に、モデルをセキュアなコードに整合させるには、ローカライズされたコードの領域にフォーカスする必要がある。 SimPOのような直接選好最適化手法は、これらの局所的な差異に対処するために設計されておらず、非効率であることが判明した。 このアルゴリズムは、勝利(安全)と負け(安全)の両方の応答において、セキュリティ関連のトークンを隠蔽する。 コード品質の低下を防止するため、正規化ツールも追加します。 評価の結果、データセットのトレーニングであるDiSCoと、新しい優先度最適化アルゴリズムであるLPOの両方が、コードセキュリティの大幅な削減と、全体的なコード品質の向上を実現しています。 コードとデータセットはhttps://github.com/StonyBrookNLP/disco-lpo.comで公開されている。

関連論文リスト

• Improving LLM Safety Alignment with Dual-Objective Optimization [65.41451412400609]
  大規模言語モデル(LLM)の既存のトレーニング時間安全アライメント技術は、ジェイルブレイク攻撃に対して脆弱なままである。 本研究では,DPOの目的を2つの構成要素にまとめる安全アライメントの改善について提案する。(1) 安全でない世代が部分的に発生しても拒否を促す頑健な拒絶訓練,(2) 有害な知識の未学習。
  論文  参考訳（メタデータ） (2025-03-05T18:01:05Z)
• ProSec: Fortifying Code LLMs with Proactive Security Alignment [14.907702430331803]
  コード固有の大規模言語モデル(LLM)は、現実世界のシステムに脆弱性をもたらす可能性がある。 コードLLMをセキュアなコーディングプラクティスと整合させるために設計された,新たなセキュリティアライメントアプローチであるProSecを提案する。 実験により、ProSecでトレーニングされたモデルは、以前の研究よりも25.2%から91.4%安全であることが示されている。
  論文  参考訳（メタデータ） (2024-11-19T22:00:01Z)
• HexaCoder: Secure Code Generation via Oracle-Guided Synthetic Training Data [60.75578581719921]
  大規模言語モデル(LLM)は、自動コード生成に大きな可能性を示している。 最近の研究は、多くのLLM生成コードが深刻なセキュリティ脆弱性を含んでいることを強調している。 我々は,LLMがセキュアなコードを生成する能力を高めるための新しいアプローチであるHexaCoderを紹介する。
  論文  参考訳（メタデータ） (2024-09-10T12:01:43Z)
• Constrained Decoding for Secure Code Generation [9.007821185927277]
  本稿では、コードLLMがセキュアかつ正しいコードを生成する能力を測定するための新しいベンチマークであるCodeGuard+を紹介する。 我々は,現在最先端の防御技術であるプレフィックスチューニングが,セキュアなコードを生成するが機能的正当性を犠牲にしているため,従来考えられていたほど強力ではないことを示す。 セキュアなコードを生成するための制約付き復号法を提案する。
  論文  参考訳（メタデータ） (2024-04-30T21:52:19Z)
• CodeAttack: Revealing Safety Generalization Challenges of Large Language Models via Code Completion [117.178835165855]
  本稿では,自然言語入力をコード入力に変換するフレームワークであるCodeAttackを紹介する。 我々の研究は、コード入力に対するこれらのモデルの新たな、普遍的な安全性の脆弱性を明らかにした。 CodeAttackと自然言語の分布ギャップが大きくなると、安全性の一般化が弱くなる。
  論文  参考訳（メタデータ） (2024-03-12T17:55:38Z)
• Pre-trained Encoders in Self-Supervised Learning Improve Secure and Privacy-preserving Supervised Learning [63.45532264721498]
  自己教師付き学習は、ラベルのないデータを使ってエンコーダを事前訓練するための新しいテクニックである。 我々は、事前訓練されたエンコーダがセキュア・プライバシ保護型学習アルゴリズムの限界に対処できるかどうかを理解するための、最初の体系的、原則的な測定研究を行う。
  論文  参考訳（メタデータ） (2022-12-06T21:35:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。