論文の概要: Interpreting and Steering for Safe and Correct Code Generation

• arxiv url: http://arxiv.org/abs/2608.30025v1
• Date: Sun, 30 Aug 2026 20:30:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.159224
• Title: Interpreting and Steering for Safe and Correct Code Generation
• Title（参考訳）: 安全なコード生成のための解釈とステアリング
• Abstract要約: 我々は,大規模言語モデル(LLM)のコンポーネントによってコードの安全性がいかに表現されるか,あるいは駆動されるかを検討する。 CodeSec-Pairsは9,342のPythonセーフ・アンド・バルナブルなコントラストコードペアのデータセットです。 我々は、注意頭に対して安全性とコードの正確性を同時に適用するダブルステアリングアプローチであるDuoSteerを提案する。
• 参考スコア（独自算出の注目度）: 11.245452623181398
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) frequently generate source code containing vulnerabilities, yet little work studies the internal mechanisms that distinguish safe from vulnerable generation in them. In this work, we systematically perform a mechanistic interpretation of LLMs, aiming at both understanding how code safety-vs-vulnerability is represented or driven by components in an LM and turning the insights into actionable steering strategies to encourage safer code generation. To this end, we introduce CodeSec-Pairs, a dataset of 9,342 Python safe-and-vulnerable contrastive code pairs, sampled from Llama-3.1-8B-Instruct. Utilizing the dataset, we explore approaches to localize layers and attention heads that relate to code safety, and further experiment with different steering strategies for inference-time vulnerability reduction. In particular, we propose DuoSteer, a double-steering approach that simultaneously applies safety and code-correctness steering to attention heads. In experiments over five vulnerability types, DuoSteer leads to an average of -26.9% vulnerability rate reduction and +7.5% functional correctness improvement, which outperforms not only other steering variants but also prompting and supervised fine-tuning baselines. The advantage also replicates on Qwen-2.5-Coder-7B-Instruct with another 2,500 contrastive pairs sampled from that model.
• Abstract（参考訳）: 大規模言語モデル(LLM)は脆弱性を含むソースコードを頻繁に生成するが、脆弱性生成と安全性を区別する内部メカニズムについてはほとんど研究されていない。 本研究では,LCMの機構的解釈を体系的に実施し,コード安全性-vs-vulnerabilityがLMのコンポーネントによってどのように表現されるか,あるいは駆動されるかを理解するとともに,より安全なコード生成を促進するために,洞察を実行可能なステアリング戦略に変換することを目的としている。 この目的のために、Llama-3.1-8B-Instructからサンプルした、9,342のPythonのセーフ・アンド・バルナブルなコントラストコードペアのデータセットであるCodeSec-Pairsを紹介した。 データセットを利用することで、コードの安全性に関連するレイヤやアテンションヘッドをローカライズするアプローチを検討し、さらに推論時の脆弱性軽減のためのさまざまなステアリング戦略を試す。 特にDuoSteerを提案する。DuoSteerは2重ステアリング方式で、安全とコード修正を同時にアテンションヘッドに適用する。 5種類の脆弱性に対する実験では、DuoSteerは平均で-26.9%の脆弱性率の削減と+7.5%の機能的正当性の改善を実現している。 この利点は、Qwen-2.5-Coder-7B-Instructに、そのモデルからサンプルされた2500のコントラスト対を複製する。

関連論文リスト

• SecureForge: Finding and Preventing Vulnerabilities in LLM-Generated Code via Prompt Optimization [61.91729298584227]
  SecureForgeは、フロンティアモデルのセキュリティリスクを監査し、監査インフォームされたセキュアなシステムプロンプトを生成する自動化パイプラインである。 SecureForgeは、まず静的に検出可能な脆弱性を生成する良性プロンプトを特定し、その後、さまざまなシナリオの大規模な合成プロンプトコーパスに増幅する。 フロンティアモデルでは、SecureForgeは、ユニットテストの成功と出力セキュリティの両方において統計的に有意な改善をもたらし、出力脆弱性は最大48%削減された。
  論文  参考訳（メタデータ） (2026-05-08T18:40:47Z)
• Structured Safety Auditing for Balancing Code Correctness and Content Safety in LLM-Generated Code [6.664505682266256]
  コード生成のための大規模言語モデル(LLM)は通常、機能的正確性だけで評価される。 NLSafety-Utility Duality Score (SUDS)を提案する。
  論文  参考訳（メタデータ） (2026-04-13T21:52:57Z)
• Secure Code Generation via Online Reinforcement Learning with Vulnerability Reward Model [60.60587869092729]
  大規模言語モデル(LLM)は、ソフトウェア開発でますます使われているが、安全でないコードを生成する傾向は、現実世界のデプロイメントにとって大きな障壁である。 機能保存型セキュアコード生成のためのオンライン強化学習フレームワークSecCoderXを提案する。
  論文  参考訳（メタデータ） (2026-02-07T07:42:07Z)
• ProGuard: Towards Proactive Multimodal Safeguard [48.89789547707647]
  ProGuardは視覚言語プロアクティブガードであり、アウト・オブ・ディストリビューション(OOD)の安全性リスクを特定し記述する。 まず,2次安全ラベルとリスクカテゴリの両方を付加した87Kサンプルのモダリティバランスデータセットを構築した。 次に、強化学習を通して視覚言語ベースモデルを純粋に訓練し、効率的かつ簡潔な推論を実現する。
  論文  参考訳（メタデータ） (2025-12-29T16:13:23Z)
• DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models [50.21378052667732]
  我々は、ステップ内およびステップ間ダイナミクスという2つの異なる次元にわたるジェイルブレイク攻撃に対して、dLLM脆弱性の詳細な分析を行う。 デュアルステージアプローチによる脆弱性に対処する,トレーニング不要な防御フレームワークであるDiffuGuardを提案する。
  論文  参考訳（メタデータ） (2025-09-29T05:17:10Z)
• Ensembling Large Language Models for Code Vulnerability Detection: An Empirical Evaluation [69.8237598448941]
  本研究では,ソースコードの脆弱性検出において,Large Language Models(LLM)の性能を高めるためのアンサンブル学習の可能性を検討する。 脆弱性検出に適したスタック機能であるDynamic Gated Stacking (DGS)を提案する。
  論文  参考訳（メタデータ） (2025-09-16T03:48:22Z)
• A Mixture of Linear Corrections Generates Secure Code [20.94236753015922]
  大規模言語モデル(LLM)は、洗練されたコード生成タスクに熟練しているが、コードの脆弱性を確実に検出または回避するには効果がない。 現在のLLMは、脆弱なコードとセキュアなコードとを区別する正確な内部表現を符号化している。 本研究では,モデルのトークン生成確率を補正によって微調整する推論時ステアリング手法を開発した。
  論文  参考訳（メタデータ） (2025-07-13T06:27:33Z)
• HexaCoder: Secure Code Generation via Oracle-Guided Synthetic Training Data [60.75578581719921]
  大規模言語モデル(LLM)は、自動コード生成に大きな可能性を示している。 最近の研究は、多くのLLM生成コードが深刻なセキュリティ脆弱性を含んでいることを強調している。 我々は,LLMがセキュアなコードを生成する能力を高めるための新しいアプローチであるHexaCoderを紹介する。
  論文  参考訳（メタデータ） (2024-09-10T12:01:43Z)
• Is Your AI-Generated Code Really Safe? Evaluating Large Language Models on Secure Code Generation with CodeSecEval [20.959848710829878]
  大規模言語モデル(LLM)は、コード生成とコード修復に大きな進歩をもたらした。 しかし、GitHubのようなオープンソースのリポジトリから無防備なデータを使用したトレーニングは、セキュリティ上の脆弱性を必然的に伝播するリスクを増大させる。 我々は,コードLLMのセキュリティ面を正確に評価し,拡張することを目的とした総合的研究を提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。