論文の概要: JevVibe: Efficient Classification-Guided Secure Code Generation
- arxiv url: http://arxiv.org/abs/2609.34963v1
- Date: Mon, 28 Sep 2026 11:47:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:29:35.440195
- Title: JevVibe: Efficient Classification-Guided Secure Code Generation
- Title(参考訳): JevVibe: 効率的な分類ガイド付きセキュアコード生成
- Abstract要約: Jevは、宣言された候補セットから直接選択し、各候補に対して確率を返す決定モデルである。
JevVibeは診断誘導修復剤で、Qwen2.5-Coder-32B-Instructによって生成されたコードに予測されたCWEラベルを使用する。
- 参考スコア(独自算出の注目度): 13.179507242314253
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models can generate functionally correct code that still contains security weaknesses, motivating repair pipelines that first diagnose a weakness type before deciding how to fix it. The Common Weakness Enumeration (CWE) provides a standardized vocabulary for such diagnoses, but asking an autoregressive language model to generate a CWE label and extracting it from the response raises questions about output validity, speed, and cost, as well as accuracy. We evaluate Jev, a decision model that instead selects directly from a declared set of candidates and returns a probability for each, against six open-weight autoregressive models and a frontier proprietary model, GPT-5.6-Sol, on a controlled 50-way CWE classification task over 1,916 CyberSecEval benchmark examples. Jev outperforms all six open-weight baselines on every classification and ranking metric, while its comparison with GPT-5.6-Sol depends on the metric: GPT-5.6-Sol achieves higher Top-1 accuracy and Macro-F1, whereas Jev achieves higher Top-3 and Top-5 accuracy and a nearly identical MRR, at $6.27\times$ lower median API latency and $55.9\times$ lower estimated API cost. We further build JevVibe, a diagnosis-guided repair agent that uses predicted CWE labels to repair code generated by Qwen2.5-Coder-32B-Instruct. With Jev providing the diagnosis, the agent increases the detector-measured security pass rate from 63.5% before repair to 70.7%, compared with 66.1% for LLM-guided repair. These results show that JevVibe is effective at improving the security of generated code, with Jev providing reliable and efficient CWE classification.
- Abstract(参考訳): 大規模な言語モデルは、セキュリティの弱点がまだ残っている機能的に正しいコードを生成することができる。
共通弱度列挙(Common Weakness Enumeration、CWE)は、そのような診断のための標準化された語彙を提供するが、自己回帰言語モデルにCWEラベルを生成し、応答から抽出すると、出力の妥当性、速度、コスト、精度に関する疑問が提起される。
我々は、宣言された候補集合から直接選択し、それぞれに対して確率を返す決定モデルであるJevを、制御された50ウェイCWE分類タスク1,916以上のCyberSecEvalベンチマークで6つのオープンウェイト自己回帰モデルとフロンティアプロプライエタリモデルであるGPT-5.6-Solに対して評価する。
GPT-5.6-SolはTop-1の精度とMacro-F1を達成するのに対し、JevはTop-3とTop-5の精度とほぼ同一のMRRを6.27\times$低い中央値APIレイテンシと5.9\times$低い推定APIコストで達成する。
我々はさらに,Qwen2.5-Coder-32B-Instructで生成されたコードに対して,予測されたCWEラベルを用いた診断誘導修復エージェントであるJevVibeを構築した。
Jevが診断を提供すると、検出されたセキュリティパス率は63.5%から70.7%に増加し、LSM誘導修理では66.1%となった。
これらの結果は,JevVibeが生成コードのセキュリティ向上に有効であることを示し,Jevは信頼性と効率的なCWE分類を提供する。
関連論文リスト
- VisionPsy-Nano: Improving Accuracy, Efficiency, and Reliability in On-Device Vision-Language Models [13.380579173138115]
デバイス上のユーザビリティは、正確性、効率性、行動信頼性の3つの軸に依存します。
textbfNanoFull は 17 以上のベンチマークで 62.3 の正規化平均を達成した。
Pixel 9は128ドルから6.1ドル(23$times$)に。
論文 参考訳(メタデータ) (2026-09-23T06:29:28Z) - X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation [34.99298958122614]
X-AuTは、短い振る舞いプローブを通して層の組み合わせを選択するプログレッシブフレームワークである。
表現アライメント、クロススケール蒸留、スケジュールされた学生政治監督、LoRAファインタニングを通じて、プルーニングモデルを復元する。
18から16のオーディオエンコーダ層からQwen3-ASR-0.6Bを圧縮した10の公開英語ベンチマークでは、マクロ平均誤差が5.61%から5.27%に減少する。
論文 参考訳(メタデータ) (2026-09-10T11:43:17Z) - TRACE: A Self-Evolving Skill Bank for Consistent, Limit-Aware LLM Agents [41.82249291285459]
TRACEは、モデルウェイトを変更することなく、スキルベースのエージェントの行動知識を反復的に改善する。
GPT-5.5では、TRACEは一貫性(Pass3)を34.6ポイント改善し、59.9%から94.5%に改善した。
これらの結果から,TRACEは高モデルポテンシャルを安定かつ一貫した性能向上に変換することを示した。
論文 参考訳(メタデータ) (2026-08-24T04:36:03Z) - When Uncertainty Isn't Enough: An Empirical Study of Self-Correction in Code Generation [3.657882835504143]
本研究では、自然言語からコード生成への変換のために開発された不確実性推定手法と、選択的な自己補正によるコード生成を改善できるかどうかを検討する。
我々は,平均トークンエントロピー,言語的信頼度,$P(textTrue)$,エントロピーアンサンブル,意味エントロピープローブの5つの不確実性を評価した。
マルチサンプル$P(textTrue)$は正しさと最も強い相関を達成でき、セマンティックエントロピープローブを含む他のすべての手法は弱い相関しか得られない。
論文 参考訳(メタデータ) (2026-07-31T21:13:02Z) - Vulnerability of Natural Language Classifiers to Evolutionary Generated Adversarial Text [42.24843546370802]
本稿では,自然言語モデルに対する敵対的攻撃を生成するハイブリッド遺伝的アルゴリズム(GA)を提案する。
GAversaryは、BAEやA2T攻撃と比較して、テストデータに対するターゲットモデルの精度を大幅に削減することができる。
論文 参考訳(メタデータ) (2026-06-25T16:05:38Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳(メタデータ) (2026-05-15T17:08:27Z) - Large Language Models Versus Static Code Analysis Tools: A Systematic Benchmark for Vulnerability Detection [0.0]
業界標準の3つの静的コード分析ツール(Sonar、CodeQL、Snyk Code)と、GitHub Modelsプラットフォーム(GPT-4.1、Mistral Large、DeepSeek V3)にホストされた最先端の3つの大規模言語モデルを評価した。
63の脆弱性を埋め込んだ10の現実世界のC#プロジェクトのキュレートされたスイートを使用して、古典的な精度(精度、リコール、Fスコア)、分析のレイテンシ、粒度、真の肯定性を検証するために必要な開発者の労力を測定します。
開発初期段階の言語モデルを採用して、広義のコンテキスト認識検出と検出を行う、ハイブリッドパイプラインを推奨します。
論文 参考訳(メタデータ) (2025-08-06T13:48:38Z) - VADER: A Human-Evaluated Benchmark for Vulnerability Assessment, Detection, Explanation, and Remediation [0.8087612190556891]
VADERは174の現実世界のソフトウェア脆弱性で構成されており、それぞれがGitHubから慎重にキュレーションされ、セキュリティ専門家によって注釈付けされている。
各脆弱性ケースに対して、モデルは欠陥を特定し、Common Weaknession(CWE)を使用して分類し、その根本原因を説明し、パッチを提案し、テストプランを策定する。
ワンショットプロンプト戦略を用いて、VADER上で6つの最先端LCM(Claude 3.7 Sonnet, Gemini 2.5 Pro, GPT-4.1, GPT-4.5, Grok 3 Beta, o3)をベンチマークする。
我々の結果は現在の状態を示している。
論文 参考訳(メタデータ) (2025-05-26T01:20:44Z) - A Preliminary Study on the Robustness of Code Generation by Large Language Models [40.01096420024215]
CoderEvalベンチマークを用いて,LLM生成したコードロバスト性に関する実証的研究を行った。
出力の35.2%は、人間が書いたコードよりも堅牢ではなく、条件チェックの欠如による90%以上の欠陥があることがわかった。
このような問題に対処するため,モデルに依存しないフレームワークであるRobGenを提案する。
論文 参考訳(メタデータ) (2025-03-26T03:44:03Z) - Hybrid-Segmentor: A Hybrid Approach to Automated Fine-Grained Crack Segmentation in Civil Infrastructure [52.2025114590481]
エンコーダ・デコーダをベースとした手法であるHybrid-Segmentorを導入する。
これにより、モデルは、様々な種類の形状、表面、き裂の大きさを区別する一般化能力を向上させることができる。
提案モデルは,5つの測定基準(精度0.971,精度0.804,リコール0.744,F1スコア0.770,IoUスコア0.630)で既存ベンチマークモデルより優れ,最先端の状態を達成している。
論文 参考訳(メタデータ) (2024-09-04T16:47:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。