論文の概要: An Empirical Security Evaluation of LLM-Generated Cryptographic Rust Code

• arxiv url: http://arxiv.org/abs/2604.27001v1
• Date: Wed, 29 Apr 2026 03:58:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:53.711579
• Title: An Empirical Security Evaluation of LLM-Generated Cryptographic Rust Code
• Title（参考訳）: LLM生成暗号ラスト符号の実証セキュリティ評価
• Authors: Mohamed Elsayed, Kenneth Fulton, Jeong Yang,
• Abstract要約: 本研究では,240Rustコードサンプルの暗号セキュリティを実証的に評価する。 生成されたコードサンプルの23.3%のみが正常にコンパイルされた。 3つのモデルはいずれも,ナンス再利用やAPI幻覚など,体系的な障害を示す。
• 参考スコア（独自算出の注目度）: 3.345437353879255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Developers and organizations are using Large Language Models (LLMs) to generate security-critical code more frequently than ever, including cryptographic solutions for their products. This study presents an empirical evaluation of cryptographic security in 240 Rust code samples for two crypto algorithms (AES-256-GCM and ChaCha20-Poly1305) generated by three LLMs (Gemini 2.5 Pro, GPT-4o, and DeepSeek Coder) using four different prompt strategies. For each successfully compiled code sample, CodeQL static analysis and our rule-based crypto-specific analyzer were used to detect vulnerabilities, which are also associated with Common Weakness Enumeration (CWE). The evaluation results revealed that only 23.3% of the generated code samples were successfully compiled. Among the compiled code, CodeQL produced only two false positives, while our rule-based crypto-specific analyzer identified vulnerabilities in 57% of the compiled samples with zero false positives. This demonstrates that general-purpose analysis tools are insufficient for code validation for the experimented crypto algorithms. The compilation success of the two algorithms varied significantly (AES-256-GCM 34.2% versus ChaCha20-Poly1305 12.5%), showing a gap in code generation capabilities. While model choice had no significant effect on compilation success, prompt strategy significantly influenced outcomes (P = 0.002), with chain-of-thought prompting performing 5 times worse than zero-shot. All three models exhibit systematic failures, including nonce reuse and API hallucinations.
• Abstract（参考訳）: 開発者や組織は、Large Language Models(LLM)を使用して、これまで以上にセキュリティクリティカルなコードを生成する。 本研究では,3つのLLM(Gemini 2.5 Pro, GPT-4o, DeepSeek Coder)が生成する2つの暗号アルゴリズム(AES-256-GCMとChaCha20-Poly1305)に対する240Rustコードサンプルの暗号セキュリティを,4つの異なるプロンプト戦略を用いて実証的に評価する。 正常にコンパイルされたコードサンプル毎に、CodeQLの静的解析とルールベースの暗号固有アナライザを使用して脆弱性を検出し、CWE(Common Weakness Enumeration)にも関連付けられました。 評価の結果、生成されたコードサンプルの23.3%のみが正常にコンパイルされたことがわかった。 コンパイルされたコードの中で、CodeQLは2つの偽陽性しか生成しなかった。 このことは、実験された暗号アルゴリズムのコード検証には汎用分析ツールが不十分であることを示している。 2つのアルゴリズムのコンパイル成功(AES-256-GCM 34.2%対ChaCha20-Poly1305 12.5%)はコード生成能力の差を示している。 モデル選択はコンパイルの成功に有意な影響を与えなかったが、即時戦略は結果に大きな影響を及ぼし(P = 0.002)、チェーン・オブ・シークレットはゼロショットの5倍の成績を示した。 3つのモデルはいずれも,ナンス再利用やAPI幻覚など,体系的な障害を示す。

関連論文リスト

• CryptoScope: Utilizing Large Language Models for Automated Cryptographic Logic Vulnerability Detection [10.620899430085576]
  我々は,Large Language Models(LLMs)を利用した暗号脆弱性の自動検出のための新しいフレームワークであるCryptoScopeを紹介する。 CryptoScopeがChain-of-Thought(CoT)とRetrieval-Augmented Generation(RAG)を併用 我々は,LLM-CLVAのCryptoScopeの評価を行った。
  論文  参考訳（メタデータ） (2025-08-15T17:07:54Z)
• VulCoCo: A Simple Yet Effective Method for Detecting Vulnerable Code Clones [11.650715913321076]
  VulCoCoは、脆弱なコードクローンを検出する軽量でスケーラブルなアプローチである。 まず、様々なクローンタイプにまたがる合成ベンチマークを構築します。 我々の実験によると、VulCoCoは精度@kと平均精度(MAP)で最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2025-07-22T14:54:57Z)
• Decompiling Smart Contracts with a Large Language Model [51.49197239479266]
  Etherscanの78,047,845のスマートコントラクトがデプロイされているにも関わらず(2025年5月26日現在)、わずか767,520 (1%)がオープンソースである。 この不透明さは、オンチェーンスマートコントラクトバイトコードの自動意味解析を必要とする。 バイトコードを可読でセマンティックに忠実なSolidityコードに変換する,先駆的な逆コンパイルパイプラインを導入する。
  論文  参考訳（メタデータ） (2025-06-24T13:42:59Z)
• HexaCoder: Secure Code Generation via Oracle-Guided Synthetic Training Data [60.75578581719921]
  大規模言語モデル(LLM)は、自動コード生成に大きな可能性を示している。 最近の研究は、多くのLLM生成コードが深刻なセキュリティ脆弱性を含んでいることを強調している。 我々は,LLMがセキュアなコードを生成する能力を高めるための新しいアプローチであるHexaCoderを紹介する。
  論文  参考訳（メタデータ） (2024-09-10T12:01:43Z)
• Uncovering LLM-Generated Code: A Zero-Shot Synthetic Code Detector via Code Rewriting [78.48355455324688]
  原符号とLLM書き換え版との類似性に基づく新しいゼロショット合成符号検出器を提案する。 以上の結果から,既存のSOTA合成コンテンツ検出装置よりも顕著な改善が得られた。
  論文  参考訳（メタデータ） (2024-05-25T08:57:28Z)
• How secure is AI-generated Code: A Large-Scale Comparison of Large Language Models [3.4887856546295333]
  本研究では,C言語記述時の脆弱性発生傾向について,最先端のLarge Language Model (LLM)を比較した。 生成されたプログラムの少なくとも62.07%は脆弱性がある。
  論文  参考訳（メタデータ） (2024-04-29T01:24:14Z)
• Zero-Shot Detection of Machine-Generated Codes [83.0342513054389]
  本研究は,LLMの生成したコードを検出するためのトレーニング不要な手法を提案する。 既存のトレーニングベースまたはゼロショットテキスト検出装置は、コード検出に効果がないことがわかった。 本手法は,リビジョン攻撃に対する堅牢性を示し,Javaコードによく適応する。
  論文  参考訳（メタデータ） (2023-10-08T10:08:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。