論文の概要: Evaluating the Effectiveness of LLMs in Aiding Compliance Testing of PKCS#1-v1.5

• arxiv url: http://arxiv.org/abs/2606.18405v1
• Date: Tue, 16 Jun 2026 18:54:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:50.85633
• Title: Evaluating the Effectiveness of LLMs in Aiding Compliance Testing of PKCS#1-v1.5
• Title（参考訳）: PKCS#1-v1.5のコンプライアンステストにおけるLCMの有効性評価
• Authors: Polina Kozyreva, Endadul Hoque,
• Abstract要約: 仕様準拠のためのバイナリプロトコルの実装をテストするには、構造的制約と意味的制約の両方を満たす入力が必要である。 本研究は, LLMに基づくコード合成と文法レベルの変異が, 仕様コンプライアンステストにおいて, より実用的で一般化可能なアプローチとして機能するかどうかを考察する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Testing implementations of binary protocols for specification compliance requires inputs that satisfy both structural and semantic constraints. Purely random generation and primitive mutations are often insufficient for exploring semantically meaningful behaviors in protocols that rely on Type-Length-Value (TLV) encoding, yet domain-specific compliance testing tools require deep protocol expertise and significant manual effort to construct. This work investigates whether grammar-level mutation combined with LLM-based code synthesis can serve as a viable, more generalizable approach to specification compliance testing. We evaluate the approach on PKCS#1 v1.5 signature verification -- a widely deployed TLV-encoded standard with a formally verified testing oracle (Morpheus) -- across 48 cryptographic library implementations. We reproduced 10 of 13 non-trivial specification violation categories previously identified by Morpheus, including all 5 signature forgery categories, and discovered 1 previously unreported discrepancy. We found that LLM hallucination -- occurring in 82.5% of generated scripts -- is the primary factor limiting effectiveness, not the mutation strategies. We identify five distinct hallucination types and show that their distribution varies systematically across mutation categories: structural mutations are implemented with 13.3% fidelity while constraint mutations achieve 30.3% correctness but suffer the highest rate of mutations being fully ignored (8.1%). These findings reveal a striking gap between operational reliability (99.8%) and semantic fidelity (17.5%), providing actionable guidance on when LLM-based code synthesis can be trusted in specification-driven testing pipelines.
• Abstract（参考訳）: 仕様準拠のためのバイナリプロトコルの実装をテストするには、構造的制約と意味的制約の両方を満たす入力が必要である。 純粋にランダムな生成とプリミティブな突然変異は、TLV(Type-Length-Value)エンコーディングに依存するプロトコルで意味論的に意味のある振る舞いを探索するには不十分であることが多いが、ドメイン固有のコンプライアンステストツールは、深くプロトコルの専門知識と重要な手作業を必要とする。 本研究は, LLMに基づくコード合成と文法レベルの変異が, 仕様コンプライアンステストにおいて, より実用的で一般化可能なアプローチとして機能するかどうかを考察する。 PKCS#1 v1.5シグネチャ検証のアプローチを,48の暗号ライブラリ実装に対して評価した。 我々は,Morpheusが以前に同定した13の非自明な仕様違反カテゴリのうち,5つの署名偽造カテゴリを含む10の再現を行った。 LLM幻覚は、生成したスクリプトの82.5%で起こるが、突然変異戦略ではなく、有効性を制限する主要な要因であることがわかった。 構造突然変異は13.3%の忠実度で実施され、制約突然変異は30.3%の正しさを達成できるが、完全に無視される突然変異の割合が最も高い(8.1%)。 これらの結果は、運用上の信頼性(99.8%)と意味的忠実度(17.5%)の間に大きなギャップがあることを示し、LCMベースのコード合成が仕様駆動テストパイプラインでいつ信頼できるかを示す実用的なガイダンスを提供する。

関連論文リスト

• STMutants: A Mutation Testing Dataset for Structured Text Programs in Industrial Automation [0.28675177318965045]
  IEC 61131-3 構造化テキスト (Structured Text, ST) プログラムは、まだ公開されているベンチマークを欠いている。 STMutantsは,産業用自動化ソフトウェアのための突然変異試験データセットである。 STプログラムで最初に公開された突然変異ベンチマークを提供することで、STMutantsは再現可能な研究、突然変異解析、障害ローカライゼーション、PLCソフトウェアのAI支援品質保証を可能にする。
  論文  参考訳（メタデータ） (2026-06-03T22:47:54Z)
• Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence [56.25095230687242]
  コーディングエージェントは、しばしば自身のローカル検証ルーチンを過度に信頼し、表面チェックを満たすアーティファクトの成功を宣言する。 この問題は、事前評価が結果駆動である変換において特に深刻である。 ブラインド・コンバージョンは26.7-28.9%に達し、スペック・パスレートは91.1%まで上昇した。 このことは、失敗は限られた予算やバックボーンの強さよりも、契約ミスによる自己検証に起因していることを示唆している。
  論文  参考訳（メタデータ） (2026-05-27T19:57:15Z)
• Beyond Code Reasoning: Specification-Anchored Auditing of Multi-Implementation Distributed Protocols [1.5229705287183657]
  SPECAは、明示的で分類されたセキュリティプロパティを自然言語仕様から導き出し、実装間で再利用する監査フレームワークである。 RepoAuditのベンチマークでは、SPECAは100%リコール(F1=0.94)で88.9%の精度に達し、著者が検証した12のバグを地上の真実を超えて表面化している。 Sherlock Fusaka Audit Contest(10のターゲット、366の応募)では、SPECAが専門家が強化した15の脆弱性をすべて回復し、4つの修正確認バグが浮上した。
  論文  参考訳（メタデータ） (2026-04-29T09:57:07Z)
• Examining LLMs Ability to Summarize Code Through Mutation-Analysis [9.187740569361804]
  本稿では,要約がコードのロジックと真に一致するかどうかを直接検査する突然変異に基づく評価手法を提案する。 62プログラム中624件の変異生検評価を合計3つの実験で検証した。 変異の種類や位置は、より弱い効果を示す一方、要約精度は複雑さとともに急激に低下する。
  論文  参考訳（メタデータ） (2026-02-19T21:00:49Z)
• CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
  コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。 既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。 機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
  論文  参考訳（メタデータ） (2026-01-30T10:33:29Z)
• Contrastive Deep Learning for Variant Detection in Wastewater Genomic Sequencing [0.0]
  本稿では,Vector-Quantized Variational Autoencoders (VQ-VAE) を用いた非教師付きウイルス変異検出のための包括的フレームワークを提案する。 VQ-VAEは、参照ゲノムや変異ラベルを必要とせずに、k-merトークン化配列からゲノムパターンの離散コードブックを学習する。 我々のフレームワークは、ゲノム監視のスケーラブルで解釈可能なアプローチと、公衆衛生モニタリングへの直接的な応用を提供する。
  論文  参考訳（メタデータ） (2025-12-02T19:04:05Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• LLAMA: Multi-Feedback Smart Contract Fuzzing Framework with LLM-Guided Seed Generation [56.84049855266145]
  進化的突然変異戦略とハイブリッドテスト技術を統合したマルチフィードバックスマートコントラクトファジリングフレームワーク(LLAMA)を提案する。 LLAMAは、91%の命令カバレッジと90%のブランチカバレッジを達成すると同時に、148の既知の脆弱性のうち132が検出される。 これらの結果は、現実のスマートコントラクトセキュリティテストシナリオにおけるLAMAの有効性、適応性、実用性を強調している。
  論文  参考訳（メタデータ） (2025-07-16T09:46:58Z)
• A Comprehensive Study on Large Language Models for Mutation Testing [36.00296047226433]
  大規模言語モデル(LLM)は、最近、研究作業と産業実践の両方においてミュータントを生成するために使用されている。 BugFarm と LLMorpheus (最先端の2つの LLM ベースのアプローチ) を,Java の実世界の2つのバグベンチマークから,851 の実際のバグに対して評価した。 以上の結果から, LLMは既存のルールベースアプローチと比較して, 実際のバグに近づき, 111.29%の障害検出率を持つ, より多様な変異体を生成することが明らかとなった。
  論文  参考訳（メタデータ） (2024-06-14T08:49:41Z)
• Hierarchical Semi-Supervised Contrastive Learning for Contamination-Resistant Anomaly Detection [81.07346419422605]
  異常検出は、通常のデータ分布から逸脱したサンプルを特定することを目的としている。 コントラスト学習は、異常の効果的な識別を可能にする表現のサンプル化に成功している。 汚染耐性異常検出のための新しい階層型半教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-24T18:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。