論文の概要: CESBench: Benchmarking Large Language Models on Cryptographic Engineering Security for IoT Devices

• arxiv url: http://arxiv.org/abs/2609.21344v1
• Date: Fri, 18 Sep 2026 05:59:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.871926
• Title: CESBench: Benchmarking Large Language Models on Cryptographic Engineering Security for IoT Devices
• Title（参考訳）: CESBench:IoTデバイスの暗号化エンジニアリングセキュリティに関する大規模言語モデルのベンチマーク
• Abstract要約: 大規模言語モデル(LLM)が暗号工学の構築と解析に使用されている。 CESBenchは、IoTデバイスの暗号化エンジニアリングセキュリティの6つのサブドメインで専門家が書いたアイテムをテストする。 各タスクタイプのトップスコアは、複数の選択で98.6%、コードで95.1%、シナリオ診断で88.4%、判断で58.8%である。
• 参考スコア（独自算出の注目度）: 28.97301812141804
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For Internet of Things (IoT) devices, a secure algorithm alone is not enough: an attacker with physical access can attack the implementation directly, and its flaws are hard to fix once deployed. Large language models (LLMs) are now used to build and analyze such implementations. LLM benchmarks exist for cryptography and general cybersecurity, but none covers cryptographic engineering. In this paper, we present CESBench, 380 expert-written items across six sub-domains of cryptographic engineering security for IoT devices: side-channel, fault injection, implementation, countermeasures, evaluation, and integration. Four task types target different competences: 209 multiple-choice items test recall, 67 judgment items require a security verdict and its justification, 63 scenario items require an engineering diagnosis, and 41 code tasks are graded by 572 test cases. To validate the benchmark, 11 open-weight and proprietary LLMs answer every item. Multiple-choice and code responses are scored automatically, and judgment and scenario responses by an LLM judge, whose scores are checked against a second judge from another model family and human re-scoring. Composite scores range from 54.4% to 83.6%. The top score on each task type is 98.6% for multiple choice, 95.1% for code, and 88.4% for scenario diagnosis, but only 58.8% for judgment. Across models, 88.5% of verdicts are correct, yet their justifications earn only 53.4% of the rubric marks. Multiple choice is near its ceiling for the strongest models and most code tasks are solved, whereas justifying a security verdict remains the weakest competence. The benchmark, prompts, and per-item results are public.
• Abstract（参考訳）: Internet of Things(IoT)デバイスでは、セキュアなアルゴリズムだけでは十分ではない。物理的なアクセスを持つ攻撃者が直接その実装を攻撃することができ、その欠陥は一度デプロイされた時に修正するのは難しい。 大規模言語モデル(LLM)は、そのような実装の構築と分析に使用されている。 LLMベンチマークは暗号と一般的なサイバーセキュリティのために存在するが、暗号工学をカバーしていない。 本稿では、サイドチャネル、フォールトインジェクション、実装、対策、評価、統合の6つのサブドメインにわたる、専門家によるIoTデバイスのセキュリティに関する380のアイテムであるCESBenchを紹介する。 4つのタスクタイプは、異なる能力をターゲットにしている。209項目の複数選択テストリコール、67項目の判断項目はセキュリティ判断と正当性、63項目のシナリオ項目はエンジニアリング診断、41項目のコードタスクは72のテストケースで評価される。 ベンチマークを検証するため、11のオープンウェイトでプロプライエタリなLLMが各項目に回答する。 複数選択及びコード応答は自動的にスコアされ、LLM審査員による判定及びシナリオ応答は、スコアが他のモデルファミリーの第2の判定と人間の再描画とでチェックされる。 総合得点は54.4%から83.6%である。 各タスクタイプのトップスコアは、複数の選択で98.6%、コードで95.1%、シナリオ診断で88.4%、判断で58.8%である。 モデル全体では88.5%の評決が正しいが、その正当性は53.4%のルーリックマークしか得られていない。 複数の選択肢は最強モデルの天井近くにあり、ほとんどのコードタスクは解決されるが、セキュリティの判断を正当化することは依然として最も弱い能力である。 ベンチマーク、プロンプト、イテム毎の結果は公開されています。

関連論文リスト

• SWE-Proof: Can Language Models Resolve Real-World Issues with Machine-Checked Proofs? [39.004582663385364]
  Benchprooferは、既知の正しいパッチでコーディングタスクを正式に認証されたパイプラインに変換するパイプラインです。 SWE-bench Verified に適用すると SWE-Proof が得られる。
  論文  参考訳（メタデータ） (2026-09-18T01:16:53Z)
• HoF-Bench: Rediscovering Real AI-Discovered CVEs Without Frontier Models [4.552360153162494]
  HoF-Benchは、脆弱なコミットにピン留めされた8つのリポジトリにわたる95の公開AI発見CVEから構築されたベンチマークである。 故意に最小限のLCMベースのアナライザは、この厳密なプロトコルの下で95個のCVE (68%) のうち65個をリコライズする。 HoF-Benchは、スキャナの比較のためのコンパクトなテストベッド、繰り返し実行される間の信頼性、そしてそれらが生成する候補ボリュームを提供する。
  論文  参考訳（メタデータ） (2026-07-29T15:25:07Z)
• CryptanalysisBench: Can LLMs do Cryptanalysis? [76.79639292270497]
  CryptanalysisBenchは、暗号プリミティブの6つのファミリーにまたがる191のタスクである。 我々のベンチマークは3つの階層から構成されている: (i) 実用的ブレークを既知のプリミティブ; (ii) 実用的ブレークを知らないプリミティブ。 5つのフロンティアモデルではタイア1スキームの65%-86%、全力で6-12ティア2スキーム、全スケールダウンモデルの24-61が破られる。
  論文  参考訳（メタデータ） (2026-07-20T22:09:40Z)
• Understanding and Evaluating Claw-like Agent Security Through a Computer-Systems Lens [65.53494487819053]
  クローのようなAIエージェント(OpenClawなど)は、認証情報、ファイル、ツール、外部サービスへの永続的なアクセスを伴う、常にオンのプロセスである。 我々はClawのようなエージェントをエージェントコンピュータシステムとして扱い、そのゲートウェイランタイムがOSのような仲介の役割を担っている。 我々は、4つの攻撃面にわたる406の敵タスクのベンチマークであるSafeClawArenaを開発した。
  論文  参考訳（メタデータ） (2026-06-29T18:00:45Z)
• CrypFormBench: Benchmarking Formal Analysis Capability of Large Language Models for Cryptographic Schemes [16.171581449458582]
  大規模言語モデル(LLM)は有望な代替手段であるが、この領域におけるそれらの有効性は未解明のままである。 CrypFormBench (C.F.B) は,5つのコアLLM機能を評価するために,シンボル的および計算的セキュリティを共同でカバーするベンチマークである。 677のスキームにまたがる700のインスタンス、7つの主要な形式検証言語、160のセキュリティプロパティで構成されている。 クロード3.5は100点中48.7点で最高得点を記録した。
  論文  参考訳（メタデータ） (2026-06-24T08:37:38Z)
• Mind the Gap: Can Frontier LLMs Pass a Standardized Office Proficiency Exam? [90.39633603556767]
  コンピュータ自動化のための大規模言語モデル(LLM)エージェントは加速しているが、複雑なプロフェッショナルグレードの生産性ソフトウェアをナビゲートする能力はほとんどテストされていない。 この能力を定量化するために,中国のコンピュータランク試験(NCRE)に基づく評価を導入する。 我々は7つのフロンティア LLM をベンチマークし、スターク制限を観測した。 より強力なエージェントシステムであり、実行フィードバック、反復的修復、より広いオフィス自動化アクセスは68.8%に達するが、スコアの正当性チェックとして使われる95.5%のコミュニティ基準スコアを下回っている。
  論文  参考訳（メタデータ） (2026-06-09T14:59:14Z)
• SecPI: Secure Code Generation with Reasoning Models via Security Reasoning Internalization [50.71047638695205]
  RLM(Reasoning Language Model)は、プログラミングにおいてますます使われている言語モデルである。 しかし、最先端のRLMでさえ、生成されたコードに重大なセキュリティ脆弱性を頻繁に導入する。 我々は、構造化されたセキュリティ推論を内部化するためのRTMを教える微調整パイプラインであるSecPIを提案する。
  論文  参考訳（メタデータ） (2026-04-04T04:29:11Z)
• Why LLMs Fail: A Failure Analysis and Partial Success Measurement for Automated Security Patch Generation [0.0]
  この研究では、Vul4Jベンチマークから64のJava脆弱性にまたがる319のLarge Language Models (LLM)生成セキュリティパッチを分析した。 三軸評価を用いて分析したところ、パッチの24.8%だけが完全な正当性を達成し、51.4%はセキュリティと機能の両方に失敗していることがわかった。 提案されたSecurity repair Score (SRS)はこのギャップを定量化し、LLMが機能を保存する(平均0.832)が、セキュリティに苦しむ(平均0.251)。
  論文  参考訳（メタデータ） (2026-03-10T05:34:56Z)
• Can Adversarial Code Comments Fool AI Security Reviewers -- Large-Scale Empirical Study of Comment-Based Attacks and Defenses Against LLM Code Analysis [0.0]
  敵対的なコメントは、検出精度に小さな、統計的に重要でない効果をもたらす。 複雑な敵戦略は単純な操作的コメントに勝るものではない。 コメントストリッピングは、有用なコンテキストを削除することで、より弱いモデルの検出を減らす。
  論文  参考訳（メタデータ） (2026-02-18T00:34:17Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
  SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。 まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。