CryptanalysisBench: Can LLMs do Cryptanalysis?
Abstractの概要
本論文では、主にNIST標準化コンペティションから抽出された6つの暗号プリミティブファミリーにわたる191の暗号解読タスクで構成されるベンチマーク「CryptanalysisBench」を紹介します。このベンチマークは3つの層で構成されており、Tier 1は既知の実用的な解読が存在するスキーム、Tier 2は実用的な攻撃が存在しないスキーム（フルスケールおよび縮小版の強度で評価）、そして最先端のプロダクションプリミティブのチャレンジセットとなっています。タスクは、モデルが完全な攻撃スクリプトを提出しなければならない自動化されたセキュリティゲームを用いて厳密に評価されます。5つの最先端の大規模言語モデルを評価したこの研究では、総合的な成功率に加え、成功が記憶されたバグによるものか、あるいは真の暗号解読の導出によるものかについての定性的な洞察を詳述しています。
新規性
本研究の新規性は、簡略化されたおもちゃの暗号やCTFの問題ではなく、本物の暗号スキームに対するLLMの能力を大規模かつ自動的に検証した点にあります。さらに、SpoC AEADに対する文書化されていない完全な鍵回復攻撃や、KINDIの公開されたCCA安全性証明の欠陥など、モデルによって自律的に生成された真に新しい発見を明らかにしています。
成果
評価の結果、最先端のモデルはTier 1スキームの65.3%から85.7%を解決し、Claude Mythos 5が最高のパフォーマンスを示しました。モデルは強度が最大であるTier 2のアルゴリズムでは著しく苦戦するものの、実装の欠陥、仕様が不十分な設計、弱体化されたバリアントにおけるスケーリングのアーティファクトを悪用することで、依然として注目すべき成果を挙げています。利用可能な時間予算を2時間から16時間に拡大することで、自律的な実行能力に継続的な制限があるにもかかわらず、モデルはより複雑な攻撃を合成できるようになり、ソルバーの解決力が大幅に向上しました。
論文の注目点
- CryptanalysisBenchは、自動化されたセキュリティゲームを通じて完全に検証される191の実世界の暗号タスクを用いて、言語モデルに課題を提示する。
- モデルはTier 1アルゴリズムの65〜86%の悪用に成功するが、フル強度のTier 2構成ではパフォーマンスが急激に低下する。
- 分析により、多数のアルゴリズム実装の欠陥とともに、SpoCおよびKINDIに対するこれまで未知であった独自の暗号解読手法が発見された。