論文の概要: Cybersecurity AI in OT: Insights from an AI Top-10 Ranker in the Dragos OT CTF 2025
- arxiv url: http://arxiv.org/abs/2511.05119v1
- Date: Fri, 07 Nov 2025 10:04:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-10 21:00:44.730593
- Title: Cybersecurity AI in OT: Insights from an AI Top-10 Ranker in the Dragos OT CTF 2025
- Title(参考訳): OTにおけるサイバーセキュリティAI: OT CTF 2025におけるAIトップ10ランキングからの洞察
- Authors: Víctor Mayoral-Vilches, Luis Javier Navarrete-Lozano, Francesco Balassone, María Sanz-Gómez, Cristóbal Ricardo Veas Chávez, Maite del Mundo de Torres,
- Abstract要約: 我々は,Dragos OT CTF 2025におけるCAI(Cybersecurity AI)のパフォーマンスについて検討する。
CAIテレメトリと公式のリーダーボードデータを使用して、CAIの軌道を、主要な人間運用チームと比較して定量化します。
- 参考スコア(独自算出の注目度): 0.36134114973155557
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Operational Technology (OT) cybersecurity increasingly relies on rapid response across malware analysis, network forensics, and reverse engineering disciplines. We examine the performance of Cybersecurity AI (CAI), powered by the \texttt{alias1} model, during the Dragos OT CTF 2025 -- a 48-hour industrial control system (ICS) competition with more than 1,000 teams. Using CAI telemetry and official leaderboard data, we quantify CAI's trajectory relative to the leading human-operated teams. CAI reached Rank~1 between competition hours 7.0 and 8.0, crossed 10,000 points at 5.42~hours (1,846~pts/h), and completed 32 of the competition's 34 challenges before automated operations were paused at hour~24 with a final score of 18,900 points (6th place). The top-3 human teams solved 33 of 34 challenges, collectively leaving only the 600-point ``Kiddy Tags -- 1'' unsolved; they were also the only teams to clear the 1,000-point ``Moot Force'' binary. The top-5 human teams averaged 1,347~pts/h to the same milestone, marking a 37\% velocity advantage for CAI. We analyse time-resolved scoring, category coverage, and solve cadence. The evidence indicates that a mission-configured AI agent can match or exceed expert human crews in early-phase OT incident response while remaining subject to practical limits in sustained, multi-day operations.
- Abstract(参考訳): オペレーショナル・テクノロジー(OT)のサイバーセキュリティは、マルウェア分析、ネットワーク法医学、リバースエンジニアリングの分野における迅速な対応にますます依存している。
我々は,Dragos OT CTF 2025(48時間産業制御システム(ICS)コンペティション)において,‘texttt{alias1}モデルによるサイバーセキュリティAI(CAI)’のパフォーマンスを検討した。
CAIテレメトリと公式のリーダーボードデータを使用して、CAIの軌道を、主要な人間運用チームと比較して定量化します。
CAIは、競技時間7.0から8.0の間で1位まで上昇し、5.42~24時間(1,846〜pts/h)で1万点を突破し、自動運転が24時間から24時間に停止される前に、競技の34の課題のうち32が完了し、最終スコアは18,900点(6位)となった。
トップ3の人間チームは34の課題のうち33の課題を解決し、600点の ``Kiddy Tags -- 1'' のみを未解決に残し、1000点の ``Moot Force' のバイナリをクリアした唯一のチームとなった。
トップ5の人間チームは平均1,347〜pts/hで同じマイルストーンに達した。
我々は、時間分解スコア、カテゴリーカバレッジ、ケイデンスを解析する。
この証拠は、ミッション設定されたAIエージェントが、持続的、複数日間の運用において実践的な制限を被ったまま、早期のOTインシデント応答において、専門家の乗組員と一致または超えることができることを示している。
関連論文リスト
- The 9th AI City Challenge [64.32227009699942]
第9回AIシティチャレンジは、輸送、産業自動化、公共安全におけるコンピュータビジョンとAIの現実的な応用を推し進めている。
2025年版では4トラックが収録され、17%が参加し、評価サーバに登録された15カ国から245チームが参加した。
チャレンジデータセットのパブリックリリースにより、これまでに3万回以上ダウンロードされた。
論文 参考訳(メタデータ) (2025-08-19T06:55:06Z) - Security Challenges in AI Agent Deployment: Insights from a Large Scale Public Competition [101.86739402748995]
44の現実的なデプロイメントシナリオを対象とした,22のフロンティアAIエージェントを対象にしています。
Agent Red Teamingベンチマークを構築し、19の最先端モデルで評価します。
私たちの発見は、今日のAIエージェントの重要かつ永続的な脆弱性を浮き彫りにしたものです。
論文 参考訳(メタデータ) (2025-07-28T05:13:04Z) - Evaluating AI cyber capabilities with crowdsourced elicitation [0.0]
我々は、新興AI能力に対する時間的かつ費用対効果の高い状況認識を維持するための実践的なメカニズムとして、Elicitation bountiesを提案する。
METRの手法を適用すると、AIエージェントは中央のヒトCTF参加者から1時間以下の労力を必要とするサイバー課題を確実に解決できることがわかった。
論文 参考訳(メタデータ) (2025-05-26T12:40:32Z) - CAI: An Open, Bug Bounty-Ready Cybersecurity AI [0.3889280708089931]
Cybersecurity AI(CAI)は、特殊なAIエージェントを通じて高度なセキュリティテストを民主化する、オープンソースのフレームワークである。
CAI は CTF ベンチマークで常に最先端の結果を上回っていることを示す。
CAIはスペインで30位、Hack The Boxで500位に達した。
論文 参考訳(メタデータ) (2025-04-08T13:22:09Z) - HCAST: Human-Calibrated Autonomy Software Tasks [1.5287939112540956]
HCASTは189の機械学習エンジニアリング、サイバーセキュリティ、ソフトウェアエンジニアリング、一般的な推論タスクのベンチマークである。
HCASTタスクは1分から8時間以上かかると見積もっている。
我々は、フロンティア基礎モデルに基づいて構築されたAIエージェントの成功率を評価する。
論文 参考訳(メタデータ) (2025-03-21T17:54:01Z) - The 8th AI City Challenge [57.25825945041515]
2024年版では5トラックが収録され、47か国と地域の726チームから前例のない関心を集めた。
このチャレンジでは、2つのリーダーボードを使ってメソッドを展示し、参加者は新しいベンチマークを設定した。
論文 参考訳(メタデータ) (2024-04-15T03:12:17Z) - The 7th AI City Challenge [87.23137854688389]
AIシティチャレンジの第7版では、コンピュータビジョンと人工知能の交差点にある2つのドメインを強調している。
2023年大会には5つのトラックがあり、46カ国508チームからの参加要請が過去最高となった。
参加チームのトップパフォーマンスは強いベースラインを確立し、提案されたチャレンジトラックで最先端の成績を上げました。
論文 参考訳(メタデータ) (2023-04-15T08:02:16Z) - Can Machines Imitate Humans? Integrative Turing-like tests for Language and Vision Demonstrate a Narrowing Gap [56.611702960809644]
3つの言語タスクと3つの視覚タスクで人間を模倣するAIの能力をベンチマークする。
次に,人間1,916名,AI10名を対象に,72,191名のチューリング様試験を行った。
模倣能力は従来のAIパフォーマンス指標と最小限の相関を示した。
論文 参考訳(メタデータ) (2022-11-23T16:16:52Z) - The 6th AI City Challenge [91.65782140270152]
2022年のAIシティチャレンジの4つのチャレンジトラックは、27カ国254チームからの参加要請を受けた。
参加チームのトップパフォーマンスは強いベースラインを確立し、提案されたチャレンジトラックで最先端の成績を上げました。
論文 参考訳(メタデータ) (2022-04-21T19:24:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。