論文の概要: AI In Cybersecurity Education -- Scalable Agentic CTF Design Principles and Educational Outcomes
- arxiv url: http://arxiv.org/abs/2603.21551v2
- Date: Tue, 31 Mar 2026 16:10:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-01 15:25:02.054828
- Title: AI In Cybersecurity Education -- Scalable Agentic CTF Design Principles and Educational Outcomes
- Title(参考訳): サイバーセキュリティ教育におけるAI - スケーラブルなエージェントCTF設計原則と教育成果
- Authors: Haoran Xi, Minghao Shao, Kimberly Milner, Venkata Sai Charan Putrevu, Nanda Rani, Meet Udeshi, Prashanth Krishnamurthy, Brendan Dolan-Gavitt, Siddharth Garg, Sandeep Kumar Shukla, Farshad Khorrami, Alon Hillel-Tuch, Muhammad Shafique, Ramesh Karri,
- Abstract要約: 本稿では,Cyber Security Awareness Week コンペティションシステム上に構築された Capture-the-Flag コンペティションについて述べる。
我々は3つの自律レベルを定式化している: ループ内人間、自律エージェントフレームワーク、ハイブリッド。
この結果は、LLM支援サイバーセキュリティコンペティションを学習技術として設計するための実用的なガイダンスを提供する。
- 参考スコア(独自算出の注目度): 25.913186214869242
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models are rapidly changing how learners acquire and demonstrate cybersecurity skills. However, when human--AI collaboration is allowed, educators still lack validated competition designs and evaluation practices that remain fair and evidence-based. This paper presents a cross-regional study of LLM-centered Capture-the-Flag competitions built on the Cyber Security Awareness Week competition system. To understand how autonomy levels and participants' knowledge backgrounds influence problem-solving performance and learning-related behaviors, we formalize three autonomy levels: human-in-the-loop, autonomous agent frameworks, and hybrid. To enable verification, we require traceable submissions including conversation logs, agent trajectories, and agent code. We analyze multi-region competition data covering an in-class track, a standard track, and a year-long expert track, each targeting participants with different knowledge backgrounds. Using data from the 2025 competition, we compare solve performance across autonomy levels and challenge categories, and observe that autonomous agent frameworks and hybrid achieve higher completion rates on challenges requiring iterative testing and tool interactions. In the in-class track, we classify participants' agent designs and find a preference for lightweight, tool-augmented prompting and reflection-based retries over complex multi-agent architectures. Our results offer actionable guidance for designing LLM-assisted cybersecurity competitions as learning technologies, including autonomy-specific scoring criteria, evidence requirements that support solution verification, and track structures that improve accessibility while preserving reliable evaluation and engagement.
- Abstract(参考訳): 大規模な言語モデルは、学習者がサイバーセキュリティスキルを獲得し、実証する方法を急速に変化させている。
しかしながら、人間とAIのコラボレーションが許される場合、教育者は、公正で証拠に基づいた、検証済みの競争設計と評価のプラクティスをいまだに欠いている。
本稿では,LLMを中心としたCyber Security Awareness Weekコンペティションシステム上に構築されたCapture-the-Flagコンペティションについて,地域横断研究を行った。
自律性レベルと参加者の知識背景が問題解決のパフォーマンスと学習関連行動にどのように影響するかを理解するために、我々は3つの自律性レベルを定式化した。
検証を実現するには,会話ログ,エージェントトラジェクトリ,エージェントコードなど,トレース可能な提案が必要である。
我々は,クラス内トラック,標準トラック,1年間の専門トラックを対象とする複数リージョンの競争データを解析し,それぞれ異なる知識を持つ参加者を対象にした。
2025年のコンペティションのデータを用いて、自律レベルと課題カテゴリをまたいだパフォーマンスを比較し、自律エージェントフレームワークとハイブリッドが、反復的なテストとツールインタラクションを必要とする課題に対して、より高い完成率を達成することを観察する。
クラス内トラックでは、参加者のエージェント設計を分類し、複雑なマルチエージェントアーキテクチャよりも軽量でツール強化されたプロンプトとリフレクションベースのリトライを優先する。
本研究は,LCM支援型サイバーセキュリティコンペティションを自律性評価基準,ソリューション検証を支援するエビデンス要件,信頼性の高い評価とエンゲージメントを維持しつつアクセシビリティを向上させる構造などの学習技術として設計するための実用的なガイダンスを提供する。
関連論文リスト
- Sandpiper: Orchestrated AI-Annotation for Educational Discourse at Scale [3.0317183198617066]
Sandpiperは、高ボリュームの会話データと人間の質的な専門知識の橋渡しとして設計された混合開始システムである。
本稿では,AIを用いた定性分析における研究効率の向上,レータ間信頼性,研究者信頼度を評価するためのシステムの有効性を評価するためのユーザスタディを提案する。
論文 参考訳(メタデータ) (2026-03-09T14:01:42Z) - Can AI Lower the Barrier to Cybersecurity? A Human-Centered Mixed-Methods Study of Novice CTF Learning [0.0]
サイバーセキュリティのためのエージェントAIフレームワークは、侵入テストタスクの自動化と調整によって障壁を低くすることを約束する。
我々は、エージェントAIフレームワークがCTFベースの浸透テストへの初歩的な参入をどのように仲介するかを調べる、人間中心の混合メソッドケーススタディを提案する。
論文 参考訳(メタデータ) (2026-02-20T12:20:36Z) - SelfAI: Building a Self-Training AI System with LLM Agents [79.10991818561907]
SelfAIは、高レベルの研究目的を標準化された実験構成に変換するためのUser Agentを組み合わせた、一般的なマルチエージェントプラットフォームである。
実験マネージャは、連続的なフィードバックのための構造化知識ベースを維持しながら、異種ハードウェアをまたいだ並列かつフォールトトレラントなトレーニングを編成する。
回帰、コンピュータビジョン、科学計算、医用画像、薬物発見ベンチマークなどを通じて、SelfAIは一貫して高いパフォーマンスを達成し、冗長な試行を減らしている。
論文 参考訳(メタデータ) (2025-11-29T09:18:39Z) - CATArena: Evaluation of LLM Agents through Iterative Tournament Competitions [49.02422075498554]
大言語モデル(LLM)エージェントは、基本的なテキスト生成から、外部ツールとのインタラクションを通じて、複雑なタスクを自律的に完了するまで進化してきた。
本研究では,人間レベルインテリジェンスに向けたエージェント進化のコアドライバとして,自己改善とピアラーニングの両方を含む学習能力の重要性を強調した。
本稿では,反復的かつ競合的なピアラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2025-10-30T15:22:53Z) - A cybersecurity AI agent selection and decision support framework [0.0]
本稿では,AIエージェントアーキテクチャ,リアクティブ,認知,ハイブリッド,学習を協調する,新しい構造化された意思決定支援フレームワークを提案する。
エージェント理論と産業ガイドラインを統合することで、このフレームワークは、AIソリューションの選択とデプロイのための透過的で段階的な方法論を提供する。
論文 参考訳(メタデータ) (2025-10-02T07:38:21Z) - Bridging LLMs and Symbolic Reasoning in Educational QA Systems: Insights from the XAI Challenge at IJCNN 2025 [1.0166217771455643]
本稿では,Ho Chi Minh City University of Technology (HCMUT) と International Workshop on Trustworthiness and Reliability in Neurosymbolic AI (TRNS-AI) が共同で主催するハッカソン型コンペであるXAI Challenge 2025を総合的に分析する。
この課題は、学生が大学政策に関する質問に回答し、明確な論理に基づく自然言語の説明を生成できる質問応答システム(QA)の構築を参加者に委ねた。
論文 参考訳(メタデータ) (2025-08-02T08:46:06Z) - Cognitive Kernel-Pro: A Framework for Deep Research Agents and Agent Foundation Models Training [67.895981259683]
汎用AIエージェントは、次世代人工知能の基礎となるフレームワークとして、ますます認識されている。
現在のエージェントシステムはクローズドソースか、さまざまな有料APIやプロプライエタリなツールに大きく依存している。
我々は,完全オープンソースかつ(最大限に)フリーなマルチモジュールエージェントフレームワークであるCognitive Kernel-Proを提案する。
論文 参考訳(メタデータ) (2025-08-01T08:11:31Z) - Benchmarking Robustness and Generalization in Multi-Agent Systems: A
Case Study on Neural MMO [50.58083807719749]
IJCAI 2022で開催されている第2回Neural MMOチャレンジの結果を報告する。
この競合はマルチエージェントシステムの堅牢性と一般化をターゲットにしている。
環境ラッパー、ベースライン、可視化ツール、そしてさらなる研究のための選択されたポリシーを含むベンチマークをオープンソースにします。
論文 参考訳(メタデータ) (2023-08-30T07:16:11Z) - Federated Learning-Empowered AI-Generated Content in Wireless Networks [58.48381827268331]
フェデレートドラーニング(FL)は、学習効率を改善し、AIGCのプライバシー保護を達成するために利用することができる。
我々は,AIGCの強化を目的としたFLベースの技術を提案し,ユーザが多様でパーソナライズされた高品質なコンテンツを作成できるようにすることを目的とする。
論文 参考訳(メタデータ) (2023-07-14T04:13:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。