論文の概要: Evaluating Two Approaches to Assessing Student Progress in Cybersecurity Exercises

• arxiv url: http://arxiv.org/abs/2112.02053v1
• Date: Fri, 3 Dec 2021 18:08:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-05 23:46:36.733881
• Title: Evaluating Two Approaches to Assessing Student Progress in Cybersecurity Exercises
• Title（参考訳）: サイバーセキュリティ・エクササイズにおける学生の進歩評価のための2つのアプローチの評価
• Authors: Valdemar \v{S}v\'abensk\'y, Richard Weiss, Jack Cook, Jan Vykopal, Pavel \v{C}eleda, Jens Mache, Radoslav Chudovsk\'y, Ankur Chattopadhyay
• Abstract要約: 生徒はコマンドラインツールなどの実践的なスキルを身につける必要がある。 ハンズオン・エクササイズは生徒の熟達度を評価する最も直接的な方法である。 運動を通して生徒の進捗を自動的にモデル化し視覚化することで、この問題を緩和することを目的としている。
• 参考スコア（独自算出の注目度）: 0.7329200485567825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cybersecurity students need to develop practical skills such as using command-line tools. Hands-on exercises are the most direct way to assess these skills, but assessing students' mastery is a challenging task for instructors. We aim to alleviate this issue by modeling and visualizing student progress automatically throughout the exercise. The progress is summarized by graph models based on the shell commands students typed to achieve discrete tasks within the exercise. We implemented two types of models and compared them using data from 46 students at two universities. To evaluate our models, we surveyed 22 experienced computing instructors and qualitatively analyzed their responses. The majority of instructors interpreted the graph models effectively and identified strengths, weaknesses, and assessment use cases for each model. Based on the evaluation, we provide recommendations to instructors and explain how our graph models innovate teaching and promote further research. The impact of this paper is threefold. First, it demonstrates how multiple institutions can collaborate to share approaches to modeling student progress in hands-on exercises. Second, our modeling techniques generalize to data from different environments to support student assessment, even outside the cybersecurity domain. Third, we share the acquired data and open-source software so that others can use the models in their classes or research.
• Abstract（参考訳）: サイバーセキュリティの学生は、コマンドラインツールの使用のような実践的なスキルを開発する必要がある。 ハンズオン演習はこれらのスキルを評価する最も直接的な方法であるが、学生の熟達を評価することはインストラクターにとって難しい課題である。 運動を通して生徒の進捗を自動的にモデル化し視覚化することで、この問題を緩和することを目指している。 進捗は、学生が演習内で個別のタスクを達成するために入力したシェルコマンドに基づいたグラフモデルによって要約される。 2種類のモデルを実装し,46人の学生のデータを用いて比較した。 モデルを評価するため,22名のコンピュータインストラクターを調査し,その応答を質的に分析した。 インストラクターの大多数はグラフモデルを効果的に解釈し、各モデルの強さ、弱点、評価ユースケースを特定した。 評価に基づいて,インストラクタに対してレコメンデーションを行い,グラフモデルがいかに教育を革新させ,さらなる研究を促進するかを説明する。 この論文の影響は3倍である。 まず、複数の機関が協力して、ハンズオンエクササイズで学生の進歩をモデリングするアプローチを共有できることを実証する。 第2に,我々のモデリング手法は,サイバーセキュリティ領域外の学生評価をサポートするために,異なる環境からのデータに一般化する。 第3に、取得したデータとオープンソースソフトウェアを共有して、他の人がクラスや研究でモデルを利用できるようにします。

関連論文リスト

• Enhancing LLM Reasoning via Critique Models with Test-Time and Training-Time Supervision [120.40788744292739]
  本稿では、推論と批判モデルの役割を分離する2人プレイヤパラダイムを提案する。 まず、批判データを収集する自動化およびスケーラブルなフレームワークであるAutoMathCritiqueを提案する。 テスト時間における難解なクエリに対するアクターのパフォーマンスを,批判モデルが一貫して改善することが実証された。
  論文  参考訳（メタデータ） (2024-11-25T17:11:54Z)
• Detecting Unsuccessful Students in Cybersecurity Exercises in Two Different Learning Environments [0.37729165787434493]
  本稿では,学生の難易度を予測するための自動ツールを開発する。 潜在的な応用として、このようなモデルは、苦労している生徒を検知し、目標とする支援を提供するインストラクターを助けることができる。
  論文  参考訳（メタデータ） (2024-08-16T04:57:54Z)
• Toward In-Context Teaching: Adapting Examples to Students' Misconceptions [54.82965010592045]
  本稿ではAdapTと呼ばれる一連のモデルと評価手法を紹介する。 AToMは、学生の過去の信念を共同で推論し、将来の信念の正しさを最適化する適応教育の新しい確率論的モデルである。 本研究は,適応型学習課題の難しさと,それを解決するための学習適応モデルの可能性を両立させるものである。
  論文  参考訳（メタデータ） (2024-05-07T17:05:27Z)
• Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment [52.704331909850026]
  我々は、自己指導型事前学習モデルから他の学生ネットワークへ知識を伝達するための新しい知識蒸留フレームワークを定式化した。 自己教師型学習におけるインスタンス識別の精神に触発され,特徴埋め込み空間におけるグラフ定式化によるインスタンスとインスタンスの関係をモデル化する。 蒸留方式は, 学生ネットワーク上での表現学習を促進するために, 自己指導型知識の伝達に柔軟に適用できる。
  論文  参考訳（メタデータ） (2022-11-23T19:27:48Z)
• DGEKT: A Dual Graph Ensemble Learning Method for Knowledge Tracing [20.71423236895509]
  知識追跡のための新しいデュアルグラフアンサンブル学習法(DGEKT)を提案する。 DGEKTは、学生の学習相互作用の二重グラフ構造を確立し、不均一な運動概念の関連を捉える。 オンライン知識蒸留は、より優れたモデリング能力のための追加の監督として、すべての訓練に関する予測を提供する。
  論文  参考訳（メタデータ） (2022-11-23T11:37:35Z)
• UViM: A Unified Modeling Approach for Vision with Learned Guiding Codes [91.24112204588353]
  我々は、幅広いコンピュータビジョンタスクをモデル化できる統一的なアプローチであるUViMを紹介する。 以前のモデルとは対照的に、UViMは全てのタスクに対して同じ機能を持つ。 多様な3つの視覚課題に対するUViMの有効性を実証する。
  論文  参考訳（メタデータ） (2022-05-20T17:47:59Z)
• Assessing the Knowledge State of Online Students -- New Data, New Approaches, Improved Accuracy [28.719009375724028]
  適応型オンライン教育システムを構築する上で,学生パフォーマンス(SP)モデリングは重要なステップである。 この研究は、4つの異なる知的チューリングシステムから最近利用可能になった4つの非常に大きなデータセットを使った最初のものである。
  論文  参考訳（メタデータ） (2021-09-04T00:08:59Z)
• Graph-based Exercise- and Knowledge-Aware Learning Network for Student Performance Prediction [8.21303828329009]
  学生のスコアを正確に予測するためのグラフベースのエクササイズ・アンド・ナレッジ・アウェアラーニングネットワークを提案する。 我々は,エクササイズとナレッジ概念の熟達度を学習し,エクササイズとナレッジ概念の2倍の効果をモデル化する。
  論文  参考訳（メタデータ） (2021-06-01T06:53:17Z)
• A Survey on Neural Recommendation: From Collaborative Filtering to Content and Context Enriched Recommendation [70.69134448863483]
  レコメンデーションの研究は、ニューラルネットワークに基づく新しいレコメンダーモデルの発明にシフトした。 近年,神経リコメンデータモデルの開発が著しい進展を遂げている。
  論文  参考訳（メタデータ） (2021-04-27T08:03:52Z)
• Distill on the Go: Online knowledge distillation in self-supervised learning [1.1470070927586016]
  最近の研究では、より広範でより深いモデルは、小さなモデルよりも自己監督学習の恩恵を受けることが示されている。 単段階オンライン知識蒸留を用いた自己指導型学習パラダイムであるDistill-on-the-Go(DoGo)を提案する。 以上の結果から,ノイズラベルや限定ラベルの存在下でのパフォーマンス向上がみられた。
  論文  参考訳（メタデータ） (2021-04-20T09:59:23Z)
• Learning to Reweight with Deep Interactions [104.68509759134878]
  本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。 クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-07-09T09:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。