論文の概要: Evaluating Two Approaches to Assessing Student Progress in Cybersecurity
Exercises
- arxiv url: http://arxiv.org/abs/2112.02053v1
- Date: Fri, 3 Dec 2021 18:08:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-05 23:46:36.733881
- Title: Evaluating Two Approaches to Assessing Student Progress in Cybersecurity
Exercises
- Title(参考訳): サイバーセキュリティ・エクササイズにおける学生の進歩評価のための2つのアプローチの評価
- Authors: Valdemar \v{S}v\'abensk\'y, Richard Weiss, Jack Cook, Jan Vykopal,
Pavel \v{C}eleda, Jens Mache, Radoslav Chudovsk\'y, Ankur Chattopadhyay
- Abstract要約: 生徒はコマンドラインツールなどの実践的なスキルを身につける必要がある。
ハンズオン・エクササイズは生徒の熟達度を評価する最も直接的な方法である。
運動を通して生徒の進捗を自動的にモデル化し視覚化することで、この問題を緩和することを目的としている。
- 参考スコア(独自算出の注目度): 0.7329200485567825
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cybersecurity students need to develop practical skills such as using
command-line tools. Hands-on exercises are the most direct way to assess these
skills, but assessing students' mastery is a challenging task for instructors.
We aim to alleviate this issue by modeling and visualizing student progress
automatically throughout the exercise. The progress is summarized by graph
models based on the shell commands students typed to achieve discrete tasks
within the exercise. We implemented two types of models and compared them using
data from 46 students at two universities. To evaluate our models, we surveyed
22 experienced computing instructors and qualitatively analyzed their
responses. The majority of instructors interpreted the graph models effectively
and identified strengths, weaknesses, and assessment use cases for each model.
Based on the evaluation, we provide recommendations to instructors and explain
how our graph models innovate teaching and promote further research. The impact
of this paper is threefold. First, it demonstrates how multiple institutions
can collaborate to share approaches to modeling student progress in hands-on
exercises. Second, our modeling techniques generalize to data from different
environments to support student assessment, even outside the cybersecurity
domain. Third, we share the acquired data and open-source software so that
others can use the models in their classes or research.
- Abstract(参考訳): サイバーセキュリティの学生は、コマンドラインツールの使用のような実践的なスキルを開発する必要がある。
ハンズオン演習はこれらのスキルを評価する最も直接的な方法であるが、学生の熟達を評価することはインストラクターにとって難しい課題である。
運動を通して生徒の進捗を自動的にモデル化し視覚化することで、この問題を緩和することを目指している。
進捗は、学生が演習内で個別のタスクを達成するために入力したシェルコマンドに基づいたグラフモデルによって要約される。
2種類のモデルを実装し,46人の学生のデータを用いて比較した。
モデルを評価するため,22名のコンピュータインストラクターを調査し,その応答を質的に分析した。
インストラクターの大多数はグラフモデルを効果的に解釈し、各モデルの強さ、弱点、評価ユースケースを特定した。
評価に基づいて,インストラクタに対してレコメンデーションを行い,グラフモデルがいかに教育を革新させ,さらなる研究を促進するかを説明する。
この論文の影響は3倍である。
まず、複数の機関が協力して、ハンズオンエクササイズで学生の進歩をモデリングするアプローチを共有できることを実証する。
第2に,我々のモデリング手法は,サイバーセキュリティ領域外の学生評価をサポートするために,異なる環境からのデータに一般化する。
第3に、取得したデータとオープンソースソフトウェアを共有して、他の人がクラスや研究でモデルを利用できるようにします。
関連論文リスト
- EmbedDistill: A Geometric Knowledge Distillation for Information
Retrieval [83.79667141681418]
大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する
本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。
提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95~97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
論文 参考訳(メタデータ) (2023-01-27T22:04:37Z) - Distilling Knowledge from Self-Supervised Teacher by Embedding Graph
Alignment [52.704331909850026]
我々は、自己指導型事前学習モデルから他の学生ネットワークへ知識を伝達するための新しい知識蒸留フレームワークを定式化した。
自己教師型学習におけるインスタンス識別の精神に触発され,特徴埋め込み空間におけるグラフ定式化によるインスタンスとインスタンスの関係をモデル化する。
蒸留方式は, 学生ネットワーク上での表現学習を促進するために, 自己指導型知識の伝達に柔軟に適用できる。
論文 参考訳(メタデータ) (2022-11-23T19:27:48Z) - DGEKT: A Dual Graph Ensemble Learning Method for Knowledge Tracing [20.71423236895509]
知識追跡のための新しいデュアルグラフアンサンブル学習法(DGEKT)を提案する。
DGEKTは、学生の学習相互作用の二重グラフ構造を確立し、不均一な運動概念の関連を捉える。
オンライン知識蒸留は、より優れたモデリング能力のための追加の監督として、すべての訓練に関する予測を提供する。
論文 参考訳(メタデータ) (2022-11-23T11:37:35Z) - UViM: A Unified Modeling Approach for Vision with Learned Guiding Codes [91.24112204588353]
我々は、幅広いコンピュータビジョンタスクをモデル化できる統一的なアプローチであるUViMを紹介する。
以前のモデルとは対照的に、UViMは全てのタスクに対して同じ機能を持つ。
多様な3つの視覚課題に対するUViMの有効性を実証する。
論文 参考訳(メタデータ) (2022-05-20T17:47:59Z) - Self-Supervised Visual Representation Learning Using Lightweight
Architectures [0.0]
自己教師付き学習では、マシンによってアノテーションが生成されるデータセットを使用して、プレテキストタスクを解決するためにモデルが訓練される。
我々は、画像データから特徴を抽出する最も顕著な前文タスクを批判的に検討する。
我々は、他の全てのパラメータを均一に保ちながら、様々な自己監督技術の性能について研究する。
論文 参考訳(メタデータ) (2021-10-21T14:13:10Z) - Assessing the Knowledge State of Online Students -- New Data, New
Approaches, Improved Accuracy [28.719009375724028]
適応型オンライン教育システムを構築する上で,学生パフォーマンス(SP)モデリングは重要なステップである。
この研究は、4つの異なる知的チューリングシステムから最近利用可能になった4つの非常に大きなデータセットを使った最初のものである。
論文 参考訳(メタデータ) (2021-09-04T00:08:59Z) - Multi-Task Self-Training for Learning General Representations [97.01728635294879]
マルチタスク・セルフトレーニング(MuST)は、独立した専門教師モデルにおける知識を活用して、一人の一般学生モデルを訓練する。
MuSTはラベルなしまたは部分的にラベル付けされたデータセットでスケーラブルで、大規模データセットのトレーニングにおいて、特別な教師付きモデルとセルフ教師付きモデルの両方を上回っている。
論文 参考訳(メタデータ) (2021-08-25T17:20:50Z) - Graph-based Exercise- and Knowledge-Aware Learning Network for Student
Performance Prediction [8.21303828329009]
学生のスコアを正確に予測するためのグラフベースのエクササイズ・アンド・ナレッジ・アウェアラーニングネットワークを提案する。
我々は,エクササイズとナレッジ概念の熟達度を学習し,エクササイズとナレッジ概念の2倍の効果をモデル化する。
論文 参考訳(メタデータ) (2021-06-01T06:53:17Z) - A Survey on Neural Recommendation: From Collaborative Filtering to
Content and Context Enriched Recommendation [70.69134448863483]
レコメンデーションの研究は、ニューラルネットワークに基づく新しいレコメンダーモデルの発明にシフトした。
近年,神経リコメンデータモデルの開発が著しい進展を遂げている。
論文 参考訳(メタデータ) (2021-04-27T08:03:52Z) - Distill on the Go: Online knowledge distillation in self-supervised
learning [1.1470070927586016]
最近の研究では、より広範でより深いモデルは、小さなモデルよりも自己監督学習の恩恵を受けることが示されている。
単段階オンライン知識蒸留を用いた自己指導型学習パラダイムであるDistill-on-the-Go(DoGo)を提案する。
以上の結果から,ノイズラベルや限定ラベルの存在下でのパフォーマンス向上がみられた。
論文 参考訳(メタデータ) (2021-04-20T09:59:23Z) - Learning to Reweight with Deep Interactions [104.68509759134878]
本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。
クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
論文 参考訳(メタデータ) (2020-07-09T09:06:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。