論文の概要: Assessment in Team Problem-Solving Exercises in Computing Education

• arxiv url: http://arxiv.org/abs/2607.19209v1
• Date: Tue, 21 Jul 2026 15:40:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.47892
• Title: Assessment in Team Problem-Solving Exercises in Computing Education
• Title（参考訳）: コンピュータ教育におけるチーム問題解決演習の評価
• Abstract要約: 本稿では,テーブルトップエクササイズ(TTX)における学生チーム評価手法を提案する。 TTXを使うことで、学習チームは、サイバーセキュリティインシデントの解決など、職場でのタスクの準備と危機対応の実践が可能になる。 クラスタリングと大規模言語モデル(LLM)の2つのポストTTXチームアセスメント手法を比較した。 我々は,これらの手法を,標準化されたルーリックに基づくインストラクター指定スコアに対して評価する。
• 参考スコア（独自算出の注目度）: 0.3283937504286783
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This full paper in the research-to-practice track presents methods for assessing student teams in tabletop exercises (TTXs). TTXs enable learner teams to prepare for workplace tasks and practice crisis responses, such as resolving cybersecurity incidents. While assessment is essential for determining how well teams achieve learning objectives, the complex, open-ended nature of TTXs often leads to delayed or incomplete feedback. TTX learning platforms can record teams' actions and communication; yet, leveraging these data to assess performance is underexplored. To address this gap, we compared two post-TTX team assessment methods -- clustering and large language models (LLMs) -- using an original dataset from 81 participants across two countries. We evaluated these methods against instructor-assigned scores based on standardized rubrics. Clustering grouped teams that approached TTX tasks similarly, enabling instructors to deliver faster, targeted feedback to teams within a cluster. This method was valid and reliable, with low computational requirements. LLMs used the standardized rubrics to assess teams' communication. While GPT-4o frequently disagreed with instructor scores, GPT-5.2 demonstrated considerably lower error. The researched methods have been integrated into INJECT, an open-source TTX learning platform, to support scalability and teaching practice. To encourage community adoption, we publicly share all datasets, software tools, and a full-fledged TTX scenario.
• Abstract（参考訳）: 本論文は,テーブルトップエクササイズ(TTX)における学生チームの評価手法について述べる。 TTXを使うことで、学習チームは、サイバーセキュリティインシデントの解決など、職場でのタスクの準備と危機対応の実践が可能になる。 チームがどの程度学習目標を達成するかを決定するには評価が不可欠ですが、TTXの複雑でオープンな性質は、しばしば遅延や不完全なフィードバックをもたらします。 TTX学習プラットフォームは、チームの行動とコミュニケーションを記録することができる。 このギャップに対処するため、我々は2カ国81人の参加者によるオリジナルのデータセットを使用して、クラスタリングと大規模言語モデル(LLM)という2つのTTX後のチームアセスメント手法を比較した。 我々は,これらの手法を,標準化されたルーリックに基づくインストラクター指定スコアに対して評価した。 同様にTTXタスクにアプローチしたグループチームをクラスタ化することで、インストラクターはクラスタ内のチームにより速く、ターゲットとするフィードバックを配信できるようになった。 この方法は、計算量が少なく、有効で信頼性が高かった。 LLMは標準化されたルーリックを使用してチームのコミュニケーションを評価した。 GPT-4oはインストラクターのスコアとよく一致しなかったが、GPT-5.2はエラーがかなり低かった。 研究手法は、オープンソースのTTX学習プラットフォームであるINJECTに統合され、スケーラビリティと教育実践をサポートする。 コミュニティの採用を促進するために、すべてのデータセット、ソフトウェアツール、および本格的なTTXシナリオを公開しています。

関連論文リスト

• Technology-Enhanced Tabletop Exercises for Cybersecurity Education: Lessons Learned [0.13999481573773068]
  本稿では,サイバーセキュリティカリキュラムを中心に,TTX(Technology Enhanced Tabletop exercises)のコンピューティング教育への統合について検討する。 TTXは専門的な実践では確立されているが、大学では使われていない。 シナリオフローを自動化し,データ駆動型評価を可能にするWebベースの環境であるINJECT Exercise Platform (IXP) を通じて,TTX配信と評価を強化することで,このギャップに対処する。
  論文  参考訳（メタデータ） (2026-07-30T13:17:12Z)
• From Paper to Platform: Evolution of a Novel Learning Environment for Tabletop Exercises [0.2796197251957245]
  本稿では,教室における卓上演習を紹介するサイバーセキュリティ講座のデータと授業経験について述べる。 InJECT Exercise Platform (IXP)は、エクササイズを配信し評価するためのWebベースの学習環境である。 手動による評価が難しい伝統的な卓上演習とは異なり、IXPは生徒の行動や学習に関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-04-17T01:52:48Z)
• Using Generative Text Models to Create Qualitative Codebooks for Student Evaluations of Teaching [0.0]
  学生による教育評価(SET)は、教育者にとって重要なフィードバック源である。 SETのコレクションは、管理者がコースやプログラム全体の信号として役立つ。 自然言語処理(NLP)と大規模言語モデル(LLM)を用いてSETを解析する新しい手法について論じる。
  論文  参考訳（メタデータ） (2024-03-18T17:21:35Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• ClusT3: Information Invariant Test-Time Training [19.461441044484427]
  これらの脆弱性を軽減するため、TTT(Test-time Training)法が開発されている。 マルチスケール特徴写像と離散潜在表現の相互情報に基づく新しい非教師付きTTT手法を提案する。 実験結果から, 様々なテスト時間適応ベンチマークにおいて, 競争力のある分類性能が示された。
  論文  参考訳（メタデータ） (2023-10-18T21:43:37Z)
• Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
  我々は、教師付き微調整(SFT)の一般的な方法論を含む、文献の体系的なレビューを行う。 また、既存の戦略の欠陥を指摘しながら、SFTの潜在的な落とし穴についても、それに対する批判とともに検討する。
  論文  参考訳（メタデータ） (2023-08-21T15:35:16Z)
• Evaluating Language Models for Mathematics through Interactions [116.67206980096513]
  大型言語モデル(LLM)と対話し,評価するためのプロトタイププラットフォームであるCheckMateを紹介した。 我々はCheckMateと共同で3つの言語モデル(InstructGPT, ChatGPT, GPT-4)を、学部レベルの数学の証明支援として評価する研究を行った。 我々は、人間の行動の分類を導き、概して肯定的な相関にもかかわらず、正しさと知覚的有用性の間に顕著な相違点があることを明らかにする。
  論文  参考訳（メタデータ） (2023-06-02T17:12:25Z)
• Revisiting Realistic Test-Time Training: Sequential Inference and Adaptation by Anchored Clustering Regularized Self-Training [37.75537703971045]
  テスト時アンカークラスタリング(TTAC)アプローチを開発し,より強力なテスト時特徴学習を実現する。 自己学習(ST)はラベルのないデータから学ぶ上で大きな成功を収めた。 TTAC++は、5つのTTデータセットの最先端メソッドを一貫して上回る。
  論文  参考訳（メタデータ） (2023-03-20T04:30:18Z)
• How Does In-Context Learning Help Prompt Tuning? [55.78535874154915]
  微調整された大きな言語モデルは、急速に拡大するスケールのために、ますます実用的ではないものになりつつある。 これはプロンプトチューニング(PT)のようなパラメータ効率のよい適応手法の使用を動機付け、凍ったモデルに少数のチューナブルな埋め込みを追加する。 近年,Singhalら (2022) はPTとICLを組み合わせた命令プロンプトチューニング (IPT) を提案している。
  論文  参考訳（メタデータ） (2023-02-22T17:45:12Z)
• TeST: Test-time Self-Training under Distribution Shift [99.68465267994783]
  Test-Time Self-Training (TeST)は、あるソースデータとテスト時の新しいデータ分散に基づいてトレーニングされたモデルを入力する技術である。 また,TeSTを用いたモデルでは,ベースラインテスト時間適応アルゴリズムよりも大幅に改善されていることがわかった。
  論文  参考訳（メタデータ） (2022-09-23T07:47:33Z)
• SETSum: Summarization and Visualization of Student Evaluations of Teaching [74.76373136325032]
  学生の教育評価(SET)は、大学や大学で広く使われている。 SETSumは、インストラクターや他のレビュアーにSETの調査結果の組織化されたイラストを提供している。
  論文  参考訳（メタデータ） (2022-07-08T01:40:11Z)
• Revisiting Realistic Test-Time Training: Sequential Inference and Adaptation by Anchored Clustering [37.76664203157892]
  テスト時アンカークラスタリング(TTAC)アプローチを開発し,より強力なテスト時特徴学習を実現する。 TTACはソースドメインとターゲットドメインの両方のクラスタを検出し、ターゲットクラスタとソースクラスタを一致させて、一般化を改善する。 すべてのTTプロトコルにおいて,TTACは5つのTTデータセットの最先端手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-06T16:23:05Z)
• Secure Distributed Training at Scale [65.7538150168154]
  ピアの存在下でのトレーニングには、ビザンティン寛容な特殊な分散トレーニングアルゴリズムが必要である。 本稿では,コミュニケーション効率を重視したセキュアな(ビザンチン耐性)分散トレーニングのための新しいプロトコルを提案する。
  論文  参考訳（メタデータ） (2021-06-21T17:00:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。