論文の概要: KCluster: An LLM-based Clustering Approach to Knowledge Component Discovery

• arxiv url: http://arxiv.org/abs/2505.06469v1
• Date: Fri, 09 May 2025 23:47:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:48.854069
• Title: KCluster: An LLM-based Clustering Approach to Knowledge Component Discovery
• Title（参考訳）: KCluster: 知識コンポーネント発見のためのLCMベースのクラスタリングアプローチ
• Authors: Yumou Wei, Paulo Carvalho, John Stamper,
• Abstract要約: KClusterは,一致した質問のクラスタを識別する新しいKC探索アルゴリズムである。 我々は,LLMが質問類似度を効果的に測定できることを示す。 KClusterは記述的なKCラベルを生成し、最高の専門家設計モデルよりも生徒のパフォーマンスを予測するKCモデルを発見する。
• 参考スコア（独自算出の注目度）: 0.26626950367610397
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Educators evaluate student knowledge using knowledge component (KC) models that map assessment questions to KCs. Still, designing KC models for large question banks remains an insurmountable challenge for instructors who need to analyze each question by hand. The growing use of Generative AI in education is expected only to aggravate this chronic deficiency of expert-designed KC models, as course engineers designing KCs struggle to keep up with the pace at which questions are generated. In this work, we propose KCluster, a novel KC discovery algorithm based on identifying clusters of congruent questions according to a new similarity metric induced by a large language model (LLM). We demonstrate in three datasets that an LLM can create an effective metric of question similarity, which a clustering algorithm can use to create KC models from questions with minimal human effort. Combining the strengths of LLM and clustering, KCluster generates descriptive KC labels and discovers KC models that predict student performance better than the best expert-designed models available. In anticipation of future work, we illustrate how KCluster can reveal insights into difficult KCs and suggest improvements to instruction.
• Abstract（参考訳）: 教育者は、評価質問をKCにマッピングする知識コンポーネント(KC)モデルを用いて、学生の知識を評価する。 それでも、大きな質問銀行向けにKCモデルを設計することは、各質問を手動で分析する必要があるインストラクターにとって、相変わらず難しい課題だ。 教育におけるジェネレーティブAIの利用の増加は、専門家が設計したKCモデルの慢性的な不足を増すだけであると期待されている。 本研究では,大規模言語モデル(LLM)によって誘導される新しい類似度指標に基づき,一致した質問のクラスタを同定した新しいKC探索アルゴリズムであるKClusterを提案する。 我々は、3つのデータセットにおいて、LLMが質問類似性の効果的な尺度を作成できることを示し、クラスタリングアルゴリズムは、人間の努力を最小限に抑えた質問からKCモデルを作成するのに使用できる。 LLMとクラスタリングの強みを組み合わせることで、KClusterは記述的なKCラベルを生成し、利用可能な最高の専門家設計モデルよりも優れた学生のパフォーマンスを予測するKCモデルを発見する。 今後の成果を期待して、KClusterが難解なKCに対する洞察を明らかにし、指導の改善を提案する。

関連論文リスト

• Automated Knowledge Component Generation and Knowledge Tracing for Coding Problems [2.1464087136305774]
  知識コンポーネント(KC)は、生徒の学習をモデル化し、きめ細かいスキルの熟達レベルを追跡するのに役立つ問題にマッピングされる。 我々は、KC生成とタグ付けのための完全に自動化されたLLMベースのパイプラインを、オープンエンドプログラミング問題に対して提示する。 我々は、パイプラインのKCタグ付け精度が、人間のドメインの専門家と比較した場合、合理的に正確であることを示すために、人間の評価を行う。
  論文  参考訳（メタデータ） (2025-02-25T20:40:51Z)
• Sparse Binary Representation Learning for Knowledge Tracing [0.0]
  知識追跡モデル(KT)は、学生の過去の相互作用に基づいて将来のパフォーマンスを予測することを目的としている。 既存のKTモデルは、エクササイズに関連する人間定義の知識概念にのみ依存している。 KT モデル SBRKT (Sparse Binary Representation KT) を提案する。
  論文  参考訳（メタデータ） (2025-01-17T00:45:10Z)
• Automated Knowledge Concept Annotation and Question Representation Learning for Knowledge Tracing [59.480951050911436]
  自動知識概念アノテーションと質問表現学習のためのフレームワークであるKCQRLを提案する。 実世界の2つの学習データセット上で、15KTアルゴリズムにまたがるKCQRLの有効性を実証する。
  論文  参考訳（メタデータ） (2024-10-02T16:37:19Z)
• Automated Generation and Tagging of Knowledge Components from Multiple-Choice Questions [2.6644846626273457]
  我々はGPT-4を用いて、化学とE-ラーニングにおけるマルチチョイス質問(MCQ)のためのKCを生成する。 我々は,Large Language Model (LLM) によるKCと人間によるKCの相違について分析した。 また,その内容に基づいて類似したKCをクラスタリングする帰納的アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-05-30T22:57:49Z)
• Towards Understanding Mixture of Experts in Deep Learning [95.27215939891511]
  ニューラルネットワーク学習におけるMoE層の性能向上について検討する。 この結果から,基礎となる問題のクラスタ構造と専門家の非線形性は,MoEの成功に欠かせないことが示唆された。
  論文  参考訳（メタデータ） (2022-08-04T17:59:10Z)
• Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
  本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T19:05:13Z)
• KACC: A Multi-task Benchmark for Knowledge Abstraction, Concretization and Completion [99.47414073164656]
  包括的知識グラフ(KG)は、インスタンスレベルのエンティティグラフとオントロジーレベルの概念グラフを含む。 2ビューのKGは、知識の抽象化、包括化、完成に関する人間の能力を「シミュレーション」するためのモデルのためのテストベッドを提供する。 我々は,データセットのスケール,タスクカバレッジ,難易度の観点から,既存のベンチマークを改善した統一KGベンチマークを提案する。
  論文  参考訳（メタデータ） (2020-04-28T16:21:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。