Fugu-MT 論文翻訳(概要): SINKT: A Structure-Aware Inductive Knowledge Tracing Model with Large Language Model

論文の概要: SINKT: A Structure-Aware Inductive Knowledge Tracing Model with Large Language Model

arxiv url: http://arxiv.org/abs/2407.01245v2
Date: Tue, 23 Jul 2024 12:23:38 GMT
ステータス: 処理完了
システム内更新日: 2024-07-24 22:14:13.713659
Title: SINKT: A Structure-Aware Inductive Knowledge Tracing Model with Large Language Model
Title（参考訳）: SINKT:大規模言語モデルを用いた構造認識帰納的知識追跡モデル
Authors: Lingyue Fu, Hao Guan, Kounianhua Du, Jianghao Lin, Wei Xia, Weinan Zhang, Ruiming Tang, Yasheng Wang, Yong Yu,
Abstract要約: 知識追跡(KT)は、学生が次の質問に正しく答えるかどうかを判断することを目的としている。大規模言語モデルを用いた構造認識帰納的知識追跡モデル(SINKT) SINKTは、学生の知識状態と質問表現とを相互作用させることで、対象の質問に対する学生の反応を予測する。
参考スコア（独自算出の注目度）: 64.92472567841105
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Knowledge Tracing (KT) aims to determine whether students will respond correctly to the next question, which is a crucial task in intelligent tutoring systems (ITS). In educational KT scenarios, transductive ID-based methods often face severe data sparsity and cold start problems, where interactions between individual students and questions are sparse, and new questions and concepts consistently arrive in the database. In addition, existing KT models only implicitly consider the correlation between concepts and questions, lacking direct modeling of the more complex relationships in the heterogeneous graph of concepts and questions. In this paper, we propose a Structure-aware Inductive Knowledge Tracing model with large language model (dubbed SINKT), which, for the first time, introduces large language models (LLMs) and realizes inductive knowledge tracing. Firstly, SINKT utilizes LLMs to introduce structural relationships between concepts and constructs a heterogeneous graph for concepts and questions. Secondly, by encoding concepts and questions with LLMs, SINKT incorporates semantic information to aid prediction. Finally, SINKT predicts the student's response to the target question by interacting with the student's knowledge state and the question representation. Experiments on four real-world datasets demonstrate that SINKT achieves state-of-the-art performance among 12 existing transductive KT models. Additionally, we explore the performance of SINKT on the inductive KT task and provide insights into various modules.
Abstract（参考訳）: 知識追跡(KT)は,知的学習システム(ITS)において重要な課題である次の質問に対して,学生が正しく回答するかどうかを判断することを目的としている。教育的なKTのシナリオでは、トランスダクティブIDベースの手法は、個々の学生と質問の間の相互作用が不十分で、新しい質問や概念がデータベースに一貫して現れる、厳しいデータ空間とコールドスタートの問題に直面することが多い。さらに、既存のKTモデルは、概念と疑問の間の相関を暗黙的にのみ考慮し、概念と疑問の不均一グラフにおけるより複雑な関係の直接的なモデリングを欠いている。本稿では,大規模言語モデル(SINKT)を用いた構造認識型帰納的知識追跡モデルを提案する。まず、SINKTはLLMを用いて概念間の構造的関係を導入し、概念と疑問のための異種グラフを構築する。第二に、概念と質問をLLMでエンコードすることで、SINKTは意味情報を組み込んで予測を支援する。最後に、SINKTは、学生の知識状態と質問表現とを相互作用させることで、対象の質問に対する学生の反応を予測する。 4つの実世界のデータセットの実験は、SINKTが既存の12のKTモデルの中で最先端のパフォーマンスを達成することを示した。さらに、帰納的KTタスクにおけるSINKTの性能について検討し、様々なモジュールに対する洞察を提供する。

関連論文リスト

Automated Knowledge Concept Annotation and Question Representation Learning for Knowledge Tracing [59.480951050911436]
自動知識概念アノテーションと質問表現学習のためのフレームワークであるKCQRLを提案する。実世界の2つの学習データセット上で、15KTアルゴリズムにまたがるKCQRLの有効性を実証する。
論文参考訳（メタデータ） (2024-10-02T16:37:19Z)
G-SAP: Graph-based Structure-Aware Prompt Learning over Heterogeneous Knowledge for Commonsense Reasoning [8.02547453169677]
本稿では,G-SAP という名称のコモンセンス推論のためのグラフベース構造認識プロンプト学習モデルを提案する。特にエビデンスグラフは、ConceptNet、Wikipedia、Cambridge Dictionaryといった複数の知識ソースを統合することで構築される。その結果、既存のモデル、特にOpenbookQAデータセット上のSoTA LM+GNNsモデルよりも6.12%改善された。
論文参考訳（メタデータ） (2024-05-09T08:28:12Z)
A Question-centric Multi-experts Contrastive Learning Framework for Improving the Accuracy and Interpretability of Deep Sequential Knowledge Tracing Models [26.294808618068146]
知識追跡は,学生の今後の業績を予測する上で重要な役割を担っている。ディープニューラルネットワーク(DNN)は、KT問題を解決する大きな可能性を示している。しかし、KTプロセスのモデル化にディープラーニング技術を適用する際には、いくつかの重要な課題がある。
論文参考訳（メタデータ） (2024-03-12T05:15:42Z)
Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph Propagation [68.13453771001522]
画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
論文参考訳（メタデータ） (2023-06-14T13:07:48Z)
Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文参考訳（メタデータ） (2022-11-09T18:58:29Z)
elBERto: Self-supervised Commonsense Learning for Question Answering [131.51059870970616]
本稿では、市販QAモデルアーキテクチャと互換性のあるコモンセンスフレームワークの自己教師型双方向表現学習を提案する。このフレームワークは5つの自己教師型タスクから構成されており、リッチコモンセンスを含むコンテキストから追加のトレーニング信号を完全に活用するようモデルに強制する。 elBERtoは、単純な語彙的類似性比較が役に立たないような、アウト・オブ・パラグラフや非エフェクトな問題に対して、大幅に改善されている。
論文参考訳（メタデータ） (2022-03-17T16:23:45Z)
GreaseLM: Graph REASoning Enhanced Language Models for Question Answering [159.9645181522436]
GreaseLMは、事前訓練されたLMとグラフニューラルネットワークの符号化された表現を、複数の層にわたるモダリティ相互作用操作で融合する新しいモデルである。 GreaseLMは、状況制約と構造化知識の両方の推論を必要とする問題に、より確実に答えることができる。
論文参考訳（メタデータ） (2022-01-21T19:00:05Z)
GIKT: A Graph-based Interaction Model for Knowledge Tracing [36.07642261246016]
上記の問題に対処するために,知識追跡のためのグラフベースインタラクションモデルを提案する。より具体的には、GIKTはグラフ畳み込みネットワーク(GCN)を使用して、質問スキル相関を実質的に組み込んでいる。 3つのデータセットの実験では、GIKTが新しい最先端のパフォーマンスを実現し、少なくとも1%の絶対AUC改善を実現している。
論文参考訳（メタデータ） (2020-09-13T12:50:32Z)
Deep Knowledge Tracing with Learning Curves [0.9088303226909278]
本稿では,進化的知識追跡(CAKT)モデルを提案する。このモデルは、3次元畳み込みニューラルネットワークを用いて、次の質問で同じ知識の概念を適用した学生の最近の経験を明示的に学習する。 CAKTは,既存のモデルと比較して,生徒の反応を予測する上で,最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2020-07-26T15:24:51Z)
Context-Aware Attentive Knowledge Tracing [21.397976659857793]
本稿では、フレキシブルアテンションに基づくニューラルネットワークモデルと、新しい解釈可能なモデルコンポーネントを結合した注意知識追跡手法を提案する。 AKTは、学習者の将来の応答と過去の応答に対する評価質問を関連付ける新しいモノトニックアテンションメカニズムを使用する。 AKT は,既存の KT 手法(場合によっては AUC で最大6% 以上)よりも,将来の学習者応答の予測に優れることを示す。
論文参考訳（メタデータ） (2020-07-24T02:45:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。