論文の概要: Towards an Appropriate Query, Key, and Value Computation for Knowledge
Tracing
- arxiv url: http://arxiv.org/abs/2002.07033v5
- Date: Mon, 1 Feb 2021 02:42:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-01 04:22:27.789751
- Title: Towards an Appropriate Query, Key, and Value Computation for Knowledge
Tracing
- Title（参考訳）: 知識追跡のための適切なクエリ、キー、価値計算を目指して
- Authors: Youngduck Choi, Youngnam Lee, Junghyun Cho, Jineon Baek, Byungsoo Kim,
Yeongmin Cha, Dongmin Shin, Chan Bae, Jaewe Heo
- Abstract要約: 本稿では,知識追跡のためのトランスフォーマーベースモデルSAINTを提案する。
SAINTはエンコーダ・デコーダ構造を持ち、エクササイズと応答埋め込みシーケンスはそれぞれエンコーダとデコーダをそれぞれ別々に入力する。
これは知識追跡のためのエンコーダ・デコーダモデルとして,エクササイズとレスポンスを別々に適用する最初の試みである。
- 参考スコア（独自算出の注目度）: 2.1541440354538564
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge tracing, the act of modeling a student's knowledge through learning
activities, is an extensively studied problem in the field of computer-aided
education. Although models with attention mechanism have outperformed
traditional approaches such as Bayesian knowledge tracing and collaborative
filtering, they share two limitations. Firstly, the models rely on shallow
attention layers and fail to capture complex relations among exercises and
responses over time. Secondly, different combinations of queries, keys and
values for the self-attention layer for knowledge tracing were not extensively
explored. Usual practice of using exercises and interactions (exercise-response
pairs) as queries and keys/values respectively lacks empirical support. In this
paper, we propose a novel Transformer based model for knowledge tracing, SAINT:
Separated Self-AttentIve Neural Knowledge Tracing. SAINT has an encoder-decoder
structure where exercise and response embedding sequence separately enter the
encoder and the decoder respectively, which allows to stack attention layers
multiple times. To the best of our knowledge, this is the first work to suggest
an encoder-decoder model for knowledge tracing that applies deep self-attentive
layers to exercises and responses separately. The empirical evaluations on a
large-scale knowledge tracing dataset show that SAINT achieves the
state-of-the-art performance in knowledge tracing with the improvement of AUC
by 1.8% compared to the current state-of-the-art models.
- Abstract（参考訳）: 知識追跡は、学習活動を通じて学生の知識をモデル化する行為であり、コンピュータ支援教育の分野で広く研究されている問題である。
注意機構を持つモデルはベイズ知識の追跡や協調フィルタリングといった従来のアプローチを上回っているが、それらは2つの制限を共有している。
まず、モデルは浅い注意層に依存し、時間とともにエクササイズとレスポンスの間の複雑な関係を捉えない。
第二に、知識追跡のための自己注意層に対するクエリ、キー、値の組み合わせは、広範囲に調査されていない。
エクササイズとインタラクション(エクササイズ-レスポンスペア)をクエリとして使用する通常のプラクティスには,それぞれ経験的サポートが欠けている。
本稿では,知識追跡のための新しいトランスフォーマーモデルであるSAINT:Separated Self-AttentIve Neural Knowledge Tracingを提案する。
SAINTはエンコーダ・デコーダ構造を持ち、エクササイズとレスポンスの埋め込みシーケンスはそれぞれエンコーダとデコーダを別々に入力し、注意層を複数回重ねることができる。
私たちの知識を最大限活用するために、これは、エクササイズとレスポンスを別々に適用する、知識トレースのためのエンコーダ・デコーダモデルを提案する最初の作業である。
大規模知識追跡データセットにおける経験的評価から,SAINTは知識追跡における最先端のパフォーマンスを達成し,AUCを1.8%改善した。
関連論文リスト
- Coupling Machine Learning with Ontology for Robotics Applications [0.0]
動的シナリオにおける事前知識の可用性の欠如は、間違いなくスケーラブルなマシンインテリジェンスにとって大きな障壁である。
二つの階層間の相互作用についての私の見解は、知識が知識ベース層で容易に利用できない場合、他の階層からより多くの知識を抽出できるという考えに基づいている。
論文 参考訳（メタデータ） (2024-06-08T23:38:03Z) - Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph
Propagation [68.13453771001522]
画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。
我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
論文 参考訳（メタデータ） (2023-06-14T13:07:48Z) - Pre-training Multi-task Contrastive Learning Models for Scientific
Literature Understanding [52.723297744257536]
事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。
文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
論文 参考訳（メタデータ） (2023-05-23T16:47:22Z) - UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language
Models [100.4659557650775]
構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。
どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
論文 参考訳（メタデータ） (2023-05-02T17:33:28Z) - A Unified End-to-End Retriever-Reader Framework for Knowledge-based VQA [67.75989848202343]
本稿では,知識に基づくVQAに向けて,エンド・ツー・エンドのレトリバー・リーダー・フレームワークを提案する。
我々は、視覚言語による事前学習モデルからの多モーダルな暗黙の知識に光を当て、知識推論の可能性を掘り下げた。
提案手法では,知識検索のガイダンスを提供するだけでなく,質問応答に対してエラーが発生しやすいケースも排除できる。
論文 参考訳（メタデータ） (2022-06-30T02:35:04Z) - elBERto: Self-supervised Commonsense Learning for Question Answering [131.51059870970616]
本稿では、市販QAモデルアーキテクチャと互換性のあるコモンセンスフレームワークの自己教師型双方向表現学習を提案する。
このフレームワークは5つの自己教師型タスクから構成されており、リッチコモンセンスを含むコンテキストから追加のトレーニング信号を完全に活用するようモデルに強制する。
elBERtoは、単純な語彙的類似性比較が役に立たないような、アウト・オブ・パラグラフや非エフェクトな問題に対して、大幅に改善されている。
論文 参考訳（メタデータ） (2022-03-17T16:23:45Z) - Distilling Holistic Knowledge with Graph Neural Networks [37.86539695906857]
知識蒸留(KD)は、より大規模な教師ネットワークからより小さな学習可能な学生ネットワークへ知識を伝達することを目的としている。
既存のKD法は主に、個々の知識と関係知識の2つの種類の知識を考察してきた。
本稿では, インスタンス間に構築された属性グラフに基づいて, 新たな包括的知識を蒸留する。
論文 参考訳（メタデータ） (2021-08-12T02:47:59Z) - ConCAD: Contrastive Learning-based Cross Attention for Sleep Apnea
Detection [16.938983046369263]
睡眠時無呼吸検出のための学習型クロスアテンションフレームワーク(ConCAD)を提案する。
提案フレームワークは,標準ディープラーニングモデルに容易に統合でき,専門家の知識とコントラスト学習を活用し,パフォーマンスを向上させる。
論文 参考訳（メタデータ） (2021-05-07T02:38:56Z) - Towards a Universal Continuous Knowledge Base [49.95342223987143]
複数のニューラルネットワークからインポートされた知識を格納できる継続的知識基盤を構築する方法を提案する。
テキスト分類実験は有望な結果を示す。
我々は複数のモデルから知識ベースに知識をインポートし、そこから融合した知識を単一のモデルにエクスポートする。
論文 参考訳（メタデータ） (2020-12-25T12:27:44Z) - Deep Knowledge Tracing with Learning Curves [0.9088303226909278]
本稿では,進化的知識追跡(CAKT)モデルを提案する。
このモデルは、3次元畳み込みニューラルネットワークを用いて、次の質問で同じ知識の概念を適用した学生の最近の経験を明示的に学習する。
CAKTは,既存のモデルと比較して,生徒の反応を予測する上で,最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2020-07-26T15:24:51Z) - HGKT: Introducing Hierarchical Exercise Graph for Knowledge Tracing [19.416373111152613]
本稿では,HGKTと呼ばれる階層的グラフ知識追跡モデルを提案する。
具体的には,学習依存度をモデル化可能な階層的なエクササイズグラフを構築するために,問題スキーマの概念を導入する。
テスト段階では、知識の熟達と問題スキーマの推移を辿ることのできるK&S診断行列を提示する。
論文 参考訳（メタデータ） (2020-06-13T07:09:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。