論文の概要: LSTM-SAKT: LSTM-Encoded SAKT-like Transformer for Knowledge Tracing, 2nd place solution for Riiid! Answer Correctness Prediction

• arxiv url: http://arxiv.org/abs/2102.00845v1
• Date: Thu, 28 Jan 2021 11:21:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-03 04:57:26.373194
• Title: LSTM-SAKT: LSTM-Encoded SAKT-like Transformer for Knowledge Tracing, 2nd place solution for Riiid! Answer Correctness Prediction
• Title（参考訳）: LSTM-SAKT: LSTMエンコードSAKTライクトランス for Knowledge Tracing, 2位ソリューション for Riiid! 答えの正確性予測
• Authors: Takashi Oya and Shigeo Morishima
• Abstract要約: 本稿では,KaggleにおけるRiiid! Answer Correctness Predictionの2位解について紹介する。 この大会は2020年10月16日から2021年1月7日まで開催され、3395のチームと4387の競技者が参加した。
• 参考スコア（独自算出の注目度）: 11.461829044009239
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces the 2nd place solution for the Riiid! Answer Correctness Prediction in Kaggle, the world's largest data science competition website. This competition was held from October 16, 2020, to January 7, 2021, with 3395 teams and 4387 competitors. The main insights and contributions of this paper are as follows. (i) We pointed out existing Transformer-based models are suffering from a problem that the information which their query/key/value can contain is limited. To solve this problem, we proposed a method that uses LSTM to obtain query/key/value and verified its effectiveness. (ii) We pointed out 'inter-container' leakage problem, which happens in datasets where questions are sometimes served together. To solve this problem, we showed special indexing/masking techniques that are useful when using RNN-variants and Transformer. (iii) We found additional hand-crafted features are effective to overcome the limits of Transformer, which can never consider the samples older than the sequence length.
• Abstract（参考訳）: 本稿では,Riiid!の2位解について紹介する。 Answer Correctness Prediction in Kaggle - 世界最大のデータサイエンスコンペティションサイト。 この大会は2020年10月16日から2021年1月7日まで開催され、3395チームと4387の競技者が参加した。 本論文の主な洞察と貢献は以下のとおりである。 (i)既存のトランスフォーマーモデルでは、クエリー/キー/値が含んでいる情報が限られていることが指摘されている。 そこで我々は,LSTMを用いてクエリ/キー/値を得る手法を提案し,その有効性を検証した。 (ii) 質問が混在するデータセットで発生する‘コンテナ間’リーク問題について指摘した。 この問題を解決するために、RNN-variants と Transformer を使用する際に有用な特別なインデックス化/マスキング手法を示した。 (iii) 変圧器の限界を克服するために手作りの付加的な特徴が有効であり, シーケンス長よりも古いサンプルは考慮できないことがわかった。

関連論文リスト

• Kolmogorov-Arnold Transformer [72.88137795439407]
  Kolmogorov-Arnold Transformer(KAT)は,階層をKAN(Kolmogorov-Arnold Network)層に置き換える新しいアーキテクチャである。 C1)基本関数,(C2)非効率,(C3)重みの3つの主要な課題を特定する。 これらの設計により、KATは従来のトランスフォーマーよりも優れている。
  論文  参考訳（メタデータ） (2024-09-16T17:54:51Z)
• Few-Shot Class Incremental Learning via Robust Transformer Approach [16.590193619691416]
  Few-Shot Class-Incremental Learningは,データ不足の問題にモデルが直面しているクラス増分学習問題の拡張を提示する。 この問題は、最近のすべての研究が、準最適に実行される畳み込みニューラルネットワークの上に構築されているため、未解決の問題のままである。 本稿では,コンパクト畳み込み変換器を用いたロバスト変換器を提案する。
  論文  参考訳（メタデータ） (2024-05-08T03:35:52Z)
• Kernel Corrector LSTM [1.034961673489652]
  我々は、cLSTMのメタラーナーをより単純な方法で置き換える新しいRW-MLアルゴリズムであるKernel Corrector LSTM(KcLSTM)を提案する。 我々は,新しいアルゴリズムの予測精度とトレーニング時間を実験的に評価し,cLSTMとLSTMと比較した。
  論文  参考訳（メタデータ） (2024-04-28T18:44:10Z)
• OLGA : An Ontology and LSTM-based approach for generating Arithmetic Word Problems (AWPs) of transfer type [0.0]
  算術語問題(AWP)の機械生成は,量や数学的関係を表現する上で困難である。 本稿では,TC型の一貫した単語問題を生成するシステムOLGAを提案する。 我々は以前提案したTC-Ontologyの拡張を用いて問題の整合性を決定する。
  論文  参考訳（メタデータ） (2022-11-22T10:42:07Z)
• Truncated tensor Schatten p-norm based approach for spatiotemporal traffic data imputation with complicated missing patterns [77.34726150561087]
  本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。 本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
  論文  参考訳（メタデータ） (2022-05-19T08:37:56Z)
• The Machine Learning for Combinatorial Optimization Competition (ML4CO): Results and Insights [59.93939636422896]
  ML4COは、キーコンポーネントを置き換えることで最先端の最適化問題を解決することを目的としている。 このコンペティションでは、最高の実現可能なソリューションを見つけること、最も厳密な最適性証明書を生成すること、適切なルーティング設定を提供すること、という3つの課題があった。
  論文  参考訳（メタデータ） (2022-03-04T17:06:00Z)
• TCCT: Tightly-Coupled Convolutional Transformer on Time Series Forecasting [6.393659160890665]
  本稿では, 密結合型畳み込み変換器(TCCT)と3つのTCCTアーキテクチャを提案する。 実世界のデータセットに対する我々の実験は、我々のTCCTアーキテクチャが既存の最先端トランスフォーマーモデルの性能を大幅に改善できることを示している。
  論文  参考訳（メタデータ） (2021-08-29T08:49:31Z)
• Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese Grammatical Error Correction [49.25830718574892]
  本稿では,Tail-to-Tail (textbfTtT) という新しいフレームワークを提案する。 ほとんどのトークンが正しいので、ソースからターゲットに直接転送でき、エラー位置を推定して修正することができる。 標準データセット、特に可変長データセットに関する実験結果は、文レベルの精度、精度、リコール、F1-Measureの観点からTtTの有効性を示す。
  論文  参考訳（メタデータ） (2021-06-03T05:56:57Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Last Query Transformer RNN for knowledge tracing [0.0]
  本稿では,過去の学習活動から,学生の回答の正しさを予測するための効率的なモデルを提案する。 私は,カグルで開催されている'Riiid!Answer Correctness Prediction'コンペで1位を獲得しました。
  論文  参考訳（メタデータ） (2021-02-10T17:10:31Z)
• Tell Me How to Ask Again: Question Data Augmentation with Controllable Rewriting in Continuous Space [94.8320535537798]
  機械読解(MRC)、質問生成、質問答え自然言語推論タスクのための制御可能な書き換えベースの質問データ拡張(CRQDA)。 質問データ拡張タスクを制約付き質問書き換え問題として扱い、コンテキスト関連、高品質、多様な質問データサンプルを生成する。
  論文  参考訳（メタデータ） (2020-10-04T03:13:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。