論文の概要: Knowledge Transfer by Discriminative Pre-training for Academic Performance Prediction

• arxiv url: http://arxiv.org/abs/2107.04009v1
• Date: Mon, 28 Jun 2021 13:02:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-11 11:36:47.872422
• Title: Knowledge Transfer by Discriminative Pre-training for Academic Performance Prediction
• Title（参考訳）: 学力予測のための判別事前学習による知識伝達
• Authors: Byungsoo Kim, Hangyeol Yu, Dongmin Shin, Youngduck Choi
• Abstract要約: 本稿では,学業成績予測のための差別的事前学習タスクを用いた転帰学習フレームワークであるDPAを提案する。 従来の最先端生成事前学習法と比較して、DPAはよりサンプリング効率が良く、より低いアカデミック性能予測誤差に迅速に収束する。
• 参考スコア（独自算出の注目度）: 5.3431413737671525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The needs for precisely estimating a student's academic performance have been emphasized with an increasing amount of attention paid to Intelligent Tutoring System (ITS). However, since labels for academic performance, such as test scores, are collected from outside of ITS, obtaining the labels is costly, leading to label-scarcity problem which brings challenge in taking machine learning approaches for academic performance prediction. To this end, inspired by the recent advancement of pre-training method in natural language processing community, we propose DPA, a transfer learning framework with Discriminative Pre-training tasks for Academic performance prediction. DPA pre-trains two models, a generator and a discriminator, and fine-tunes the discriminator on academic performance prediction. In DPA's pre-training phase, a sequence of interactions where some tokens are masked is provided to the generator which is trained to reconstruct the original sequence. Then, the discriminator takes an interaction sequence where the masked tokens are replaced by the generator's outputs, and is trained to predict the originalities of all tokens in the sequence. Compared to the previous state-of-the-art generative pre-training method, DPA is more sample efficient, leading to fast convergence to lower academic performance prediction error. We conduct extensive experimental studies on a real-world dataset obtained from a multi-platform ITS application and show that DPA outperforms the previous state-of-the-art generative pre-training method with a reduction of 4.05% in mean absolute error and more robust to increased label-scarcity.
• Abstract（参考訳）: 学生の学業成績を正確に推定する必要性は,知的指導システム(its)への注意が高まるとともに強調されている。 しかし、テストスコアなどの学術的パフォーマンスのラベルはITSの外部から収集されるため、ラベルの取得にはコストがかかるため、学術的パフォーマンス予測のために機械学習アプローチを採用することが困難となる。 そこで本稿は,近年の自然言語処理コミュニティにおける事前学習手法の進歩に触発されて,学術的性能予測のための差別的事前学習タスクを用いた転帰学習フレームワークDPAを提案する。 DPAは2つのモデル、ジェネレータと識別器を事前訓練し、学術性能予測において識別器を微調整する。 DPAの事前訓練フェーズでは、元のシーケンスを再構築するために訓練されたジェネレータに、いくつかのトークンがマスクされた一連の相互作用が提供される。 次に、識別器は、マスキングされたトークンをジェネレータの出力に置き換えるインタラクションシーケンスを取り、シーケンス内のすべてのトークンの独自性を予測するように訓練する。 従来の最先端生成事前学習法と比較して、DPAはよりサンプリング効率が良く、より低いアカデミック性能予測誤差に迅速に収束する。 我々はマルチプラットフォームITSアプリケーションから得られた実世界のデータセットについて広範な実験を行い、DPAは平均絶対誤差が4.05%減少し、ラベルスカルシティの増加に対してより堅牢であることを示す。

関連論文リスト

• Reconsidering Degeneration of Token Embeddings with Definitions for Encoder-based Pre-trained Language Models [20.107727903240065]
  本研究では,エンコーダに基づく言語モデルのための等方的および意味論的トークン埋め込みを再構築するために,DefindEMBを提案する。 本実験は,Wiktionaryの定義を応用し,そのような埋め込みを再構築する効果を実証する。
  論文  参考訳（メタデータ） (2024-08-02T15:00:05Z)
• Federated Class-Incremental Learning with Hierarchical Generative Prototypes [10.532838477096055]
  Federated Learning (FL)は、複数のデバイス(クライアント)に分散した計算をすることで、ディープモデルのトレーニングを解き放つことを目的としている。 提案手法は,学習可能なプロンプトを用いてトレーニング済みのバックボーンを効率よく微調整することにより,最終層のバイアスを抑える。 提案手法は現状を著しく改善し, 平均精度は+7.8%向上した。
  論文  参考訳（メタデータ） (2024-06-04T16:12:27Z)
• ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
  選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。 アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。 本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
  論文  参考訳（メタデータ） (2023-04-07T23:51:07Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Augmentation-Aware Self-Supervision for Data-Efficient GAN Training [68.81471633374393]
  識別器が過度に適合する傾向があるため、限られたデータでGANを訓練することは困難である。 本稿では,拡張データの拡張パラメータを予測する,拡張型自己教師型識別器を提案する。 本稿では,クラス条件の BigGAN と非条件の StyleGAN2 アーキテクチャを用いた State-of-the-art (SOTA) 手法と比較する。
  論文  参考訳（メタデータ） (2022-05-31T10:35:55Z)
• Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
  本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。 本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。 実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
  論文  参考訳（メタデータ） (2022-02-22T18:37:23Z)
• Diversity Enhanced Active Learning with Strictly Proper Scoring Rules [4.81450893955064]
  テキスト分類のための能動学習(AL)のための獲得関数について検討する。 我々は、期待損失削減法(ELR)を、ログ確率や負平均二乗誤差などの(厳密な)スコアの増加を推定するために変換する。 BEMPSを用いた平均二乗誤差とログ確率を用いることで、ロバストな取得関数が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-27T05:02:11Z)
• Training ELECTRA Augmented with Multi-word Selection [53.77046731238381]
  本稿では,マルチタスク学習に基づくELECTRAの改良を目的としたテキストエンコーダ事前学習手法を提案する。 具体的には、識別器を訓練し、置換トークンを同時に検出し、候補集合から元のトークンを選択する。
  論文  参考訳（メタデータ） (2021-05-31T23:19:00Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。