論文の概要: MOOCRep: A Unified Pre-trained Embedding of MOOC Entities

• arxiv url: http://arxiv.org/abs/2107.05154v1
• Date: Mon, 12 Jul 2021 00:11:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-13 16:16:07.413903
• Title: MOOCRep: A Unified Pre-trained Embedding of MOOC Entities
• Title（参考訳）: MOOCRep:MOOCエンティティの統一されたトレーニング済み埋め込み
• Authors: Shalini Pandey, Jaideep Srivastava
• Abstract要約: 我々はMOOCの構造から豊富なラベルのないデータを用いてMOOCエンティティの事前訓練された表現を学習することを提案する。 実験の結果,MOOCRepの埋め込みは,教育コミュニティにとって重要な2つの課題において,最先端の表現学習方法よりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 4.0963355240233446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many machine learning models have been built to tackle information overload issues on Massive Open Online Courses (MOOC) platforms. These models rely on learning powerful representations of MOOC entities. However, they suffer from the problem of scarce expert label data. To overcome this problem, we propose to learn pre-trained representations of MOOC entities using abundant unlabeled data from the structure of MOOCs which can directly be applied to the downstream tasks. While existing pre-training methods have been successful in NLP areas as they learn powerful textual representation, their models do not leverage the richer information about MOOC entities. This richer information includes the graph relationship between the lectures, concepts, and courses along with the domain knowledge about the complexity of a concept. We develop MOOCRep, a novel method based on Transformer language model trained with two pre-training objectives : 1) graph-based objective to capture the powerful signal of entities and relations that exist in the graph, and 2) domain-oriented objective to effectively incorporate the complexity level of concepts. Our experiments reveal that MOOCRep's embeddings outperform state-of-the-art representation learning methods on two tasks important for education community, concept pre-requisite prediction and lecture recommendation.
• Abstract（参考訳）: 多くの機械学習モデルは、MOOC(Massive Open Online Courses)プラットフォーム上の情報過負荷問題に対処するために構築されている。 これらのモデルはMOOCエンティティの強力な表現の学習に依存している。 しかし、専門家のラベルデータが少ないという問題に苦しんでいる。 この問題を克服するために,下流タスクに直接適用可能なmoocの構造から,未ラベルの豊富なデータを用いて,事前学習したmoocエンティティの表現を学ぶことを提案する。 強力なテキスト表現を学ぶnlp領域では、既存の事前学習手法が成功しているが、彼らのモデルはmoocエンティティに関するよりリッチな情報を活用していない。 このリッチな情報には、講義、概念、コース間のグラフ関係と、概念の複雑さに関するドメイン知識が含まれている。 提案手法は,2つの事前学習目的を持つトランスフォーマー言語モデルに基づく新しい手法であるMOOCRepを開発する。1) グラフに存在する実体と関係の強力なシグナルを捕捉するためのグラフベース目的,2) 概念の複雑さレベルを効果的に組み込むためのドメイン指向目的である。 実験の結果,MOOCRepの埋め込みは,教育コミュニティにとって重要な2つの課題,概念的前提条件予測,講義推薦において,最先端の表現学習方法よりも優れていることがわかった。

関連論文リスト

• Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
  蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-11T07:36:19Z)
• Modeling Balanced Explicit and Implicit Relations with Contrastive Learning for Knowledge Concept Recommendation in MOOCs [1.0377683220196874]
  既存の手法は、推薦のためのユーザと知識概念との明確な関係に依存している。 MOOCプラットフォーム上のユーザの学習活動には、暗黙の関係が多数発生している。 本研究では,明示的・暗黙的な関係を表現・バランスできる,対照的な学習に基づく新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2024-02-13T07:12:44Z)
• Text Representation Distillation via Information Bottleneck Principle [22.63996326177594]
  IBKDと呼ばれる新しい知識蒸留法を提案する。 本研究の目的は,教師モデルと学生モデルの最終表現間の相互情報を最大化しつつ,学生モデルの表現と入力データとの相互情報を同時に低減することにある。 テキスト表現の2つの主要なダウンストリーム応用に関する実証的研究により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-11-09T16:04:17Z)
• Learn From Model Beyond Fine-Tuning: A Survey [78.80920533793595]
  Learn From Model (LFM) は、モデルインターフェースに基づいた基礎モデル(FM)の研究、修正、設計に焦点を当てている。 LFM技術の研究は、モデルチューニング、モデル蒸留、モデル再利用、メタラーニング、モデル編集の5つの分野に大別できる。 本稿では, LFM の観点から, FM に基づく現在の手法を概観する。
  論文  参考訳（メタデータ） (2023-10-12T10:20:36Z)
• Contextualized Structural Self-supervised Learning for Ontology Matching [0.9402105308876642]
  我々はLaKERMapと呼ばれる新しい自己教師型学習フレームワークを導入する。 LaKERMapは暗黙の知識をトランスフォーマーに統合することで、概念の文脈的および構造的情報を活用する。 我々の革新的なアプローチから得られた知見は、LaKERMapがアライメント品質と推論時間で最先端のシステムを上回っていることを示している。
  論文  参考訳（メタデータ） (2023-10-05T18:51:33Z)
• MoCoSA: Momentum Contrast for Knowledge Graph Completion with Structure-Augmented Pre-trained Language Models [11.57782182864771]
  構造強化事前学習言語モデル(MoCoSA)を用いた知識グラフ補完のためのMomentum Contrastを提案する。 また,WN18RRでは2.5%,OpenBG500では21%向上した。
  論文  参考訳（メタデータ） (2023-08-16T08:09:10Z)
• Learning without Forgetting for Vision-Language Models [65.49600786387106]
  CIL(Class-Incremental Learning)あるいは継続的学習(Continuous Learning)は、現実世界において望ましい能力である。 VLM(Vision-Language Models)の最近の進歩は、一般化可能な表現を学習する上で有望な能力を示している。 本稿では,VLM を忘れずに学習できる ProjectiOn Fusion (PROOF) を提案する。
  論文  参考訳（メタデータ） (2023-05-30T17:59:32Z)
• Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
  提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。 我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-13T16:00:31Z)
• Multi-View MOOC Quality Evaluation via Information-Aware Graph Representation Learning [26.723385384507274]
  マルチビューMOOC品質評価のための情報認識グラフ表現学習(IaGRL)を開発した。 まず、MOOCプラットフォームにおけるエンティティ間の相互作用と関係を表現するために、MOOC異種ネットワーク(HIN)を構築した。 そして、MOOC HINをメタパスに基づいて複数の単一関係グラフに分解し、コースのマルチビューセマンティクスを記述する。
  論文  参考訳（メタデータ） (2023-01-01T10:27:06Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。