Fugu-MT 論文翻訳(概要): K-12BERT: BERT for K-12 education

論文の概要: K-12BERT: BERT for K-12 education

arxiv url: http://arxiv.org/abs/2205.12335v1
Date: Tue, 24 May 2022 19:35:41 GMT
ステータス: 処理完了
システム内更新日: 2022-05-26 13:47:03.336865
Title: K-12BERT: BERT for K-12 education
Title（参考訳）: K-12BERT:K-12教育用BERT
Authors: Vasu Goel, Dhruv Sahnan, Venktesh V, Gaurav Sharma, Deep Dwivedi, Mukesh Mohania
Abstract要約: 我々は,K-12 教育のための複数の科目で収集したデータのコーパスに基づいて,言語モデルを訓練することを提案する。また、階層的な分類分類タグ付けのような下流タスクにおいて、我々のモデルであるK12-BERTを評価する。
参考スコア（独自算出の注目度）: 9.191721744350565
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Online education platforms are powered by various NLP pipelines, which utilize models like BERT to aid in content curation. Since the inception of the pre-trained language models like BERT, there have also been many efforts toward adapting these pre-trained models to specific domains. However, there has not been a model specifically adapted for the education domain (particularly K-12) across subjects to the best of our knowledge. In this work, we propose to train a language model on a corpus of data curated by us across multiple subjects from various sources for K-12 education. We also evaluate our model, K12-BERT, on downstream tasks like hierarchical taxonomy tagging.
Abstract（参考訳）: オンライン教育プラットフォームにはさまざまなNLPパイプラインがあり、BERTのようなモデルを使ってコンテンツキュレーションを行っている。 BERTのような事前訓練された言語モデルが登場して以来、これらの事前訓練されたモデルを特定のドメインに適応するための多くの努力が続けられてきた。しかし、教育領域(特にK-12)に特化しているモデルが、我々の知識を最大限に活用するものではない。そこで本研究では,k-12 教育のために,様々な教材から複数の対象にまたがって収集したデータのコーパス上で言語モデルを学習することを提案する。また,階層的分類タギングなどの下流タスクにおけるk12-bertの評価を行った。

関連論文リスト

EduNLP: Towards a Unified and Modularized Library for Educational Resources [78.8523961816045]
我々はEduNLPという,統一された,モジュール化された,広範なライブラリを紹介し,教育資源の理解に焦点をあてる。このライブラリでは、ワークフロー全体を4つのキーモジュールに分離し、データ構成、処理、モデル実装、モデル評価など、一貫したインターフェースを提供します。現在のバージョンでは、主に4つのカテゴリから10の典型的なモデルを提供し、教育領域における5つのダウンストリーム評価タスクを、ユーザの使用に対して8つの被験者に提供します。
論文参考訳（メタデータ） (2024-06-03T12:45:40Z)
Smaller Language Models are capable of selecting Instruction-Tuning Training Data for Larger Language Models [39.65879784788677]
サンプルの学習率に基づいて,新しい学習データ選択を導入する。現在の言語モデルには、高品質なトレーニングデータを自律的に選択する能力がある、と我々は主張する。本稿では,データ選択のトレーニングに新たなアプローチを導入し,より効率的な代替手段を示す。
論文参考訳（メタデータ） (2024-02-16T03:39:37Z)
Comparison of Pre-trained Language Models for Turkish Address Parsing [0.0]
トルコの地図データに着目し,多言語とトルコを基盤とするBERT, DistilBERT, ELECTRA, RoBERTaを徹底的に評価する。また,一層ファインチューニングの標準的なアプローチに加えて,細調整BERTのためのMultiLayer Perceptron (MLP)を提案する。
論文参考訳（メタデータ） (2023-06-24T12:09:43Z)
MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
論文参考訳（メタデータ） (2022-04-15T23:19:37Z)
Training dataset and dictionary sizes matter in BERT models: the case of Baltic languages [0.0]
我々はリトアニア語、ラトビア語、英語の3言語モデルLitLat BERTとエストニア語の単言語モデルEst-RoBERTaを訓練する。提案手法は,エンティティ認識,依存性解析,パート・オブ・音声タグ付け,単語類似処理の4つのダウンストリームタスクにおいて,その性能を評価する。
論文参考訳（メタデータ） (2021-12-20T14:26:40Z)
bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。 bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
論文参考訳（メタデータ） (2021-10-14T04:05:25Z)
HerBERT: Efficiently Pretrained Transformer-based Language Model for Polish [4.473327661758546]
本論文では,ポーランド語に焦点をあてた最初のアブレーション研究について述べる。多言語モデルから単言語モデルへの知識伝達の事前学習手順を設計・評価します。提案された手順に基づいて、ポーランドのBERTベースの言語モデルであるHerBERTが訓練される。
論文参考訳（メタデータ） (2021-05-04T20:16:17Z)
Reinforced Multi-Teacher Selection for Knowledge Distillation [54.72886763796232]
知識蒸留はモデル圧縮の一般的な方法です。現在の方法は、蒸留全体の教師モデルに固定重量を割り当てます。既存のメソッドのほとんどは、すべての教師モデルに等しい重みを割り当てます。本論文では,学習例の複雑性や生徒モデル能力の違いから,教師モデルとの違いを学習することで,生徒モデルの蒸留性能の向上が期待できることを考察する。
論文参考訳（メタデータ） (2020-12-11T08:56:39Z)
Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文参考訳（メタデータ） (2020-10-24T11:55:28Z)
Structure-Level Knowledge Distillation For Multilingual Sequence Labeling [73.40368222437912]
本稿では,複数の単言語モデルの構造的知識を統一多言語モデル(学生)に蒸留することにより,単言語モデルと統一多言語モデルとのギャップを低減することを提案する。 25のデータセットを用いた4つの多言語タスクの実験により、我々のアプローチはいくつかの強いベースラインを上回り、ベースラインモデルと教師モデルの両方よりも強力なゼロショット一般化性を有することが示された。
論文参考訳（メタデータ） (2020-04-08T07:14:01Z)
What the [MASK]? Making Sense of Language-Specific BERT Models [39.54532211263058]
本稿では,言語固有のBERTモデルにおける技術の現状について述べる。本研究の目的は,言語固有のBERTモデルとmBERTモデルとの共通点と相違点について概説することである。
論文参考訳（メタデータ） (2020-03-05T20:42:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。