Fugu-MT 論文翻訳(概要): Comparative Evaluation of Pretrained Transfer Learning Models on Automatic Short Answer Grading

論文の概要: Comparative Evaluation of Pretrained Transfer Learning Models on Automatic Short Answer Grading

arxiv url: http://arxiv.org/abs/2009.01303v1
Date: Wed, 2 Sep 2020 19:07:34 GMT
ステータス: 処理完了
システム内更新日: 2022-10-22 19:12:06.474533
Title: Comparative Evaluation of Pretrained Transfer Learning Models on Automatic Short Answer Grading
Title（参考訳）: 自動短答採点における事前学習学習モデルの比較評価
Authors: Sasi Kiran Gaddipati, Deebul Nair, Paul G. Pl\"oger
Abstract要約: 自動短解像(英: Automatic Short Answer Grading, ASAG)は、学生の回答を、質問と所望の回答を与えられた計算的アプローチによって評価する過程である。従来の研究では、概念マッピングやファセットマッピングといった手法が実装されており、また意味的特徴を抽出するために従来の単語埋め込みを用いたものもある。我々は,移動学習モデルであるELMo,BERT,GPT,GPT-2の事前学習埋め込みを用いて,その効率性を評価する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Automatic Short Answer Grading (ASAG) is the process of grading the student answers by computational approaches given a question and the desired answer. Previous works implemented the methods of concept mapping, facet mapping, and some used the conventional word embeddings for extracting semantic features. They extracted multiple features manually to train on the corresponding datasets. We use pretrained embeddings of the transfer learning models, ELMo, BERT, GPT, and GPT-2 to assess their efficiency on this task. We train with a single feature, cosine similarity, extracted from the embeddings of these models. We compare the RMSE scores and correlation measurements of the four models with previous works on Mohler dataset. Our work demonstrates that ELMo outperformed the other three models. We also, briefly describe the four transfer learning models and conclude with the possible causes of poor results of transfer learning models.
Abstract（参考訳）: 自動短答格付け (automatic short answer grading, asag) は、ある質問と所望の回答によって生徒の回答を格付けする過程である。以前の作品では概念マッピング、ファセットマッピングの手法を実装しており、意味的特徴を抽出するために従来の単語埋め込みを用いたものもある。彼らは、対応するデータセットをトレーニングするために、複数の機能を手動で抽出した。我々は,移動学習モデルであるELMo,BERT,GPT,GPT-2の事前学習埋め込みを用いて,その効率性を評価する。これらのモデルの埋め込みから抽出した1つの特徴、コサイン類似性をトレーニングする。我々は, 4つのモデルのRMSEスコアと相関値と, モーラーデータセットの先行研究との比較を行った。私たちの研究は、ELMoが他の3つのモデルより優れていることを示した。また,4つの伝達学習モデルを簡潔に記述し,伝達学習モデルの貧弱な結果の原因について結論づける。

関連論文リスト

Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
論文参考訳（メタデータ） (2024-09-02T22:35:03Z)
Mixture-of-Experts Meets Instruction Tuning:A Winning Combination for Large Language Models [125.91897197446379]
MoEモデルは高密度モデルよりも命令チューニングの恩恵を受ける。我々の最も強力なモデルであるFLAN-MOE-32Bは、4つのベンチマークタスクにおけるFLAN-PALM-62Bの性能を上回る。
論文参考訳（メタデータ） (2023-05-24T04:22:26Z)
Evaluating Representations with Readout Model Switching [19.907607374144167]
本稿では,最小記述長(MDL)の原理を用いて評価指標を考案する。我々は、読み出しモデルのためのハイブリッド離散および連続値モデル空間を設計し、それらの予測を組み合わせるために切替戦略を用いる。提案手法はオンライン手法で効率的に計算でき,様々なアーキテクチャの事前学習された視覚エンコーダに対する結果を示す。
論文参考訳（メタデータ） (2023-02-19T14:08:01Z)
Mixture Manifold Networks: A Computationally Efficient Baseline for Inverse Modeling [7.891408798179181]
汎用逆問題に対処する新しい手法を提案する。近年の研究では、ディープラーニングによる顕著な結果が示されているが、モデルの性能と計算時間との間にはトレードオフがある。
論文参考訳（メタデータ） (2022-11-25T20:18:07Z)
Open-vocabulary Semantic Segmentation with Frozen Vision-Language Models [39.479912987123214]
自己指導型学習は、幅広い視覚的・言語的理解タスクを解く顕著な能力を示した。 Fusionerは軽量なトランスフォーマーベースの融合モジュールで、凍結した視覚表現と言語概念をペアリングする。提案手法は,任意の視覚モデルと言語モデル,あるいはユニモーダルデータのコーパス上で事前学習したモデルに対して有効であることを示す。
論文参考訳（メタデータ） (2022-10-27T02:57:26Z)
MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
論文参考訳（メタデータ） (2022-04-15T23:19:37Z)
Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
論文参考訳（メタデータ） (2022-03-09T17:26:53Z)
Deep Learning Models for Knowledge Tracing: Review and Empirical Evaluation [2.423547527175807]
我々は,オープンで広く利用されているデータセットを用いた深層学習知識追跡(DLKT)モデルをレビューし,評価する。評価されたDLKTモデルは、以前報告した結果の再現性と評価のために再実装されている。
論文参考訳（メタデータ） (2021-12-30T14:19:27Z)
Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文参考訳（メタデータ） (2021-12-17T18:29:56Z)
Merging Models with Fisher-Weighted Averaging [24.698591753644077]
我々は、複数のモデルを1つに“マージ”するモデル間で知識を伝達する、根本的に異なる方法を紹介します。提案手法は,モデルのパラメータの重み付け平均を効果的に計算する。マージ手順により、これまで探索されていなかった方法でモデルを組み合わせることが可能であることを示す。
論文参考訳（メタデータ） (2021-11-18T17:59:35Z)
Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文参考訳（メタデータ） (2021-06-01T22:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。