論文の概要: G-SciEdBERT: A Contextualized LLM for Science Assessment Tasks in German
- arxiv url: http://arxiv.org/abs/2402.06584v1
- Date: Fri, 9 Feb 2024 18:05:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-12 15:50:36.120080
- Title: G-SciEdBERT: A Contextualized LLM for Science Assessment Tasks in German
- Title（参考訳）: G-SciEdBERT:ドイツにおける科学評価のための文脈的LLM
- Authors: Ehsan Latif, Gyeong-Geon Lee, Knut Neuman, Tamara Kastorff, and
Xiaoming Zhai
- Abstract要約: 本稿では,ドイツ語で書かれた理科課題に対する応答を評価するための文脈化されたドイツ語理科教育のBERT(G-SciEdBERT)を開発する。
G-BERTを用いて、G-SciEdBERTを5Mトークンで50万のドイツ語の書記科学応答のコーパスで事前訓練し、国際学生評価プログラム(PISA)2015に導入した。
G-SciEdBERTでは,G-BERTに比べて2次重み付きカッパが10%増加した。
- 参考スコア（独自算出の注目度）: 0.9532490631672424
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The advancement of natural language processing has paved the way for
automated scoring systems in various languages, such as German (e.g., German
BERT [G-BERT]). Automatically scoring written responses to science questions in
German is a complex task and challenging for standard G-BERT as they lack
contextual knowledge in the science domain and may be unaligned with student
writing styles. This paper developed a contextualized German Science Education
BERT (G-SciEdBERT), an innovative large language model tailored for scoring
German-written responses to science tasks. Using G-BERT, we pre-trained
G-SciEdBERT on a corpus of 50K German written science responses with 5M tokens
to the Programme for International Student Assessment (PISA) 2015. We
fine-tuned G-SciEdBERT on 59 assessment items and examined the scoring
accuracy. We then compared its performance with G-BERT. Our findings reveal a
substantial improvement in scoring accuracy with G-SciEdBERT, demonstrating a
10% increase of quadratic weighted kappa compared to G-BERT (mean accuracy
difference = 0.096, SD = 0.024). These insights underline the significance of
specialized language models like G-SciEdBERT, which is trained to enhance the
accuracy of automated scoring, offering a substantial contribution to the field
of AI in education.
- Abstract（参考訳）: 自然言語処理の進歩は、ドイツ語(例えば、ドイツ語 BERT [G-BERT])のような様々な言語における自動スコアリングシステムへの道を開いた。
ドイツ語で書かれた質問に対する自動的な回答は複雑な作業であり、科学領域における文脈的知識が欠如しており、学生の書き方と整合していないため、標準のG-BERTでは困難である。
本稿では,ドイツで書かれた科学課題に対する応答を評価するための,革新的な大規模言語モデルである,文脈化されたドイツ語科学教育BERT(G-SciEdBERT)を開発した。
G-BERTを用いて、G-SciEdBERTを5Mトークンで50万のドイツ製書物応答コーパスで事前訓練し、国際学生評価プログラム(PISA)2015に導入した。
59項目についてG-SciEdBERTを微調整し,評価精度を検討した。
そして、パフォーマンスをG-BERTと比較した。
G-SciEdBERTでは,G-BERTに比べて2次重み付きカッパが10%増加した(平均精度差: 0.096, SD = 0.024)。
これらの洞察は、自動スコアリングの精度を高めるために訓練されたG-SciEdBERTのような専門的な言語モデルの重要性を浮き彫りにしている。
関連論文リスト
- SHuBERT: Self-Supervised Sign Language Representation Learning via Multi-Stream Cluster Prediction [65.1590372072555]
本稿では,ASL(American Sign Language)ビデオコンテンツから強い表現を学習する自己教師型トランスフォーマーエンコーダSHuBERTを紹介する。
HuBERT音声表現モデルの成功に触発されて、SHuBERTはマルチストリーム視覚手話入力にマスク付き予測を適用する。
SHuBERTは、複数のベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-11-25T03:13:08Z) - Data and Approaches for German Text simplification -- towards an
Accessibility-enhanced Communication [0.0]
本稿では,ドイツ語テキストの簡易化の現状を考察し,並列化と単言語的ドイツ語コーパスに着目した。
ドイツのテキストを単純化するためのニューラルネットワークモデルをレビューし、法的テキストとアクセシビリティ要件に対するそれらの適合性を評価する。
著者らは2023年4月にこれらの研究ギャップに対処するため、学際的なOPEN-LSプロジェクトを立ち上げた。
論文 参考訳（メタデータ） (2023-12-15T17:23:33Z) - EaSyGuide : ESG Issue Identification Framework leveraging Abilities of
Generative Large Language Models [5.388543737855513]
本稿では,多言語環境・社会・コーポレートガバナンス問題識別(ML-ESG)におけるFinNLP-2023共有課題への参加について述べる。
課題は、MSCI ESG評価ガイドラインで定義された35のESGキーイシューに基づいて、ニュース記事の分類を行うことである。
我々のアプローチは、ゼロショットとGPT3Mix拡張技術とともに、CerebrasGPT、OPT、Pythiaモデルを採用した英語とフランス語のサブタスクに焦点を当てている。
論文 参考訳（メタデータ） (2023-06-11T12:25:02Z) - BJTU-WeChat's Systems for the WMT22 Chat Translation Task [66.81525961469494]
本稿では,WMT'22チャット翻訳タスクに対して,北京地東大学とWeChat AIを共同で提案する。
Transformerに基づいて、いくつかの有効な変種を適用します。
本システムでは,0.810と0.946のCOMETスコアを達成している。
論文 参考訳（メタデータ） (2022-11-28T02:35:04Z) - Automatic Readability Assessment of German Sentences with Transformer
Ensembles [0.0]
GBERTとGPT-2-Wechselモデルのアンサンブルによるドイツ語文の可読性を確実に予測する能力について検討した。
GBERT と GPT-2-Wechsel の混合アンサンブルは、GBERT と GPT-2-Wechsel のみからなる同じ大きさのアンサンブルよりも優れた性能を示した。
論文 参考訳（メタデータ） (2022-09-09T13:47:55Z) - LightHuBERT: Lightweight and Configurable Speech Representation Learning
with Once-for-All Hidden-Unit BERT [69.77358429702873]
本稿では,一度限りのTransformer圧縮フレームワークであるLightHuBERTを提案する。
自動音声認識(ASR)とSUPERBベンチマークの実験は、提案されたLightHuBERTが109ドル以上のアーキテクチャを実現することを示している。
LightHuBERTは、ほとんどのタスクにおいて、29%のパラメータを削減して、教師モデルに匹敵するパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-03-29T14:20:55Z) - GottBERT: a pure German Language Model [0.0]
ドイツ語の単一言語RoBERTaモデルはまだ公開されておらず、本書で紹介する(GottBERT)。
評価では、名前付きエンティティ認識(NER)タスクのConll 2003 と GermEval 2014 と、GermEval 2018 (微細で粗い) と GNAD のテキスト分類タスクと、既存のドイツの単一言語 BERT モデルと2つの多言語タスクのパフォーマンスを比較した。
GottBERTはRoBERTa BASEアーキテクチャを使って256コアのTPUポッドで事前訓練に成功した。
論文 参考訳（メタデータ） (2020-12-03T17:45:03Z) - It's not Greek to mBERT: Inducing Word-Level Translations from
Multilingual BERT [54.84185432755821]
mBERT (multilingual BERT) は、言語間での移動を可能にするリッチな言語間表現を学習する。
我々はmBERTに埋め込まれた単語レベルの翻訳情報について検討し、微調整なしで優れた翻訳能力を示す2つの簡単な方法を提案する。
論文 参考訳（メタデータ） (2020-10-16T09:49:32Z) - Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。
AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。
実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
論文 参考訳（メタデータ） (2020-10-15T18:34:13Z) - An Empirical Study of Pre-trained Transformers for Arabic Information
Extraction [25.10651348642055]
我々は、GigaBERTと呼ばれるカスタマイズされたバイリンガルBERTを、アラビア語のNLPと英語からアラビア語へのゼロショットトランスファー学習のために事前訓練する。
GigaBERTによるIEタスク間のゼロショート転送の有効性について検討した。
我々の最良のモデルは、教師付きおよびゼロショット転送設定の両方において、mBERT、XLM-RoBERTa、AraBERTを大きく上回る。
論文 参考訳（メタデータ） (2020-04-30T00:01:08Z) - Extending Multilingual BERT to Low-Resource Languages [71.0976635999159]
M-BERT(M-BERT)は、教師付きおよびゼロショットの言語間移動学習において大きな成功を収めている。
我々は、M-BERTを拡張して、新しい言語に利益をもたらすための、シンプルで効果的なアプローチを提案する。
論文 参考訳（メタデータ） (2020-04-28T16:36:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。