論文の概要: G-SciEdBERT: A Contextualized LLM for Science Assessment Tasks in German
- arxiv url: http://arxiv.org/abs/2402.06584v1
- Date: Fri, 9 Feb 2024 18:05:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-12 15:50:36.120080
- Title: G-SciEdBERT: A Contextualized LLM for Science Assessment Tasks in German
- Title(参考訳): G-SciEdBERT:ドイツにおける科学評価のための文脈的LLM
- Authors: Ehsan Latif, Gyeong-Geon Lee, Knut Neuman, Tamara Kastorff, and
Xiaoming Zhai
- Abstract要約: 本稿では,ドイツ語で書かれた理科課題に対する応答を評価するための文脈化されたドイツ語理科教育のBERT(G-SciEdBERT)を開発する。
G-BERTを用いて、G-SciEdBERTを5Mトークンで50万のドイツ語の書記科学応答のコーパスで事前訓練し、国際学生評価プログラム(PISA)2015に導入した。
G-SciEdBERTでは,G-BERTに比べて2次重み付きカッパが10%増加した。
- 参考スコア(独自算出の注目度): 0.9532490631672424
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The advancement of natural language processing has paved the way for
automated scoring systems in various languages, such as German (e.g., German
BERT [G-BERT]). Automatically scoring written responses to science questions in
German is a complex task and challenging for standard G-BERT as they lack
contextual knowledge in the science domain and may be unaligned with student
writing styles. This paper developed a contextualized German Science Education
BERT (G-SciEdBERT), an innovative large language model tailored for scoring
German-written responses to science tasks. Using G-BERT, we pre-trained
G-SciEdBERT on a corpus of 50K German written science responses with 5M tokens
to the Programme for International Student Assessment (PISA) 2015. We
fine-tuned G-SciEdBERT on 59 assessment items and examined the scoring
accuracy. We then compared its performance with G-BERT. Our findings reveal a
substantial improvement in scoring accuracy with G-SciEdBERT, demonstrating a
10% increase of quadratic weighted kappa compared to G-BERT (mean accuracy
difference = 0.096, SD = 0.024). These insights underline the significance of
specialized language models like G-SciEdBERT, which is trained to enhance the
accuracy of automated scoring, offering a substantial contribution to the field
of AI in education.
- Abstract(参考訳): 自然言語処理の進歩は、ドイツ語(例えば、ドイツ語 BERT [G-BERT])のような様々な言語における自動スコアリングシステムへの道を開いた。
ドイツ語で書かれた質問に対する自動的な回答は複雑な作業であり、科学領域における文脈的知識が欠如しており、学生の書き方と整合していないため、標準のG-BERTでは困難である。
本稿では,ドイツで書かれた科学課題に対する応答を評価するための,革新的な大規模言語モデルである,文脈化されたドイツ語科学教育BERT(G-SciEdBERT)を開発した。
G-BERTを用いて、G-SciEdBERTを5Mトークンで50万のドイツ製書物応答コーパスで事前訓練し、国際学生評価プログラム(PISA)2015に導入した。
59項目についてG-SciEdBERTを微調整し,評価精度を検討した。
そして、パフォーマンスをG-BERTと比較した。
G-SciEdBERTでは,G-BERTに比べて2次重み付きカッパが10%増加した(平均精度差: 0.096, SD = 0.024)。
これらの洞察は、自動スコアリングの精度を高めるために訓練されたG-SciEdBERTのような専門的な言語モデルの重要性を浮き彫りにしている。
関連論文リスト
- GLaPE: Gold Label-agnostic Prompt Evaluation and Optimization for Large
Language Model [66.86722460851968]
我々は,ゴールドラベルへの依存を軽減するため,ゴールドラベルに依存しないプロンプト評価(GLaPE)を提案する。
GLaPEは,ゴールドラベルが存在しない場合でも,精度よく信頼性の高い評価を行う。
一般的な6つの推論タスクにおいて、GLaPEベースのプロンプト最適化により、精度ベースのプロンプトに匹敵する効果的なプロンプトが得られる。
論文 参考訳(メタデータ) (2024-02-04T08:57:54Z) - German FinBERT: A German Pre-trained Language Model [0.0]
本研究は,財務テキストデータに適したドイツ語モデルである German FinBERT を提示する。
このモデルは、総合的な事前トレーニングプロセスを通じてトレーニングされ、財務報告、アドホックな発表、ドイツの企業に関するニュースを含む実質的なコーパスを活用する。
ダウンストリームタスクにおけるドイツ語FinBERTの性能,特に感情予測,話題認識,および一般的なドイツ語モデルに対する質問応答について評価する。
論文 参考訳(メタデータ) (2023-11-15T09:07:29Z) - AI, write an essay for me: A large-scale comparison of human-written
versus ChatGPT-generated essays [66.36541161082856]
ChatGPTや同様の生成AIモデルは、何億人ものユーザーを惹きつけている。
本研究は,ChatGPTが生成した議論的学生エッセイと比較した。
論文 参考訳(メタデータ) (2023-04-24T12:58:28Z) - Automatic Readability Assessment of German Sentences with Transformer
Ensembles [0.0]
GBERTとGPT-2-Wechselモデルのアンサンブルによるドイツ語文の可読性を確実に予測する能力について検討した。
GBERT と GPT-2-Wechsel の混合アンサンブルは、GBERT と GPT-2-Wechsel のみからなる同じ大きさのアンサンブルよりも優れた性能を示した。
論文 参考訳(メタデータ) (2022-09-09T13:47:55Z) - FBERT: A Neural Transformer for Identifying Offensive Content [67.12838911384024]
fBERTは、SOLIDで再訓練されたBERTモデルである。
複数の英文データセット上での攻撃的内容の同定におけるfBERTの性能を評価し、SOLIDからインスタンスを選択するためのしきい値をテストする。
fBERTモデルは、コミュニティで自由に利用できるようになる。
論文 参考訳(メタデータ) (2021-09-10T19:19:26Z) - Re-Evaluating GermEval17 Using German Pre-Trained Language Models [0.0]
GermEval17ワークショップの4つの課題に対して,ドイツ語および多言語BERTモデルの性能評価を行った。
観察された改善がドイツ語または潜在的に他の関連言語に転送可能であるかどうかに関する暫定的な結論を導きます。
論文 参考訳(メタデータ) (2021-02-24T15:05:56Z) - GottBERT: a pure German Language Model [0.0]
ドイツ語の単一言語RoBERTaモデルはまだ公開されておらず、本書で紹介する(GottBERT)。
評価では、名前付きエンティティ認識(NER)タスクのConll 2003 と GermEval 2014 と、GermEval 2018 (微細で粗い) と GNAD のテキスト分類タスクと、既存のドイツの単一言語 BERT モデルと2つの多言語タスクのパフォーマンスを比較した。
GottBERTはRoBERTa BASEアーキテクチャを使って256コアのTPUポッドで事前訓練に成功した。
論文 参考訳(メタデータ) (2020-12-03T17:45:03Z) - It's not Greek to mBERT: Inducing Word-Level Translations from
Multilingual BERT [54.84185432755821]
mBERT (multilingual BERT) は、言語間での移動を可能にするリッチな言語間表現を学習する。
我々はmBERTに埋め込まれた単語レベルの翻訳情報について検討し、微調整なしで優れた翻訳能力を示す2つの簡単な方法を提案する。
論文 参考訳(メタデータ) (2020-10-16T09:49:32Z) - Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。
AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。
実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
論文 参考訳(メタデータ) (2020-10-15T18:34:13Z) - An Empirical Study of Pre-trained Transformers for Arabic Information
Extraction [25.10651348642055]
我々は、GigaBERTと呼ばれるカスタマイズされたバイリンガルBERTを、アラビア語のNLPと英語からアラビア語へのゼロショットトランスファー学習のために事前訓練する。
GigaBERTによるIEタスク間のゼロショート転送の有効性について検討した。
我々の最良のモデルは、教師付きおよびゼロショット転送設定の両方において、mBERT、XLM-RoBERTa、AraBERTを大きく上回る。
論文 参考訳(メタデータ) (2020-04-30T00:01:08Z) - Extending Multilingual BERT to Low-Resource Languages [71.0976635999159]
M-BERT(M-BERT)は、教師付きおよびゼロショットの言語間移動学習において大きな成功を収めている。
我々は、M-BERTを拡張して、新しい言語に利益をもたらすための、シンプルで効果的なアプローチを提案する。
論文 参考訳(メタデータ) (2020-04-28T16:36:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。