Fugu-MT 論文翻訳(概要): ur-iw-hnt at GermEval 2021: An Ensembling Strategy with Multiple BERT Models

論文の概要: ur-iw-hnt at GermEval 2021: An Ensembling Strategy with Multiple BERT Models

arxiv url: http://arxiv.org/abs/2110.02042v1
Date: Tue, 5 Oct 2021 13:48:20 GMT
ステータス: 処理完了
システム内更新日: 2021-10-06 18:59:55.617694
Title: ur-iw-hnt at GermEval 2021: An Ensembling Strategy with Multiple BERT Models
Title（参考訳）: ur-iw-hnt at GermEval 2021: Ensembling Strategy with multiple BERT Models
Authors: Hoai Nam Tran and Udo Kruschwitz
Abstract要約: 複数の BERT モデルで過半数 (ハード) の投票で, アンサンブル戦略を用いて3回実施した。すべてのアンサンブルモデルはシングルモデルより優れており、BERTweetはサブタスクごとに個々のモデルの勝者である。 Twitterベースのモデルは、 GermanBERTモデルよりもパフォーマンスが良く、マルチ言語モデルはより悪いが、マージンは小さい。
参考スコア（独自算出の注目度）: 5.952826555378035
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper describes our approach (ur-iw-hnt) for the Shared Task of GermEval2021 to identify toxic, engaging, and fact-claiming comments. We submitted three runs using an ensembling strategy by majority (hard) voting with multiple different BERT models of three different types: German-based, Twitter-based, and multilingual models. All ensemble models outperform single models, while BERTweet is the winner of all individual models in every subtask. Twitter-based models perform better than GermanBERT models, and multilingual models perform worse but by a small margin.
Abstract（参考訳）: 本稿では,GermEval2021の共有タスクに対する我々のアプローチ(ur-iw-hnt)について述べる。我々は、ドイツ語ベース、Twitterベース、多言語モデルという3つの異なるタイプからなる複数のBERTモデルで、多数(ハード)投票によるアンサンブル戦略を用いて、3つの実行を提出した。すべてのアンサンブルモデルはシングルモデルより優れており、BERTweetはサブタスクごとに個々のモデルの勝者である。 Twitterベースのモデルは、 GermanBERTモデルよりもパフォーマンスが良く、マルチ言語モデルはより悪いが、マージンは小さい。

関連論文リスト

MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
論文参考訳（メタデータ） (2022-04-15T23:19:37Z)
Evaluating Contextualized Language Models for Hungarian [0.0]
ハンガリーのモデルhubertと多言語bertモデルを含む4つの多言語モデルを比較した。 huBERTは、他のモデルよりも、特にグローバルな最適化に近い大きなマージンで、うまく機能していることが分かりました。
論文参考訳（メタデータ） (2021-02-22T09:29:01Z)
GottBERT: a pure German Language Model [0.0]
ドイツ語の単一言語RoBERTaモデルはまだ公開されておらず、本書で紹介する(GottBERT)。評価では、名前付きエンティティ認識(NER)タスクのConll 2003 と GermEval 2014 と、GermEval 2018 (微細で粗い) と GNAD のテキスト分類タスクと、既存のドイツの単一言語 BERT モデルと2つの多言語タスクのパフォーマンスを比較した。 GottBERTはRoBERTa BASEアーキテクチャを使って256コアのTPUポッドで事前訓練に成功した。
論文参考訳（メタデータ） (2020-12-03T17:45:03Z)
Evaluating Multilingual BERT for Estonian [0.8057006406834467]
複数のNLPタスクにおいて,多言語BERT,多言語蒸留BERT,XLM,XLM-RoBERTaの4つのモデルを評価する。この結果から,多言語BERTモデルはエストニアの異なるNLPタスクでうまく一般化できることが示唆された。
論文参考訳（メタデータ） (2020-10-01T14:48:31Z)
ConvBERT: Improving BERT with Span-based Dynamic Convolution [144.25748617961082]
BERTはグローバルな自己保持ブロックに大きく依存しているため、大きなメモリフットプリントと計算コストに悩まされる。そこで本研究では,これらの自己注意型ヘッドを置き換え,局所的依存関係を直接モデル化する,スパンベースの動的畳み込みを提案する。新たな畳み込み頭は、他の自己注意頭と共に、グローバルな文脈学習とローカルな文脈学習の両方においてより効率的である、新しい混合注意ブロックを形成する。
論文参考訳（メタデータ） (2020-08-06T07:43:19Z)
WikiBERT models: deep transfer learning for many languages [1.3455090151301572]
ウィキペディアデータから言語固有のBERTモデルを作成するための、単純で完全に自動化されたパイプラインを導入します。我々は,これらのモデルの有効性を,Universal Dependenciesデータに基づく最先端のUDifyを用いて評価する。
論文参考訳（メタデータ） (2020-06-02T11:57:53Z)
lamBERT: Language and Action Learning Using Multimodal BERT [0.1942428068361014]
本研究では,マルチモーダルBERT(lamBERT)モデルを用いた言語と行動学習を提案する。実験は、エージェントが適切に振る舞うために言語理解を必要とするグリッド環境で行われる。 lamBERTモデルは、他のモデルと比較してマルチタスク設定や転送設定において高い報酬を得た。
論文参考訳（メタデータ） (2020-04-15T13:54:55Z)
Structure-Level Knowledge Distillation For Multilingual Sequence Labeling [73.40368222437912]
本稿では,複数の単言語モデルの構造的知識を統一多言語モデル(学生)に蒸留することにより,単言語モデルと統一多言語モデルとのギャップを低減することを提案する。 25のデータセットを用いた4つの多言語タスクの実験により、我々のアプローチはいくつかの強いベースラインを上回り、ベースラインモデルと教師モデルの両方よりも強力なゼロショット一般化性を有することが示された。
論文参考訳（メタデータ） (2020-04-08T07:14:01Z)
Exploring Versatile Generative Language Model Via Parameter-Efficient Transfer Learning [70.81910984985683]
本稿では,1つの大規模事前学習モデルを用いて,複数のダウンストリーム生成タスクを同時に微調整する効果的な方法を提案する。 5つの多様な言語生成タスクの実験は、各タスクに2-3%のパラメータを追加するだけで、モデル全体の微調整性能を維持または改善できることを示している。
論文参考訳（メタデータ） (2020-04-08T06:18:44Z)
InterBERT: Vision-and-Language Interaction for Multi-modal Pretraining [76.32065400614162]
我々は,本シリーズのマルチモーダル事前学習手法M6の最初のモデルであるInterBERT(BERT for Interaction)を提案する。モデルは、異なるモダリティの情報フロー間の相互作用をモデル化する強力な能力を持っている。中国語におけるマルチモーダル事前学習のための大規模データセットを提案し,中国初のマルチモーダル事前学習モデルである中国語InterBERTを開発した。
論文参考訳（メタデータ） (2020-03-30T03:13:22Z)
AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
論文参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。