論文の概要: LaDiff ULMFiT: A Layer Differentiated training approach for ULMFiT
- arxiv url: http://arxiv.org/abs/2101.04965v1
- Date: Wed, 13 Jan 2021 09:52:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-03 17:36:59.846035
- Title: LaDiff ULMFiT: A Layer Differentiated training approach for ULMFiT
- Title（参考訳）: LaDiff ULMFiT: ULMFiTの層差学習手法
- Authors: Mohammed Azhan, Mohammad Ahmad
- Abstract要約: 事前に訓練したUMMFiT arXiv:1801.06146モデルを訓練するためのレイヤ別トレーニング手順を提案する。
特別なトークンを使用してツイートの特定の部分をアノテートし、言語理解を改善し、モデルに関する洞察を得ました。
提案手法は、サブタスク「COVID19 Fake News Detection in English」で164人中61位にランクインした。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In our paper, we present Deep Learning models with a layer differentiated
training method which were used for the SHARED TASK@ CONSTRAINT 2021 sub-tasks
COVID19 Fake News Detection in English and Hostile Post Detection in Hindi. We
propose a Layer Differentiated training procedure for training a pre-trained
ULMFiT arXiv:1801.06146 model. We used special tokens to annotate specific
parts of the tweets to improve language understanding and gain insights on the
model making the tweets more interpretable. The other two submissions included
a modified RoBERTa model and a simple Random Forest Classifier. The proposed
approach scored a precision and f1 score of 0.96728972 and 0.967324832
respectively for sub-task "COVID19 Fake News Detection in English". Also,
Coarse-Grained Hostility f1 Score and Weighted FineGrained f1 score of 0.908648
and 0.533907 respectively for sub-task Hostile Post Detection in Hindi. The
proposed approach ranked 61st out of 164 in the sub-task "COVID19 Fake News
Detection in English and 18th out of 45 in the sub-task Hostile Post Detection
in Hindi".
- Abstract（参考訳）: 本稿では,英語におけるタスク@制約2021サブタスクcovid-19偽ニュース検出と,ヒンズー語における敵対的なポスト検出に使用される層別トレーニング手法を用いたディープラーニングモデルを提案する。
本稿では,事前学習したULMFiT arXiv:1801.06146モデルの層差分訓練手法を提案する。
ツイートの特定の部分に注釈をつけるために特別なトークンを使用して、言語理解を改善し、ツイートをより解釈しやすいものにするためのモデルに関する洞察を得ました。
他の2つの提案には、改良されたRoBERTaモデルと単純なランダムフォレスト分類器が含まれていた。
提案手法の精度は0.96728972と0.967324832であり、それぞれサブタスク「COVID19 Fake News Detection in English」である。
また, ヒンディー語では, 粗粒度f1得点, 重み付き細粒度f1得点は0.908648, 0.533907であった。
提案手法はサブタスク164中61位、「英語における偽ニュース検出covid19」とヒンディー語におけるサブタスク敵対的なポスト検出45中18位」でランク付けされた。
関連論文リスト
- Bag of Tricks for Effective Language Model Pretraining and Downstream
Adaptation: A Case Study on GLUE [93.98660272309974]
このレポートでは、ジェネラル言語理解評価のリーダーボードに関するVega v1を簡潔に紹介します。
GLUEは、質問応答、言語受容性、感情分析、テキスト類似性、パラフレーズ検出、自然言語推論を含む9つの自然言語理解タスクのコレクションである。
最適化された事前学習と微調整の戦略により、13億のモデルは4/9タスクに新しい最先端のタスクを設定し、91.3の平均スコアを達成しました。
論文 参考訳（メタデータ） (2023-02-18T09:26:35Z) - Overview of Abusive and Threatening Language Detection in Urdu at FIRE
2021 [50.591267188664666]
我々は、ウルドゥー語に対する虐待と脅しの2つの共通タスクを提示する。
本研究では, (i) 乱用と非乱用というラベル付きツイートを含む手動注釈付きデータセットと, (ii) 脅威と非脅威の2つを提示する。
両方のサブタスクに対して、m-Bertベースのトランスモデルは最高の性能を示した。
論文 参考訳（メタデータ） (2022-07-14T07:38:13Z) - UrduFake@FIRE2021: Shared Track on Fake News Identification in Urdu [55.41644538483948]
本研究は、ウルドゥー語で偽ニュースを検出するために、UrduFake@FIRE2021と名付けられた2番目の共有タスクを報告した。
提案システムは、様々なカウントベースの特徴に基づいており、異なる分類器とニューラルネットワークアーキテクチャを使用していた。
勾配降下(SGD)アルゴリズムは他の分類器よりも優れ、0.679Fスコアを達成した。
論文 参考訳（メタデータ） (2022-07-11T19:15:04Z) - Sequence-level self-learning with multiple hypotheses [53.04725240411895]
我々は、自動音声認識(ASR)のためのアテンションベースシーケンス・ツー・シーケンス(seq2seq)モデルを用いた新しい自己学習手法を開発した。
従来の教師なし学習手法とは対照的に,我々はEmphmulti-task Learning(MTL)フレームワークを採用する。
実験の結果,本手法は,英語データのみを用いてトレーニングしたベースラインモデルと比較して,英文音声データのWERを14.55%から10.36%に削減できることがわかった。
論文 参考訳（メタデータ） (2021-12-10T20:47:58Z) - From Universal Language Model to Downstream Task: Improving
RoBERTa-Based Vietnamese Hate Speech Detection [8.602181445598776]
汎用のRoBERTa言語モデルを特定のテキスト分類タスクであるベトナムのヘイト音声検出に適応させるパイプラインを提案する。
実験の結果,提案パイプラインの性能が著しく向上し,0.7221 f1のベトナム人ヘイトスピーチ検出キャンペーンが達成された。
論文 参考訳（メタデータ） (2021-02-24T09:30:55Z) - An Attention Ensemble Approach for Efficient Text Classification of
Indian Languages [0.0]
本稿では,インド・デヴァナガリ文字を母語とするマラーティー語における短文文書の細かな技術領域識別について述べる。
畳み込みニューラルネットワークが生成する中間文表現と双方向の長期記憶とを合体させ,効率的なテキスト分類を実現するcnn-bilstm注意アンサンブルモデルを提案する。
実験結果から,提案モデルが与えられたタスクにおける各種ベースライン機械学習および深層学習モデルより優れ,89.57%,f1スコア0.8875の検証精度が得られた。
論文 参考訳（メタデータ） (2021-02-20T07:31:38Z) - Coarse and Fine-Grained Hostility Detection in Hindi Posts using Fine
Tuned Multilingual Embeddings [4.3012765978447565]
敵意検出タスクは、英語のようなリソースに富む言語でよく研究されているが、Hindidueのようなリソースに制約のある言語では探索されていない。
ヒンディー語投稿における敵意検出に有効なニューラルネットワークに基づく手法を提案する。
論文 参考訳（メタデータ） (2021-01-13T11:00:31Z) - Detecting Hostile Posts using Relational Graph Convolutional Network [1.8734449181723827]
この研究は、ソーシャルメディアプラットフォーム上でヒンディー語で敵対的な投稿を検出するためにAAAI@2021が実施したコンテストへの提出に基づいている。
ここでは,畳み込みネットワークを用いた敵対的ポスト分類のためのモデルを提案する。
提案されたモデルは、与えられたデータセット上のGoogleのXLM-RoBERTaと同等に実行されている。
XLMRobertaを用いた分類システムでは, 細粒度分類では2位であった。
論文 参考訳（メタデータ） (2021-01-10T06:50:22Z) - Exploring Text-transformers in AAAI 2021 Shared Task: COVID-19 Fake News
Detection in English [30.61407811064534]
本稿では,AAAI 2021の共用タスクである「Fake News Detection」を英語で記述する。
BERT、Roberta、Ernieなど、様々な学習済み言語モデルのアンサンブル法を提案しました。
また、正しく分類されていないサンプルの広範な分析も行います。
論文 参考訳（メタデータ） (2021-01-07T04:01:13Z) - Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。
AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。
実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
論文 参考訳（メタデータ） (2020-10-15T18:34:13Z) - Kungfupanda at SemEval-2020 Task 12: BERT-Based Multi-Task Learning for
Offensive Language Detection [55.445023584632175]
我々は,マルチタスク学習とBERTモデルを組み合わせた攻撃的言語検出システムを構築した。
我々のモデルは、英語のサブタスクAで91.51%のF1スコアを獲得し、これは第1位に匹敵する。
論文 参考訳（メタデータ） (2020-04-28T11:27:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。