論文の概要: UoB at SemEval-2020 Task 12: Boosting BERT with Corpus Level Information
- arxiv url: http://arxiv.org/abs/2008.08547v1
- Date: Wed, 19 Aug 2020 16:47:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 11:51:59.835187
- Title: UoB at SemEval-2020 Task 12: Boosting BERT with Corpus Level Information
- Title（参考訳）: UoB at SemEval-2020 Task 12: Boosting BERT with Corpus Level Information (英語)
- Authors: Wah Meng Lim and Harish Tayyar Madabushi
- Abstract要約: 我々は、ソーシャルメディア上での虐待を識別するタスクにおいて、TF-IDF(Term Frequency-Inverse Document Frequency)とBERTの統合の有効性を検証した。
トップパフォーマンスチームの2ポイントとサブタスクB(ターゲット検出)でスコアを獲得し、44チーム中4位にランクインします。
- 参考スコア（独自算出の注目度）: 0.6980076213134383
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pre-trained language model word representation, such as BERT, have been
extremely successful in several Natural Language Processing tasks significantly
improving on the state-of-the-art. This can largely be attributed to their
ability to better capture semantic information contained within a sentence.
Several tasks, however, can benefit from information available at a corpus
level, such as Term Frequency-Inverse Document Frequency (TF-IDF). In this work
we test the effectiveness of integrating this information with BERT on the task
of identifying abuse on social media and show that integrating this information
with BERT does indeed significantly improve performance. We participate in
Sub-Task A (abuse detection) wherein we achieve a score within two points of
the top performing team and in Sub-Task B (target detection) wherein we are
ranked 4 of the 44 participating teams.
- Abstract（参考訳）: BERTのような事前訓練された言語モデルワード表現は、いくつかの自然言語処理タスクにおいて、最先端技術において著しく改善されている。
これは、文に含まれる意味的情報をよりよく捉える能力によって引き起こされる。
しかし、いくつかのタスクは、TF-IDF(Term Frequency-Inverse Document Frequency)のようなコーパスレベルで利用できる情報から恩恵を受けることができる。
本研究は,ソーシャルメディア上での虐待を識別するタスクにおいて,bertとこの情報を統合することの有効性を検証し,bertと統合することでパフォーマンスが著しく向上することを示す。
我々はサブタスクa(異常検出)に参加し、トップパフォーマンスチームの2ポイント以内にスコアを達成し、サブタスクb(ターゲット検出)では44チームのうち4位にランクします。
関連論文リスト
- Rethinking and Improving Multi-task Learning for End-to-end Speech
Translation [51.713683037303035]
異なる時間とモジュールを考慮したタスク間の整合性について検討する。
テキストエンコーダは、主にクロスモーダル変換を容易にするが、音声におけるノイズの存在は、テキストと音声表現の一貫性を妨げる。
長さと表現の差を軽減し,モーダルギャップを橋渡しする,STタスクのための改良型マルチタスク学習(IMTL)手法を提案する。
論文 参考訳（メタデータ） (2023-11-07T08:48:46Z) - InfoCSE: Information-aggregated Contrastive Learning of Sentence
Embeddings [61.77760317554826]
本稿では,教師なし文の埋め込みを学習するための情報型コントラスト学習フレームワーク InfoCSE を提案する。
提案したInfoCSEを,セマンティックテキスト類似性(STS)タスクを用いて,いくつかのベンチマークデータセット上で評価する。
実験の結果, InfoCSE は BERT ベースでは2.60%, BERT 大規模では1.77% でSimCSE より優れていた。
論文 参考訳（メタデータ） (2022-10-08T15:53:19Z) - Knowledge-Rich BERT Embeddings for Readability Assessment [0.0]
本稿では,BERTモデルの情報豊富な埋め込みを共同学習手法により活用する方法を提案する。
提案手法は,英語とフィリピン語のデータセットを用いた可読性評価において,従来の手法よりも優れていた。
論文 参考訳（メタデータ） (2021-06-15T07:37:48Z) - Augmenting BERT Carefully with Underrepresented Linguistic Features [6.096779295981379]
変換器 (BERT) を用いた配列分類モデルにより, 人間の音声の転写からアルツハイマー病 (AD) を検出するのに有効であることが証明された。
従来の研究では、追加情報でモデルを増強することで、様々なタスクにおけるBERTのパフォーマンスを改善することが可能であった。
これらの特徴と組み合わせて調整したBERTは,細調整したBERT単独に比べて,AD分類の性能を最大5%向上させることを示した。
論文 参考訳（メタデータ） (2020-11-12T01:32:41Z) - To BERT or Not to BERT: Comparing Task-specific and Task-agnostic
Semi-Supervised Approaches for Sequence Tagging [46.62643525729018]
クロスビュートレーニング(CVT)とタスクに依存しないBERTをドメインやタスクに関連する英語データを含む複数の設定で比較する。
本研究では,一連のタグ付けタスクにおいてBERTと同じような性能を達成し,経済的・環境的影響を低減できることを示す。
論文 参考訳（メタデータ） (2020-10-27T04:03:47Z) - Exploring Cross-sentence Contexts for Named Entity Recognition with BERT [1.4998865865537996]
本稿では, BERT モデルを用いた NER におけるクロス文情報の利用を5言語で検討する。
BERT入力に追加文の形でコンテキストを追加することで、テスト対象言語やモデル上でのNER性能が向上することがわかった。
そこで本稿では,文の様々な予測を組み合わせ,さらにNER性能を向上させるための簡単な手法であるCMV(Contextual Majority Voting)を提案する。
論文 参考訳（メタデータ） (2020-06-02T12:34:52Z) - Kungfupanda at SemEval-2020 Task 12: BERT-Based Multi-Task Learning for
Offensive Language Detection [55.445023584632175]
我々は,マルチタスク学習とBERTモデルを組み合わせた攻撃的言語検出システムを構築した。
我々のモデルは、英語のサブタスクAで91.51%のF1スコアを獲得し、これは第1位に匹敵する。
論文 参考訳（メタデータ） (2020-04-28T11:27:24Z) - A Study of Cross-Lingual Ability and Language-specific Information in
Multilingual BERT [60.9051207862378]
Multilingual BERTは、言語間転送タスクで驚くほどうまく機能します。
データサイズとコンテキストウィンドウサイズは、転送可能性にとって重要な要素です。
多言語BERTの言語間能力を改善するために、計算的に安価だが効果的なアプローチがある。
論文 参考訳（メタデータ） (2020-04-20T11:13:16Z) - Improving BERT Fine-Tuning via Self-Ensemble and Self-Distillation [84.64004917951547]
BERTのような微調整済みの言語モデルは、NLPにおいて効果的な方法となっている。
本稿では, BERTの微細調整を, 自己組織化と自己蒸留の2つの効果的なメカニズムで改善する。
論文 参考訳（メタデータ） (2020-02-24T16:17:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。