論文の概要: AT-BERT: Adversarial Training BERT for Acronym Identification Winning Solution for SDU@AAAI-21

• arxiv url: http://arxiv.org/abs/2101.03700v2
• Date: Tue, 12 Jan 2021 08:38:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-04 21:35:35.161404
• Title: AT-BERT: Adversarial Training BERT for Acronym Identification Winning Solution for SDU@AAAI-21
• Title（参考訳）: at-bert:adversarial training bert for acronym identification winning solution for sdu@aaai-21
• Authors: Danqing Zhu, Wangli Lin, Yang Zhang, Qiwei Zhong, Guanxiong Zeng, Weilin Wu, Jiayu Tang
• Abstract要約: 頭字語識別は、頭字語と省略されたフレーズを見つけることに焦点を当てています。 大規模コーパス上で事前学習された言語モデルの最近のブレークスルーは、教師なし事前学習が下流タスクの性能を大幅に改善できることを示している。 AAAI 2021のScientific Document Understanding (SDU) Challengeの頭字語識別タスクに対する当社の勝利ソリューションであるAT-BERTというAdversarial Training BERTメソッドを紹介します。
• 参考スコア（独自算出の注目度）: 5.478126869836199
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Acronym identification focuses on finding the acronyms and the phrases that have been abbreviated, which is crucial for scientific document understanding tasks. However, the limited size of manually annotated datasets hinders further improvement for the problem. Recent breakthroughs of language models pre-trained on large corpora clearly show that unsupervised pre-training can vastly improve the performance of downstream tasks. In this paper, we present an Adversarial Training BERT method named AT-BERT, our winning solution to acronym identification task for Scientific Document Understanding (SDU) Challenge of AAAI 2021. Specifically, the pre-trained BERT is adopted to capture better semantic representation. Then we incorporate the FGM adversarial training strategy into the fine-tuning of BERT, which makes the model more robust and generalized. Furthermore, an ensemble mechanism is devised to involve the representations learned from multiple BERT variants. Assembling all these components together, the experimental results on the SciAI dataset show that our proposed approach outperforms all other competitive state-of-the-art methods.
• Abstract（参考訳）: 頭字語識別は、省略された頭字語と句を見つけることに焦点を当てており、これは科学文書理解タスクに不可欠である。 しかし、手動でアノテートされたデータセットの限られたサイズは、問題のさらなる改善を妨げる。 大規模コーパス上で事前学習された言語モデルの最近のブレークスルーは、教師なし事前学習が下流タスクの性能を大幅に改善できることを示している。 本稿では,AAAI 2021 の学術文書理解 (SDU) チャレンジにおいて,AT-BERT と名づけられた逆トレーニング BERT 手法を提案する。 具体的には、事前訓練されたBERTが、より良いセマンティック表現をキャプチャするために採用されている。 次に、FGMの対向訓練戦略をBERTの微調整に取り入れ、モデルをより堅牢で一般化する。 さらに、複数のBERT変種から学んだ表現を包含するアンサンブル機構が考案された。 これらすべてのコンポーネントを組み立てることにより,sciaiデータセットの実験結果から,提案手法が他手法よりも優れていることが示された。

関連論文リスト

• Test-Time Training on Graphs with Large Language Models (LLMs) [68.375487369596]
  グラフニューラルネットワーク(GNN)をトレーニングするための有望なアプローチとして,TTT(Test-Time Training)が提案されている。 テキスト分散グラフ(TAG)上でのLLM(Large Language Models)の優れたアノテーション能力に着想を得て,LLMをアノテータとしてグラフ上でのテスト時間トレーニングを強化することを提案する。 2段階のトレーニング戦略は、限定的でノイズの多いラベルでテストタイムモデルを調整するように設計されている。
  論文  参考訳（メタデータ） (2024-04-21T08:20:02Z)
• BLISS: Robust Sequence-to-Sequence Learning via Self-Supervised Input Representation [92.75908003533736]
  本稿では,自己教師型入力表現を用いたフレームワークレベルの頑健なシーケンス・ツー・シーケンス学習手法BLISSを提案する。 我々は,機械翻訳,文法的誤り訂正,テキスト要約など,BLISSの様々なタスクにおける有効性を検証するための総合的な実験を行った。
  論文  参考訳（メタデータ） (2022-04-16T16:19:47Z)
• SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark for Semantic and Generative Capabilities [76.97949110580703]
  各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。 データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。 また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
  論文  参考訳（メタデータ） (2022-03-14T04:26:40Z)
• MEmoBERT: Pre-training Model with Prompt-based Learning for Multimodal Emotion Recognition [118.73025093045652]
  マルチモーダル感情認識のための事前学習モデル textbfMEmoBERT を提案する。 従来の「訓練前、微妙な」パラダイムとは異なり、下流の感情分類タスクをマスク付きテキスト予測として再構成するプロンプトベースの手法を提案する。 提案するMEMOBERTは感情認識性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-10-27T09:57:00Z)
• Training ELECTRA Augmented with Multi-word Selection [53.77046731238381]
  本稿では,マルチタスク学習に基づくELECTRAの改良を目的としたテキストエンコーダ事前学習手法を提案する。 具体的には、識別器を訓練し、置換トークンを同時に検出し、候補集合から元のトークンを選択する。
  論文  参考訳（メタデータ） (2021-05-31T23:19:00Z)
• BERT-based Acronym Disambiguation with Multiple Training Strategies [8.82012912690778]
  Acronym disambiguation (AD) タスクは、与えられた文中の曖昧な頭字語を正しく拡張することを目的としている。 BERTと動的負のサンプル選択を含むいくつかのトレーニング戦略を組み込んだバイナリ分類モデルを提案する。 SciAD実験は,提案手法の有効性を示し,SDU@AAAI-21共有課題2:Acronym Disambiguationのスコアが1位となった。
  論文  参考訳（メタデータ） (2021-02-25T05:40:21Z)
• Using Prior Knowledge to Guide BERT's Attention in Semantic Textual Matching Tasks [13.922700041632302]
  深層トランスフォーマーモデル(Bidirectional Representations from Transformers (BERT))に先行知識を組み込む問題について検討する。 BERTがもっとも必要とするタスク固有の知識と、それが最も必要である場所をよりよく理解する。 実験により,提案した知識を付加したBERTが意味的テキストマッチング性能を一貫して改善できることが実証された。
  論文  参考訳（メタデータ） (2021-02-22T12:07:16Z)
• Primer AI's Systems for Acronym Identification and Disambiguation [0.0]
  頭字語識別と曖昧化のための新しい手法を提案する。 提案手法に比べて性能が大幅に向上した。 両システムは、SDU@AAAI-21共有タスクリーダーボード上で競合的に動作します。
  論文  参考訳（メタデータ） (2020-12-14T23:59:05Z)
• GiBERT: Introducing Linguistic Knowledge into BERT through a Lightweight Gated Injection Method [29.352569563032056]
  本稿では,言語知識を単語埋め込みの形で,事前学習したBERTに明示的に注入する手法を提案する。 依存性ベースと逆適合の埋め込みを注入する場合、複数のセマンティックな類似性データセットのパフォーマンス改善は、そのような情報が有益であり、現在元のモデルから欠落していることを示している。
  論文  参考訳（メタデータ） (2020-10-23T17:00:26Z)
• Improving BERT Fine-Tuning via Self-Ensemble and Self-Distillation [84.64004917951547]
  BERTのような微調整済みの言語モデルは、NLPにおいて効果的な方法となっている。 本稿では, BERTの微細調整を, 自己組織化と自己蒸留の2つの効果的なメカニズムで改善する。
  論文  参考訳（メタデータ） (2020-02-24T16:17:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。