Fugu-MT 論文翻訳(概要): BERT-based Acronym Disambiguation with Multiple Training Strategies

論文の概要: BERT-based Acronym Disambiguation with Multiple Training Strategies

arxiv url: http://arxiv.org/abs/2103.00488v2
Date: Tue, 2 Mar 2021 10:36:11 GMT
ステータス: 処理完了
システム内更新日: 2021-04-05 00:48:52.830031
Title: BERT-based Acronym Disambiguation with Multiple Training Strategies
Title（参考訳）: 複数のトレーニング戦略を用いたBERTに基づく頭字語の曖昧化
Authors: Chunguang Pan, Bingyan Song, Shengguang Wang and Zhipeng Luo
Abstract要約: Acronym disambiguation (AD) タスクは、与えられた文中の曖昧な頭字語を正しく拡張することを目的としている。 BERTと動的負のサンプル選択を含むいくつかのトレーニング戦略を組み込んだバイナリ分類モデルを提案する。 SciAD実験は,提案手法の有効性を示し,SDU@AAAI-21共有課題2:Acronym Disambiguationのスコアが1位となった。
参考スコア（独自算出の注目度）: 8.82012912690778
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Acronym disambiguation (AD) task aims to find the correct expansions of an ambiguous ancronym in a given sentence. Although it is convenient to use acronyms, sometimes they could be difficult to understand. Identifying the appropriate expansions of an acronym is a practical task in natural language processing. Since few works have been done for AD in scientific field, we propose a binary classification model incorporating BERT and several training strategies including dynamic negative sample selection, task adaptive pretraining, adversarial training and pseudo labeling in this paper. Experiments on SciAD show the effectiveness of our proposed model and our score ranks 1st in SDU@AAAI-21 shared task 2: Acronym Disambiguation.
Abstract（参考訳）: Acronym disambiguation (AD) タスクは、与えられた文中の曖昧な頭字語を正しく拡張することを目的としている。頭字語を使うのは便利だが、理解が難しい場合もある。単語の適切な拡張を識別することは、自然言語処理の実践的な課題である。科学分野におけるADのための研究はほとんど行われていないため、BERTと動的負のサンプル選択、タスク適応事前学習、対逆訓練、擬似ラベリングを含むいくつかのトレーニング戦略を組み込んだバイナリ分類モデルを提案する。 SciAD実験は,提案手法の有効性を示し,SDU@AAAI-21共有課題2:Acronym Disambiguationで1位となった。

関連論文リスト

Automated Few-shot Classification with Instruction-Finetuned Language Models [76.69064714392165]
我々は、AuT-Fewが最先端の数ショット学習方法より優れていることを示す。 AuT-Few は RAFT few-shot ベンチマークにおいて,データセット間で最高のランク付け手法であることを示す。
論文参考訳（メタデータ） (2023-05-21T21:50:27Z)
Unified Demonstration Retriever for In-Context Learning [56.06473069923567]
Unified Demonstration Retriever (textbfUDR)は、幅広いタスクのデモを検索する単一のモデルである。我々は,高品質な候補を見つけるための反復的なマイニング戦略を備えたマルチタスクリストワイド・トレーニング・フレームワークを提案する。 13のタスクファミリーと複数のデータドメインにわたる30以上のタスクの実験は、UDRがベースラインを大幅に上回っていることを示している。
論文参考訳（メタデータ） (2023-05-07T16:07:11Z)
Disambiguation of Company names via Deep Recurrent Networks [101.90357454833845]
企業名文字列の埋め込みである教師付き学習を通じて,Siamese LSTM Network を抽出する手法を提案する。私たちは、ラベル付けされるサンプルを優先するActive Learningアプローチが、より効率的な全体的な学習パイプラインをもたらす方法を分析します。
論文参考訳（メタデータ） (2023-03-07T15:07:57Z)
How Does In-Context Learning Help Prompt Tuning? [55.78535874154915]
微調整された大きな言語モデルは、急速に拡大するスケールのために、ますます実用的ではないものになりつつある。これはプロンプトチューニング(PT)のようなパラメータ効率のよい適応手法の使用を動機付け、凍ったモデルに少数のチューナブルな埋め込みを追加する。近年,Singhalら (2022) はPTとICLを組み合わせた命令プロンプトチューニング (IPT) を提案している。
論文参考訳（メタデータ） (2023-02-22T17:45:12Z)
SimCLAD: A Simple Framework for Contrastive Learning of Acronym Disambiguation [26.896811663334162]
そこで我々は,頭字語意味をよりよく理解するために,頭字語不明瞭化のコントラスト学習法(SimCLAD)を提案する。英語の科学領域の頭字語的曖昧さに関する結果は、提案手法が他の競争的最先端(SOTA)手法よりも優れていることを示している。
論文参考訳（メタデータ） (2021-11-29T02:39:59Z)
PSG: Prompt-based Sequence Generation for Acronym Extraction [26.896811663334162]
頭字語抽出タスクのためのPrompt-based Sequence Generation (PSG) 手法を提案する。具体的には、抽出した頭字語テキストを自動回帰でプロンプトするテンプレートを設計する。生成した回答の位置を抽出する位置抽出アルゴリズムを設計する。
論文参考訳（メタデータ） (2021-11-29T02:14:38Z)
CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented Dialog Systems [56.302581679816775]
本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
論文参考訳（メタデータ） (2021-09-10T03:23:06Z)
AT-BERT: Adversarial Training BERT for Acronym Identification Winning Solution for SDU@AAAI-21 [5.478126869836199]
頭字語識別は、頭字語と省略されたフレーズを見つけることに焦点を当てています。大規模コーパス上で事前学習された言語モデルの最近のブレークスルーは、教師なし事前学習が下流タスクの性能を大幅に改善できることを示している。 AAAI 2021のScientific Document Understanding (SDU) Challengeの頭字語識別タスクに対する当社の勝利ソリューションであるAT-BERTというAdversarial Training BERTメソッドを紹介します。
論文参考訳（メタデータ） (2021-01-11T05:02:34Z)
Acronym Identification and Disambiguation Shared Tasks for Scientific Document Understanding [41.63345823743157]
頭字語は、文章でよく使われる長いフレーズの短い形です。すべてのテキスト理解ツールは、テキストの頭字語を認識することができるはずです。本研究の方向性を推し進めるため,学術文献における頭字語識別と頭字語曖昧化の2つのタスクを編成した。
論文参考訳（メタデータ） (2020-12-22T00:29:15Z)
Primer AI's Systems for Acronym Identification and Disambiguation [0.0]
頭字語識別と曖昧化のための新しい手法を提案する。提案手法に比べて性能が大幅に向上した。両システムは、SDU@AAAI-21共有タスクリーダーボード上で競合的に動作します。
論文参考訳（メタデータ） (2020-12-14T23:59:05Z)
What Does This Acronym Mean? Introducing a New Dataset for Acronym Identification and Disambiguation [74.42107665213909]
頭字語は、文書中の長い文を伝達し、文章の主文の1つとして機能する短い形式の句である。その重要性から、頭字語と対応する語句(AI)を識別し、それぞれの頭字語(AD)の正しい意味を見つけることは、テキスト理解に不可欠である。このタスクの最近の進歩にもかかわらず、既存のデータセットにはいくつかの制限があり、さらなる改善を妨げる。
論文参考訳（メタデータ） (2020-10-28T00:12:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。