Fugu-MT 論文翻訳(概要): Better than BERT but Worse than Baseline

論文の概要: Better than BERT but Worse than Baseline

arxiv url: http://arxiv.org/abs/2105.05915v1
Date: Wed, 12 May 2021 19:18:26 GMT
ステータス: 処理完了
システム内更新日: 2021-05-15 02:25:55.241997
Title: Better than BERT but Worse than Baseline
Title（参考訳）: BERTよりはマシだが、ベースラインよりはマシだ
Authors: Boxiang Liu, Jiaji Huang, Xingyu Cai, Kenneth Church
Abstract要約: BERTをリランクしたBERTはBERTをリランクすることなく改善するが、Ab3Pルールベースのベースラインに到達できない。 Rerankingは2つの新機能を紹介している。
参考スコア（独自算出の注目度）: 10.481057593769803
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper compares BERT-SQuAD and Ab3P on the Abbreviation Definition Identification (ADI) task. ADI inputs a text and outputs short forms (abbreviations/acronyms) and long forms (expansions). BERT with reranking improves over BERT without reranking but fails to reach the Ab3P rule-based baseline. What is BERT missing? Reranking introduces two new features: charmatch and freq. The first feature identifies opportunities to take advantage of character constraints in acronyms and the second feature identifies opportunities to take advantage of frequency constraints across documents.
Abstract（参考訳）: 本稿では,abbreviation Definition Identification (ADI)タスクにおけるBERT-SQuADとAb3Pを比較した。 ADIはテキストを入力し、短いフォーム(略/誤記)と長いフォーム(例)を出力する。 BERTの再ランクはBERTよりも改善されるが、Ab3Pルールベースのベースラインに到達できない。 BERTに欠けているものは何か? rerankingはcharmatchとfreqという2つの新機能を導入した。第1の機能は頭字語で文字の制約を利用する機会を識別し,第2の機能は文書間の頻度制約を利用する機会を識別する。

関連論文リスト

Can BERT Refrain from Forgetting on Sequential Tasks? A Probing Study [68.75670223005716]
BERTのような事前学習型言語モデルでは,メモリリプレイが少なくても,逐次学習が可能であることが判明した。実験の結果,BERT は従来学習したタスクに対して,極めて疎らなリプレイや,さらにはリプレイを行なわずに,長期間にわたって高品質な表現を生成できることが判明した。
論文参考訳（メタデータ） (2023-03-02T09:03:43Z)
PromptBERT: Improving BERT Sentence Embeddings with Prompts [95.45347849834765]
本稿では,トークン埋め込みのバイアスを低減し,元のBERT層をより効果的にするためのプロンプトベースの文埋め込み手法を提案する。また,教師なし設定と教師なし設定とのパフォーマンスギャップを大幅に短縮するテンプレート認知技術により,教師なし学習の新たな目標を提案する。我々の微調整手法は教師なし設定と教師なし設定の両方において最先端のSimCSEよりも優れている。
論文参考訳（メタデータ） (2022-01-12T06:54:21Z)
Roof-BERT: Divide Understanding Labour and Join in Work [7.523253052992842]
Roof-BERTは、2つの基盤となるBERTと融合層を持つモデルである。基盤となるBERTの1つは知識資源をエンコードし、もう1つは元の入力文をエンコードする。 QAタスクの実験結果から,提案手法の有効性が明らかになった。
論文参考訳（メタデータ） (2021-12-13T15:40:54Z)
AT-BERT: Adversarial Training BERT for Acronym Identification Winning Solution for SDU@AAAI-21 [5.478126869836199]
頭字語識別は、頭字語と省略されたフレーズを見つけることに焦点を当てています。大規模コーパス上で事前学習された言語モデルの最近のブレークスルーは、教師なし事前学習が下流タスクの性能を大幅に改善できることを示している。 AAAI 2021のScientific Document Understanding (SDU) Challengeの頭字語識別タスクに対する当社の勝利ソリューションであるAT-BERTというAdversarial Training BERTメソッドを紹介します。
論文参考訳（メタデータ） (2021-01-11T05:02:34Z)
Does Chinese BERT Encode Word Structure? [17.836131968160917]
文脈化された表現は、幅広いNLPタスクに対して大幅に改善された結果を与える。 BERTのような代表モデルによってキャプチャされた特徴を分析するために、多くの作業が費やされている。本研究では,(1)単語情報がBERTによって取得されること,(2)単語レベルの特徴が主に中間表現層にあること,(3)下流タスクがBERTの単語特徴を異なる用途で利用すること,の2つを用いて中国語のBERTを調査する。
論文参考訳（メタデータ） (2020-10-15T12:40:56Z)
Layer-wise Guided Training for BERT: Learning Incrementally Refined Document Representations [11.46458298316499]
本研究では, 細管BERTの構造化手法を提案する。具体的には、大規模マルチラベルテキスト分類(LMTC)に焦点を当てる。我々のアプローチは、特定の階層レベルからラベルを予測するために、特定のBERT層をガイドする。
論文参考訳（メタデータ） (2020-10-12T14:56:22Z)
BERT for Monolingual and Cross-Lingual Reverse Dictionary [56.8627517256663]
本稿では,BERTが特定のタスクの目的語を生成するための,シンプルだが効果的な手法を提案する。 BERT (mBERT) を用いることで,1つの単語を埋め込んだ言語間逆辞書を効率的に行うことができる。
論文参考訳（メタデータ） (2020-09-30T17:00:10Z)
DC-BERT: Decoupling Question and Document for Efficient Contextual Encoding [90.85913515409275]
近年のオープンドメイン質問応答は,BERT などの事前学習言語モデルを用いて顕著な性能向上を実現している。本稿では,2つのBERTモデルを持つコンテキストエンコーディングフレームワークであるDC-BERTと,すべての文書を事前エンコードし,それらのエンコーディングをキャッシュするオフラインBERTを提案する。 SQuADオープンとNatural Questionsオープンデータセットでは、DC-BERTは文書検索の10倍のスピードアップを実現し、QAパフォーマンスのほとんど(約98%)を維持している。
論文参考訳（メタデータ） (2020-02-28T08:18:37Z)
What BERT Sees: Cross-Modal Transfer for Visual Question Generation [21.640299110619384]
補足データを用いた事前学習を回避して,BERTのアウト・オブ・ザ・ボックスの視覚能力について検討した。テキスト生成のためのBERTベースのアーキテクチャであるBERT-genを導入する。
論文参考訳（メタデータ） (2020-02-25T12:44:36Z)
Incorporating BERT into Neural Machine Translation [251.54280200353674]
本稿では,入力シーケンスの表現抽出にBERTを用いたBERT融合モデルを提案する。我々は、教師付き(文レベルと文書レベルの翻訳を含む)、半教師なしおよび教師なしの機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。
論文参考訳（メタデータ） (2020-02-17T08:13:36Z)
BERT's output layer recognizes all hidden layers? Some Intriguing Phenomena and a simple way to boost BERT [53.63288887672302]
変換器による双方向表現(BERT)は多くの自然言語処理(NLP)タスクで大きな成功を収めている。その結果,BERTの各層を直接入力として取り込むことで,BERTの出力層が入力文を再構築できることが判明した。本稿では,BERTの性能向上のための非常に単純な手法を提案する。
論文参考訳（メタデータ） (2020-01-25T13:35:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。