論文の概要: Abstraction not Memory: BERT and the English Article System

• arxiv url: http://arxiv.org/abs/2206.04184v1
• Date: Wed, 8 Jun 2022 22:36:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-10 14:08:28.683754
• Title: Abstraction not Memory: BERT and the English Article System
• Title（参考訳）: 抄録は記憶にない:BERTと英語記事システム
• Authors: Harish Tayyar Madabushi, Dagmar Divjak, Petar Milin
• Abstract要約: 我々は,3つの選択肢(a/an,the,0)として設定された記事予測タスクにおいて,ネイティブ英語話者と事前学習モデルの性能を比較した。 BERTによる実験では、BERTは全ての記事において、このタスクにおいて人間よりも優れています。
• 参考スコア（独自算出の注目度）: 1.1064955465386002
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Article prediction is a task that has long defied accurate linguistic description. As such, this task is ideally suited to evaluate models on their ability to emulate native-speaker intuition. To this end, we compare the performance of native English speakers and pre-trained models on the task of article prediction set up as a three way choice (a/an, the, zero). Our experiments with BERT show that BERT outperforms humans on this task across all articles. In particular, BERT is far superior to humans at detecting the zero article, possibly because we insert them using rules that the deep neural model can easily pick up. More interestingly, we find that BERT tends to agree more with annotators than with the corpus when inter-annotator agreement is high but switches to agreeing more with the corpus as inter-annotator agreement drops. We contend that this alignment with annotators, despite being trained on the corpus, suggests that BERT is not memorising article use, but captures a high level generalisation of article use akin to human intuition.
• Abstract（参考訳）: 記事予測は、長い間正確な言語記述に反したタスクである。 そのため,本課題は,母国語話者の直観をエミュレートするモデルの評価に最適である。 この目的のために,3つの選択肢 (a/an, the, 0) として設定された記事予測タスクにおいて,ネイティブ英語話者と事前学習モデルの性能を比較した。 BERTを用いた実験の結果,BERTは全記事において人間よりも優れていた。 特に、BERTは、深いニューラルモデルが容易に拾えるルールを使ってそれらを挿入するため、ゼロ記事の検出において人間よりもはるかに優れている。 より興味深いことに、BERTはコーパスよりもアノテータに同意する傾向にあるが、アノテータ間の合意が減少するにつれてコーパスに同意する傾向にある。 このアノテータとアノテータとのアライメントはコーパスで訓練されているにもかかわらず、BERTは記憶に残る記事の使用ではなく、人間の直感に類似した高レベルの記事の一般化を捉えることを示唆している。

関連論文リスト

• Subject Verb Agreement Error Patterns in Meaningless Sentences: Humans vs. BERT [64.40111510974957]
  英語における主語数合意に意味が干渉するかどうかを検証する。 意味的によく形づくられた、意味のないアイテムを生成します。 BERTと人間はどちらも、セマンティックな操作に敏感である。
  論文  参考訳（メタデータ） (2022-09-21T17:57:23Z)
• PnG BERT: Augmented BERT on Phonemes and Graphemes for Neural TTS [27.20479869682578]
  PnG BERTはニューラルTSのための新しいエンコーダモデルである。 大規模テキストコーパス上で、自己管理的な方法で事前訓練することができる。
  論文  参考訳（メタデータ） (2021-03-28T06:24:00Z)
• On the Sentence Embeddings from Pre-trained Language Models [78.45172445684126]
  本稿では,BERT埋め込みにおける意味情報が完全に活用されていないことを論じる。 BERTは常に文の非滑らかな異方性意味空間を誘導し,その意味的類似性を損なう。 本稿では,非教師対象で学習した正規化フローにより,異方性文の埋め込み分布を滑らかで等方性ガウス分布に変換することを提案する。
  論文  参考訳（メタデータ） (2020-11-02T13:14:57Z)
• Understanding Pre-trained BERT for Aspect-based Sentiment Analysis [71.40586258509394]
  本稿では、アスペクトベース感情分析(ABSA)におけるタスクに対するBERTのレビューから得られた事前学習された隠れ表現について分析する。 アスペクトや意見のアノテーションなしでラベル付けされていないコーパスでトレーニングされた(マスクされた)言語モデルの一般的なプロキシタスクが、ABSAの下流タスクにどのように重要な機能を提供するかは明らかではない。
  論文  参考訳（メタデータ） (2020-10-31T02:21:43Z)
• Deep Clustering of Text Representations for Supervision-free Probing of Syntax [51.904014754864875]
  本研究では,音声誘導 (POSI) と選挙区ラベリング (CoLab) の一部を考察する。 また,Multilingual BERT (mBERT) には,驚くほど多くの英語の構文知識が含まれていることがわかった。 本稿では,45 タグの英語 POSI の競争性能,12 タグの英語 POSI の10言語間における最先端性能,CoLab の競争結果について報告する。
  論文  参考訳（メタデータ） (2020-10-24T05:06:29Z)
• "Listen, Understand and Translate": Triple Supervision Decouples End-to-end Speech-to-text Translation [49.610188741500274]
  エンドツーエンドの音声テキスト翻訳(ST)は、ソース言語で音声を取り、ターゲット言語でテキストを出力する。 既存の方法は並列コーパスの量によって制限される。 並列STコーパスで信号を完全に活用するシステムを構築した。
  論文  参考訳（メタデータ） (2020-09-21T09:19:07Z)
• CERT: Contrastive Self-supervised Learning for Language Understanding [20.17416958052909]
  本稿では,トランスフォーマーからのコントラスト型自己教師型表現(CERT)を提案する。 CERTは、文レベルでのコントラッシブな自己教師型学習を用いて、言語表現モデルを事前訓練する。 そこでは,CERT が BERT を 7 タスクで上回り,BERT が 2 タスクで上回り,BERT が 2 タスクで上回り,BERT が 2 タスクで上回る性能である GLUE ベンチマークを用いて,CERT を 11 個の自然言語理解タスクで評価した。
  論文  参考訳（メタデータ） (2020-05-16T16:20:38Z)
• Incorporating BERT into Neural Machine Translation [251.54280200353674]
  本稿では,入力シーケンスの表現抽出にBERTを用いたBERT融合モデルを提案する。 我々は、教師付き(文レベルと文書レベルの翻訳を含む)、半教師なしおよび教師なしの機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-02-17T08:13:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。