論文の概要: What's so special about BERT's layers? A closer look at the NLP pipeline
in monolingual and multilingual models
- arxiv url: http://arxiv.org/abs/2004.06499v2
- Date: Mon, 12 Oct 2020 11:51:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-13 09:42:08.881141
- Title: What's so special about BERT's layers? A closer look at the NLP pipeline
in monolingual and multilingual models
- Title（参考訳）: BERTのレイヤーに何が特別なのか?
単言語モデルと多言語モデルにおけるNLPパイプラインの概観
- Authors: Wietse de Vries, Andreas van Cranenburgh and Malvina Nissim
- Abstract要約: オランダのNLPタスクに対して,オランダのBERTベースモデルと多言語BERTモデルを提案する。
音声のタグ付けをより深く分析することにより、与えられたタスク内でも、情報がネットワークの異なる部分に分散されていることを示す。
- 参考スコア（独自算出の注目度）: 18.155121103400333
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Peeking into the inner workings of BERT has shown that its layers resemble
the classical NLP pipeline, with progressively more complex tasks being
concentrated in later layers. To investigate to what extent these results also
hold for a language other than English, we probe a Dutch BERT-based model and
the multilingual BERT model for Dutch NLP tasks. In addition, through a deeper
analysis of part-of-speech tagging, we show that also within a given task,
information is spread over different parts of the network and the pipeline
might not be as neat as it seems. Each layer has different specialisations, so
that it may be more useful to combine information from different layers,
instead of selecting a single one based on the best overall performance.
- Abstract（参考訳）: BERTの内部動作を見てみると、その層は古典的なNLPパイプラインに似ており、徐々に複雑なタスクは後続の層に集中している。
これらの結果が英語以外の言語にもどの程度当てはまるかを調べるために、オランダ語 BERT モデルとオランダ語 NLP タスクのための多言語 BERT モデルを提案する。
さらに,パート・オブ・スパイチ・タギングのより深い分析を通じて,与えられたタスク内では,ネットワークのさまざまな部分に情報が分散し,パイプラインが見かけほど巧妙ではない可能性があることを示す。
それぞれのレイヤに異なる特殊化があるため、全体的なパフォーマンスに基づいて単一のレイヤを選択するのではなく、異なるレイヤからの情報を組み合わせる方がより便利かもしれない。
関連論文リスト
- Can BERT Refrain from Forgetting on Sequential Tasks? A Probing Study [68.75670223005716]
BERTのような事前学習型言語モデルでは,メモリリプレイが少なくても,逐次学習が可能であることが判明した。
実験の結果,BERT は従来学習したタスクに対して,極めて疎らなリプレイや,さらにはリプレイを行なわずに,長期間にわたって高品質な表現を生成できることが判明した。
論文 参考訳（メタデータ） (2023-03-02T09:03:43Z) - PERT: Pre-training BERT with Permuted Language Model [24.92527883997854]
PERT は Permuted Language Model (PerLM) で訓練された BERT のような自動エンコーディングモデルである
入力テキストのパーセンテージをパーミュレートし、トレーニングの目的は、元のトークンの位置を予測することである。
我々は中国語と英語のNLUベンチマークについて広範な実験を行った。
論文 参考訳（メタデータ） (2022-03-14T07:58:34Z) - BERT for Sentiment Analysis: Pre-trained and Fine-Tuned Alternatives [0.0]
BERTは、大きな言語モデルで伝達学習を可能にすることで、NLP分野に革命をもたらした。
本稿では、BERT出力層が提供する異なる埋め込みと、多言語モデルの代わりに言語固有の使用について、よりよく対処する方法について研究する。
論文 参考訳（メタデータ） (2022-01-10T15:05:05Z) - Bertinho: Galician BERT Representations [14.341471404165349]
本稿ではガリシア語に対する単言語BERTモデルを提案する。
我々は、それぞれ6層と12層からなる2つのモデルをリリースする。
我々のモデル、特に12層モデルでは、ほとんどのタスクにおいてmBERTの結果よりも優れています。
論文 参考訳（メタデータ） (2021-03-25T12:51:34Z) - Deep Clustering of Text Representations for Supervision-free Probing of
Syntax [51.904014754864875]
本研究では,音声誘導 (POSI) と選挙区ラベリング (CoLab) の一部を考察する。
また,Multilingual BERT (mBERT) には,驚くほど多くの英語の構文知識が含まれていることがわかった。
本稿では,45 タグの英語 POSI の競争性能,12 タグの英語 POSI の10言語間における最先端性能,CoLab の競争結果について報告する。
論文 参考訳（メタデータ） (2020-10-24T05:06:29Z) - It's not Greek to mBERT: Inducing Word-Level Translations from
Multilingual BERT [54.84185432755821]
mBERT (multilingual BERT) は、言語間での移動を可能にするリッチな言語間表現を学習する。
我々はmBERTに埋め込まれた単語レベルの翻訳情報について検討し、微調整なしで優れた翻訳能力を示す2つの簡単な方法を提案する。
論文 参考訳（メタデータ） (2020-10-16T09:49:32Z) - Identifying Necessary Elements for BERT's Multilinguality [4.822598110892846]
マルチリンガルBERT (mBERT) は高品質なマルチリンガル表現を出力し、効率的なゼロショット転送を可能にする。
本研究の目的は,BERTのアーキテクチャ特性と多言語化に必要な言語の言語特性を同定することである。
論文 参考訳（メタデータ） (2020-05-01T14:27:14Z) - A Study of Cross-Lingual Ability and Language-specific Information in
Multilingual BERT [60.9051207862378]
Multilingual BERTは、言語間転送タスクで驚くほどうまく機能します。
データサイズとコンテキストウィンドウサイズは、転送可能性にとって重要な要素です。
多言語BERTの言語間能力を改善するために、計算的に安価だが効果的なアプローチがある。
論文 参考訳（メタデータ） (2020-04-20T11:13:16Z) - Incorporating BERT into Neural Machine Translation [251.54280200353674]
本稿では,入力シーケンスの表現抽出にBERTを用いたBERT融合モデルを提案する。
我々は、教師付き(文レベルと文書レベルの翻訳を含む)、半教師なしおよび教師なしの機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。
論文 参考訳（メタデータ） (2020-02-17T08:13:36Z) - BERT's output layer recognizes all hidden layers? Some Intriguing
Phenomena and a simple way to boost BERT [53.63288887672302]
変換器による双方向表現(BERT)は多くの自然言語処理(NLP)タスクで大きな成功を収めている。
その結果,BERTの各層を直接入力として取り込むことで,BERTの出力層が入力文を再構築できることが判明した。
本稿では,BERTの性能向上のための非常に単純な手法を提案する。
論文 参考訳（メタデータ） (2020-01-25T13:35:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。