論文の概要: Evaluation of BERT and ALBERT Sentence Embedding Performance on Downstream NLP Tasks

• arxiv url: http://arxiv.org/abs/2101.10642v1
• Date: Tue, 26 Jan 2021 09:14:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-14 13:03:46.364160
• Title: Evaluation of BERT and ALBERT Sentence Embedding Performance on Downstream NLP Tasks
• Title（参考訳）: 下流NLPタスクにおけるBERTおよびALBERT文埋め込み性能の評価
• Authors: Hyunjin Choi, Judong Kim, Seongho Joe, and Youngjune Gwon
• Abstract要約: 本稿では,BERT と ALBERT の文埋め込みモデルについて検討する。 我々は、Sentence-BERT (SBERT) と呼ばれるシアムとトリプルトネットワーク構造を持つBERTネットワークを改良し、BERTをALBERTに置き換え、Sentence-ALBERT (SALBERT) を作成する。
• 参考スコア（独自算出の注目度）: 4.955649816620742
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contextualized representations from a pre-trained language model are central to achieve a high performance on downstream NLP task. The pre-trained BERT and A Lite BERT (ALBERT) models can be fine-tuned to give state-ofthe-art results in sentence-pair regressions such as semantic textual similarity (STS) and natural language inference (NLI). Although BERT-based models yield the [CLS] token vector as a reasonable sentence embedding, the search for an optimal sentence embedding scheme remains an active research area in computational linguistics. This paper explores on sentence embedding models for BERT and ALBERT. In particular, we take a modified BERT network with siamese and triplet network structures called Sentence-BERT (SBERT) and replace BERT with ALBERT to create Sentence-ALBERT (SALBERT). We also experiment with an outer CNN sentence-embedding network for SBERT and SALBERT. We evaluate performances of all sentence-embedding models considered using the STS and NLI datasets. The empirical results indicate that our CNN architecture improves ALBERT models substantially more than BERT models for STS benchmark. Despite significantly fewer model parameters, ALBERT sentence embedding is highly competitive to BERT in downstream NLP evaluations.
• Abstract（参考訳）: 学習済み言語モデルからの文脈化表現は、下流のnlpタスクで高いパフォーマンスを達成するために中心となる。 事前訓練されたBERTとA Lite BERT(ALBERT)モデルは、セマンティックテキスト類似性(STS)や自然言語推論(NLI)などの文対回帰に最先端の結果を与えるように微調整することができる。 BERT ベースのモデルでは,[CLS] トークンベクトルを合理的な文埋め込みとして生成するが,最適な文埋め込みスキームの探索は計算言語学において活発な研究領域である。 本稿では,BERT と ALBERT の文埋め込みモデルについて検討する。 特に,SBERT(Sentence-BERT)と呼ばれるサイメムとトリプルトネットワーク構造を備えたBERTネットワークを改良し,BERTをALBERTに置き換え,SALBERT(Sentence-ALBERT)を作成する。 また,SBERTとSALBERTのCNN文埋め込みネットワークも実験した。 STSおよびNLIデータセットを用いて,すべての文埋め込みモデルの性能を評価する。 実験の結果,我々のCNNアーキテクチャは,STSベンチマークのBERTモデルよりもALBERTモデルを大幅に改善することが示された。 モデルパラメータが大幅に少ないにもかかわらず、ALBERT文埋め込みは下流NLP評価においてBERTに非常に競争力があります。

関連論文リスト

• Towards Building Efficient Sentence BERT Models using Layer Pruning [0.4915744683251151]
  本研究では,SBERT(Sentence BERT)モデル作成におけるレイヤプルーニングの有効性について検討した。 我々のゴールは、強い埋め込み類似性を保ちながら複雑さを減らし、より小さな文埋め込みモデルを作ることです。
  論文  参考訳（メタデータ） (2024-09-21T15:10:06Z)
• L3Cube-MahaSBERT and HindSBERT: Sentence BERT Models and Benchmarking BERT Sentence Representations for Hindi and Marathi [0.7874708385247353]
  この研究は、ヒンディー語とマラティ語という2つの低リソースのインドの言語に焦点を当てている。 機械翻訳を用いた合成NLIとSTSデータセットを用いて,これらの言語のための文-BERTモデルを訓練する。 我々は,NLI事前学習とSTSbファインチューニングの戦略が,ヒンディー語とマラタイ語の文類似性モデルの生成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-11-21T05:15:48Z)
• Deploying a BERT-based Query-Title Relevance Classifier in a Production System: a View from the Trenches [3.1219977244201056]
  変換器(BERT)モデルによる双方向表現は,多くの自然言語処理(NLP)タスクの性能を大幅に向上させてきた。 BERTを低レイテンシ、高スループットの産業用ユースケースにスケールすることは、その巨大なサイズのために困難である。 BERT Bidirectional Long Short-Term Memory (BertBiLSTM) という名前のコンパクトモデルによるデプロイメントのためのQTR分類器の最適化に成功した。 BertBiLSTMは、上記の実世界の生産作業における精度と効率の観点から、既成のBERTモデルの性能を上回る
  論文  参考訳（メタデータ） (2021-08-23T14:28:23Z)
• ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer [19.643512923368743]
  本稿では,自己監督型文表現伝達のためのコントラストフレームワークであるConSERTを提案する。 ラベルのないテキストを利用することで、ConSERTはBERT由来の文表現の崩壊問題を解消する。 STSデータセットの実験では、ConSERTは以前の最先端よりも8%の相対的な改善を達成している。
  論文  参考訳（メタデータ） (2021-05-25T08:15:01Z)
• An Interpretable End-to-end Fine-tuning Approach for Long Clinical Text [72.62848911347466]
  EHRにおける非構造化臨床テキストには、意思決定支援、トライアルマッチング、振り返り研究を含むアプリケーションにとって重要な情報が含まれている。 最近の研究は、これらのモデルが他のNLPドメインにおける最先端の性能を考慮し、BERTベースのモデルを臨床情報抽出およびテキスト分類に応用している。 本稿では,SnipBERTという新しい微調整手法を提案する。SnipBERTは全音符を使用する代わりに,重要なスニペットを識別し,階層的に切り刻まれたBERTベースのモデルに供給する。
  論文  参考訳（メタデータ） (2020-11-12T17:14:32Z)
• On the Sentence Embeddings from Pre-trained Language Models [78.45172445684126]
  本稿では,BERT埋め込みにおける意味情報が完全に活用されていないことを論じる。 BERTは常に文の非滑らかな異方性意味空間を誘導し,その意味的類似性を損なう。 本稿では,非教師対象で学習した正規化フローにより,異方性文の埋め込み分布を滑らかで等方性ガウス分布に変換することを提案する。
  論文  参考訳（メタデータ） (2020-11-02T13:14:57Z)
• Incorporating BERT into Parallel Sequence Decoding with Adapters [82.65608966202396]
  本稿では,2種類のBERTモデルをエンコーダとデコーダとして取り出し,シンプルで軽量なアダプタモジュールを導入し,それらを微調整する。 我々は、ソース側およびターゲット側BERTモデルに含まれる情報を協調的に活用できるフレキシブルで効率的なモデルを得る。 我々のフレームワークは、BERTの双方向および条件独立性を考慮した、Mask-Predictという並列シーケンス復号アルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2020-10-13T03:25:15Z)
• ConvBERT: Improving BERT with Span-based Dynamic Convolution [144.25748617961082]
  BERTはグローバルな自己保持ブロックに大きく依存しているため、大きなメモリフットプリントと計算コストに悩まされる。 そこで本研究では,これらの自己注意型ヘッドを置き換え,局所的依存関係を直接モデル化する,スパンベースの動的畳み込みを提案する。 新たな畳み込み頭は、他の自己注意頭と共に、グローバルな文脈学習とローカルな文脈学習の両方においてより効率的である、新しい混合注意ブロックを形成する。
  論文  参考訳（メタデータ） (2020-08-06T07:43:19Z)
• Improving Results on Russian Sentiment Datasets [0.0]
  この研究のすべての感情タスクにおいて、ロシア語 BERT の会話型はより良く機能することを示す。 その結果,感情分類タスクを自然言語推論タスクとして扱うBERT-NLIモデルが得られた。
  論文  参考訳（メタデータ） (2020-07-28T15:29:19Z)
• DeeBERT: Dynamic Early Exiting for Accelerating BERT Inference [69.93692147242284]
  BERTのような大規模事前訓練型言語モデルは、NLPアプリケーションに大幅な改善をもたらした。 本稿では, BERT推論を高速化するために, 単純だが効果的な手法であるDeeBERTを提案する。 実験の結果、DeeBERTはモデル品質の低下を最小限に抑えながら、最大40%の推論時間を節約できることがわかった。
  論文  参考訳（メタデータ） (2020-04-27T17:58:05Z)
• Incorporating BERT into Neural Machine Translation [251.54280200353674]
  本稿では,入力シーケンスの表現抽出にBERTを用いたBERT融合モデルを提案する。 我々は、教師付き(文レベルと文書レベルの翻訳を含む)、半教師なしおよび教師なしの機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-02-17T08:13:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。