論文の概要: BERT-DRE: BERT with Deep Recursive Encoder for Natural Language Sentence Matching

• arxiv url: http://arxiv.org/abs/2111.02188v1
• Date: Wed, 3 Nov 2021 12:56:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-04 17:23:34.020496
• Title: BERT-DRE: BERT with Deep Recursive Encoder for Natural Language Sentence Matching
• Title（参考訳）: BERT-DRE:自然言語文マッチングのための深部再帰エンコーダを用いたBERT
• Authors: Ehsan Tavan, Ali Rahmati, Maryam Najafi, Saeed Bibak
• Abstract要約: 本稿では,BERTに深層再帰エンコーダを追加することにより,自然言語文マッチング(NLSM)のためのディープラーニングアーキテクチャを提案する。 モデル動作の解析は,BERTが依然としてテキストの完全複雑性を捉えていないことを示している。 宗教データセット上のBERTアルゴリズムは89.70%の精度を達成し、BERT-DREアーキテクチャは90.29%まで改善された。
• 参考スコア（独自算出の注目度）: 4.372281798825051
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a deep neural architecture, for Natural Language Sentence Matching (NLSM) by adding a deep recursive encoder to BERT so called BERT with Deep Recursive Encoder (BERT-DRE). Our analysis of model behavior shows that BERT still does not capture the full complexity of text, so a deep recursive encoder is applied on top of BERT. Three Bi-LSTM layers with residual connection are used to design a recursive encoder and an attention module is used on top of this encoder. To obtain the final vector, a pooling layer consisting of average and maximum pooling is used. We experiment our model on four benchmarks, SNLI, FarsTail, MultiNLI, SciTail, and a novel Persian religious questions dataset. This paper focuses on improving the BERT results in the NLSM task. In this regard, comparisons between BERT-DRE and BERT are conducted, and it is shown that in all cases, BERT-DRE outperforms only BERT. The BERT algorithm on the religious dataset achieved an accuracy of 89.70%, and BERT-DRE architectures improved to 90.29% using the same dataset.
• Abstract（参考訳）: 本稿では,深層再帰エンコーダ(BERT-DRE)をBERTに付加することにより,自然言語文マッチング(NLSM)のためのディープニューラルネットワークを提案する。 モデル動作の解析から,BERTはテキストの複雑さをフルに捉えていないことが分かるので,BERT上に深層再帰エンコーダを適用する。 残コネクションを持つ3つのBi-LSTM層を用いて再帰エンコーダを設計し、このエンコーダの上にアテンションモジュールを用いる。 最終ベクトルを得るには、平均および最大プーリングからなるプーリング層を用いる。 我々は、SNLI、FarsTail、MultiNLI、SciTailの4つのベンチマークと、新しいペルシアの宗教的質問データセットでモデルを実験した。 本稿では,NLSMタスクにおけるBERT結果の改善に焦点を当てる。 この場合、BERT-DREとBERTの比較を行い、すべての場合、BERT-DREはBERTよりも優れていることを示す。 BERTアルゴリズムは89.70%の精度を達成し、BERT-DREアーキテクチャは90.29%まで改善された。

関連論文リスト

• BiBERT: Accurate Fully Binarized BERT [69.35727280997617]
  BiBERTは、パフォーマンスボトルネックを取り除くために、正確に2項化されたBERTである。 提案手法は,FLOPとモデルサイズで56.3回,31.2回節約できる。
  論文  参考訳（メタデータ） (2022-03-12T09:46:13Z)
• Hierarchical Neural Network Approaches for Long Document Classification [3.6700088931938835]
  我々は、より効率的な表現を効率よく捉えるために、事前訓練された普遍文(USE)と変換器からの双方向表現(BERT)を階層的に採用する。 提案するモデルは概念的に単純であり,入力データをチャンクに分割し,BERTとUSEのベースモデルに渡す。 USE + CNN/LSTM はスタンドアローンのベースラインよりも優れており、BERT + CNN/LSTM はスタンドアローンのベースラインと同等である。
  論文  参考訳（メタデータ） (2022-01-18T07:17:40Z)
• Evaluation of BERT and ALBERT Sentence Embedding Performance on Downstream NLP Tasks [4.955649816620742]
  本稿では,BERT と ALBERT の文埋め込みモデルについて検討する。 我々は、Sentence-BERT (SBERT) と呼ばれるシアムとトリプルトネットワーク構造を持つBERTネットワークを改良し、BERTをALBERTに置き換え、Sentence-ALBERT (SALBERT) を作成する。
  論文  参考訳（メタデータ） (2021-01-26T09:14:06Z)
• Bridging Textual and Tabular Data for Cross-Domain Text-to-SQL Semantic Parsing [110.97778888305506]
  BRIDGEは、フィールドのサブセットが質問に言及されたセル値で拡張されるタグ付きシーケンスの質問とDBスキーマを表します。 BRIDGEは、人気のクロスDBテキスト-リレーショナルベンチマークで最先端のパフォーマンスを達成しました。 本分析は,BRIDGEが望まれる相互依存を効果的に捕捉し,さらにテキストDB関連タスクに一般化する可能性を示唆している。
  論文  参考訳（メタデータ） (2020-12-23T12:33:52Z)
• Incorporating BERT into Parallel Sequence Decoding with Adapters [82.65608966202396]
  本稿では,2種類のBERTモデルをエンコーダとデコーダとして取り出し,シンプルで軽量なアダプタモジュールを導入し,それらを微調整する。 我々は、ソース側およびターゲット側BERTモデルに含まれる情報を協調的に活用できるフレキシブルで効率的なモデルを得る。 我々のフレームワークは、BERTの双方向および条件独立性を考慮した、Mask-Predictという並列シーケンス復号アルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2020-10-13T03:25:15Z)
• CERT: Contrastive Self-supervised Learning for Language Understanding [20.17416958052909]
  本稿では,トランスフォーマーからのコントラスト型自己教師型表現(CERT)を提案する。 CERTは、文レベルでのコントラッシブな自己教師型学習を用いて、言語表現モデルを事前訓練する。 そこでは,CERT が BERT を 7 タスクで上回り,BERT が 2 タスクで上回り,BERT が 2 タスクで上回り,BERT が 2 タスクで上回る性能である GLUE ベンチマークを用いて,CERT を 11 個の自然言語理解タスクで評価した。
  論文  参考訳（メタデータ） (2020-05-16T16:20:38Z)
• DC-BERT: Decoupling Question and Document for Efficient Contextual Encoding [90.85913515409275]
  近年のオープンドメイン質問応答は,BERT などの事前学習言語モデルを用いて顕著な性能向上を実現している。 本稿では,2つのBERTモデルを持つコンテキストエンコーディングフレームワークであるDC-BERTと,すべての文書を事前エンコードし,それらのエンコーディングをキャッシュするオフラインBERTを提案する。 SQuADオープンとNatural Questionsオープンデータセットでは、DC-BERTは文書検索の10倍のスピードアップを実現し、QAパフォーマンスのほとんど(約98%)を維持している。
  論文  参考訳（メタデータ） (2020-02-28T08:18:37Z)
• Incorporating BERT into Neural Machine Translation [251.54280200353674]
  本稿では,入力シーケンスの表現抽出にBERTを用いたBERT融合モデルを提案する。 我々は、教師付き(文レベルと文書レベルの翻訳を含む)、半教師なしおよび教師なしの機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-02-17T08:13:36Z)
• BERT's output layer recognizes all hidden layers? Some Intriguing Phenomena and a simple way to boost BERT [53.63288887672302]
  変換器による双方向表現(BERT)は多くの自然言語処理(NLP)タスクで大きな成功を収めている。 その結果,BERTの各層を直接入力として取り込むことで,BERTの出力層が入力文を再構築できることが判明した。 本稿では,BERTの性能向上のための非常に単純な手法を提案する。
  論文  参考訳（メタデータ） (2020-01-25T13:35:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。