論文の概要: SBERT-WK: A Sentence Embedding Method by Dissecting BERT-based Word Models

• arxiv url: http://arxiv.org/abs/2002.06652v2
• Date: Mon, 1 Jun 2020 17:39:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-31 17:49:59.440473
• Title: SBERT-WK: A Sentence Embedding Method by Dissecting BERT-based Word Models
• Title（参考訳）: SBERT-WK: BERTに基づく単語モデル分割による文埋め込み手法
• Authors: Bin Wang, C.-C. Jay Kuo
• Abstract要約: BERTと呼ばれる文脈化された単語表現は、非常に少数のNLPタスクで最先端のパフォーマンスを達成する。 しかし、BERTベースの単語モデルから高品質な文表現を生成することは、オープンな問題である。 本稿では,単語表現に代表される空間の幾何学的解析により,BERTに基づく単語モデルを切り離すことにより,新しい文埋め込み手法を提案する。
• 参考スコア（独自算出の注目度）: 43.18970770343777
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sentence embedding is an important research topic in natural language processing (NLP) since it can transfer knowledge to downstream tasks. Meanwhile, a contextualized word representation, called BERT, achieves the state-of-the-art performance in quite a few NLP tasks. Yet, it is an open problem to generate a high quality sentence representation from BERT-based word models. It was shown in previous study that different layers of BERT capture different linguistic properties. This allows us to fusion information across layers to find better sentence representation. In this work, we study the layer-wise pattern of the word representation of deep contextualized models. Then, we propose a new sentence embedding method by dissecting BERT-based word models through geometric analysis of the space spanned by the word representation. It is called the SBERT-WK method. No further training is required in SBERT-WK. We evaluate SBERT-WK on semantic textual similarity and downstream supervised tasks. Furthermore, ten sentence-level probing tasks are presented for detailed linguistic analysis. Experiments show that SBERT-WK achieves the state-of-the-art performance. Our codes are publicly available.
• Abstract（参考訳）: 文の埋め込みは、下流のタスクに知識を伝達できるため、自然言語処理(NLP)において重要な研究トピックである。 一方、BERTと呼ばれる文脈化された単語表現は、非常に少数のNLPタスクで最先端のパフォーマンスを達成する。 しかし、BERTベースの単語モデルから高品質な文表現を生成することは、オープンな問題である。 以前の研究では、BERTの異なる層が異なる言語特性を捉えていることが示されている。 これにより、レイヤ間で情報を融合して、より良い文表現を見つけることができます。 本研究では,深層文脈モデルの単語表現の階層的パターンについて検討する。 そこで本研究では,単語表現の空間の幾何学的解析により,bertに基づく単語モデルを解析し,新しい文埋め込み手法を提案する。 SBERT-WK法と呼ばれる。 SBERT-WKではそれ以上の訓練は必要ない。 我々は,SBERT-WKを意味的テキスト類似性と下流教師付きタスクに基づいて評価した。 さらに,詳細な言語分析を行うために,10の文レベル探索タスクを提示する。 実験により、SBERT-WKは最先端の性能を達成することが示された。 私たちのコードは公開されています。

関連論文リスト

• Extracting Sentence Embeddings from Pretrained Transformer Models [0.0]
  110万のパラメータ BERT が複数の層と複数のトークンから隠された表現を与えられた場合、最適な文表現を抽出するために様々な方法を試した。 全手法がセマンティックテキスト類似性(STS)、8つの短いテキストクラスタリング、6つの分類タスクでテストされた。 静的トークンベースのモデル、特にSTSタスクのランダムな埋め込みの大幅な改善は、BERTベースの表現のパフォーマンスにほぼ達する。
  論文  参考訳（メタデータ） (2024-08-15T10:54:55Z)
• Can BERT Refrain from Forgetting on Sequential Tasks? A Probing Study [68.75670223005716]
  BERTのような事前学習型言語モデルでは,メモリリプレイが少なくても,逐次学習が可能であることが判明した。 実験の結果,BERT は従来学習したタスクに対して,極めて疎らなリプレイや,さらにはリプレイを行なわずに,長期間にわたって高品質な表現を生成できることが判明した。
  論文  参考訳（メタデータ） (2023-03-02T09:03:43Z)
• Roof-BERT: Divide Understanding Labour and Join in Work [7.523253052992842]
  Roof-BERTは、2つの基盤となるBERTと融合層を持つモデルである。 基盤となるBERTの1つは知識資源をエンコードし、もう1つは元の入力文をエンコードする。 QAタスクの実験結果から,提案手法の有効性が明らかになった。
  論文  参考訳（メタデータ） (2021-12-13T15:40:54Z)
• Evaluation of BERT and ALBERT Sentence Embedding Performance on Downstream NLP Tasks [4.955649816620742]
  本稿では,BERT と ALBERT の文埋め込みモデルについて検討する。 我々は、Sentence-BERT (SBERT) と呼ばれるシアムとトリプルトネットワーク構造を持つBERTネットワークを改良し、BERTをALBERTに置き換え、Sentence-ALBERT (SALBERT) を作成する。
  論文  参考訳（メタデータ） (2021-01-26T09:14:06Z)
• Does Chinese BERT Encode Word Structure? [17.836131968160917]
  文脈化された表現は、幅広いNLPタスクに対して大幅に改善された結果を与える。 BERTのような代表モデルによってキャプチャされた特徴を分析するために、多くの作業が費やされている。 本研究では,(1)単語情報がBERTによって取得されること,(2)単語レベルの特徴が主に中間表現層にあること,(3)下流タスクがBERTの単語特徴を異なる用途で利用すること,の2つを用いて中国語のBERTを調査する。
  論文  参考訳（メタデータ） (2020-10-15T12:40:56Z)
• BURT: BERT-inspired Universal Representation from Twin Structure [89.82415322763475]
  BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。 提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。 我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
  論文  参考訳（メタデータ） (2020-04-29T04:01:52Z)
• Learning to Select Bi-Aspect Information for Document-Scale Text Content Manipulation [50.01708049531156]
  我々は、テキストスタイルの転送とは逆の文書スケールのテキストコンテンツ操作という、新しい実践的なタスクに焦点を当てる。 詳細は、入力は構造化されたレコードと、別のレコードセットを記述するための参照テキストのセットである。 出力は、ソースレコードセットの部分的内容と参照の書き込みスタイルを正確に記述した要約である。
  論文  参考訳（メタデータ） (2020-02-24T12:52:10Z)
• Incorporating BERT into Neural Machine Translation [251.54280200353674]
  本稿では,入力シーケンスの表現抽出にBERTを用いたBERT融合モデルを提案する。 我々は、教師付き(文レベルと文書レベルの翻訳を含む)、半教師なしおよび教師なしの機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-02-17T08:13:36Z)
• BERT's output layer recognizes all hidden layers? Some Intriguing Phenomena and a simple way to boost BERT [53.63288887672302]
  変換器による双方向表現(BERT)は多くの自然言語処理(NLP)タスクで大きな成功を収めている。 その結果,BERTの各層を直接入力として取り込むことで,BERTの出力層が入力文を再構築できることが判明した。 本稿では,BERTの性能向上のための非常に単純な手法を提案する。
  論文  参考訳（メタデータ） (2020-01-25T13:35:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。