論文の概要: Dual-View Distilled BERT for Sentence Embedding

• arxiv url: http://arxiv.org/abs/2104.08675v1
• Date: Sun, 18 Apr 2021 01:20:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-23 03:35:23.053036
• Title: Dual-View Distilled BERT for Sentence Embedding
• Title（参考訳）: 文埋め込み用デュアルビュー蒸留BERT
• Authors: Xingyi Cheng
• Abstract要約: 文埋め込みに適合する文に対するDual-view 蒸留BERT(DvBERT)を提案する。 Siamese Viewは私たちが文の埋め込みを生成するバックボーンです。 インタラクションビューは、文埋め込みの表現能力を高めるために、複数の教師としてクロス文インタラクションを統合する。
• 参考スコア（独自算出の注目度）: 3.4078484645770373
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, BERT realized significant progress for sentence matching via word-level cross sentence attention. However, the performance significantly drops when using siamese BERT-networks to derive two sentence embeddings, which fall short in capturing the global semantic since the word-level attention between two sentences is absent. In this paper, we propose a Dual-view distilled BERT~(DvBERT) for sentence matching with sentence embeddings. Our method deals with a sentence pair from two distinct views, i.e., Siamese View and Interaction View. Siamese View is the backbone where we generate sentence embeddings. Interaction View integrates the cross sentence interaction as multiple teachers to boost the representation ability of sentence embeddings. Experiments on six STS tasks show that our method outperforms the state-of-the-art sentence embedding methods significantly.
• Abstract（参考訳）: 近年,BERTは単語レベル横断文注意による文マッチングの大幅な進歩を実現している。 しかし,2つの文間の単語レベルの注意が欠落しているため,大域的な意味をとらえるには不十分な2つの文の埋め込みをシモームBERT-networksを用いて導くと,性能は著しく低下する。 本稿では,文の埋め込みに適合する文に対するDual-view蒸留BERT~(DvBERT)を提案する。 本手法では,2つの異なる視点,すなわちシームズビューとインタラクションビューの文対を扱う。 Siamese Viewは私たちが文の埋め込みを生成するバックボーンです。 インタラクションビューは、複数の教師が文章埋め込みの表現能力を高めるために、クロステキストインタラクションを統合する。 6つのSTSタスクの実験により、我々の手法は最先端の文埋め込み方法よりも優れていた。

関連論文リスト

• DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning [59.4644086610381]
  本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。 離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。 我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-24T17:48:45Z)
• RankCSE: Unsupervised Sentence Representations Learning via Learning to Rank [54.854714257687334]
  本稿では,教師なし文表現学習のための新しい手法であるRangCSEを提案する。 コントラスト学習を伴うランキング一貫性とランキング蒸留を統一された枠組みに組み込む。 セマンティックテキスト類似性(STS)と転送タスク(TR)の両方について、広範な実験が実施されている。
  論文  参考訳（メタデータ） (2023-05-26T08:27:07Z)
• InfoCSE: Information-aggregated Contrastive Learning of Sentence Embeddings [61.77760317554826]
  本稿では,教師なし文の埋め込みを学習するための情報型コントラスト学習フレームワーク InfoCSE を提案する。 提案したInfoCSEを,セマンティックテキスト類似性(STS)タスクを用いて,いくつかのベンチマークデータセット上で評価する。 実験の結果, InfoCSE は BERT ベースでは2.60%, BERT 大規模では1.77% でSimCSE より優れていた。
  論文  参考訳（メタデータ） (2022-10-08T15:53:19Z)
• DiffCSE: Difference-based Contrastive Learning for Sentence Embeddings [51.274478128525686]
  DiffCSEは、文の埋め込みを学習するための教師なしのコントラスト学習フレームワークである。 実験の結果,教師なし文表現学習法では,DiffCSEは最先端の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-04-21T17:32:01Z)
• A Sentence is Worth 128 Pseudo Tokens: A Semantic-Aware Contrastive Learning Framework for Sentence Embeddings [28.046786376565123]
  Pseudo-Token BERT (PT-BERT) と呼ばれる文埋め込みのための意味認識型コントラスト学習フレームワークを提案する。 文長や構文などの表面的特徴の影響を排除しつつ、文の擬似トーケン空間(潜在意味空間)表現を利用する。 我々のモデルは6つの標準的な意味的テキスト類似性(STS)タスクにおける最先端のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2022-03-11T12:29:22Z)
• Comparison and Combination of Sentence Embeddings Derived from Different Supervision Signals [20.853681115929422]
  自然言語推論(NLI)データセットと単語辞書からの定義文を用いて得られた2種類の文埋め込みに着目した。 2つの視点で分割したSTSデータを用いて,その性能を意味的テキスト類似性(STS)タスクと比較した。 また、これらの2種類の埋め込みを組み合わせることで、教師なしSTSタスクや下流タスクのそれぞれのモデルよりも大幅にパフォーマンスが向上することを示した。
  論文  参考訳（メタデータ） (2022-02-07T08:15:48Z)
• PromptBERT: Improving BERT Sentence Embeddings with Prompts [95.45347849834765]
  本稿では,トークン埋め込みのバイアスを低減し,元のBERT層をより効果的にするためのプロンプトベースの文埋め込み手法を提案する。 また,教師なし設定と教師なし設定とのパフォーマンスギャップを大幅に短縮するテンプレート認知技術により,教師なし学習の新たな目標を提案する。 我々の微調整手法は教師なし設定と教師なし設定の両方において最先端のSimCSEよりも優れている。
  論文  参考訳（メタデータ） (2022-01-12T06:54:21Z)
• Self-Guided Contrastive Learning for BERT Sentence Representations [19.205754738851546]
  本稿では,BERT文表現の品質向上に自己指導を利用したコントラスト学習手法を提案する。 提案手法は,BERTを自己教師型で微調整し,データ拡張に頼らず,通常の[]トークン埋め込みを文ベクトルとして機能させる。
  論文  参考訳（メタデータ） (2021-06-03T05:52:43Z)
• On the Sentence Embeddings from Pre-trained Language Models [78.45172445684126]
  本稿では,BERT埋め込みにおける意味情報が完全に活用されていないことを論じる。 BERTは常に文の非滑らかな異方性意味空間を誘導し,その意味的類似性を損なう。 本稿では,非教師対象で学習した正規化フローにより,異方性文の埋め込み分布を滑らかで等方性ガウス分布に変換することを提案する。
  論文  参考訳（メタデータ） (2020-11-02T13:14:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。