論文の概要: PromptBERT: Improving BERT Sentence Embeddings with Prompts

• arxiv url: http://arxiv.org/abs/2201.04337v1
• Date: Wed, 12 Jan 2022 06:54:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-13 15:00:44.737462
• Title: PromptBERT: Improving BERT Sentence Embeddings with Prompts
• Title（参考訳）: PromptBERT: PromptによるBERT文の埋め込みを改善する
• Authors: Ting Jiang, Shaohan Huang, Zihan Zhang, Deqing Wang, Fuzhen Zhuang, Furu Wei, Haizhen Huang, Liangjie Zhang, Qi Zhang
• Abstract要約: 本稿では,トークン埋め込みのバイアスを低減し,元のBERT層をより効果的にするためのプロンプトベースの文埋め込み手法を提案する。 また,教師なし設定と教師なし設定とのパフォーマンスギャップを大幅に短縮するテンプレート認知技術により,教師なし学習の新たな目標を提案する。 我々の微調整手法は教師なし設定と教師なし設定の両方において最先端のSimCSEよりも優れている。
• 参考スコア（独自算出の注目度）: 95.45347849834765
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The poor performance of the original BERT for sentence semantic similarity has been widely discussed in previous works. We find that unsatisfactory performance is mainly due to the static token embeddings biases and the ineffective BERT layers, rather than the high cosine similarity of the sentence embeddings. To this end, we propose a prompt based sentence embeddings method which can reduce token embeddings biases and make the original BERT layers more effective. By reformulating the sentence embeddings task as the fillin-the-blanks problem, our method significantly improves the performance of original BERT. We discuss two prompt representing methods and three prompt searching methods for prompt based sentence embeddings. Moreover, we propose a novel unsupervised training objective by the technology of template denoising, which substantially shortens the performance gap between the supervised and unsupervised setting. For experiments, we evaluate our method on both non fine-tuned and fine-tuned settings. Even a non fine-tuned method can outperform the fine-tuned methods like unsupervised ConSERT on STS tasks. Our fine-tuned method outperforms the state-of-the-art method SimCSE in both unsupervised and supervised settings. Compared to SimCSE, we achieve 2.29 and 2.58 points improvements on BERT and RoBERTa respectively under the unsupervised setting.
• Abstract（参考訳）: 文意味的類似性に対する原文BERTの低性能は、これまで広く議論されてきた。 文埋め込みのコサイン類似度が高いというよりも,静的トークン埋め込みバイアスと非効率的なbert層が主な原因であることがわかった。 そこで本研究では,トークン埋め込みのバイアスを低減し,元のBERT層をより効率的にする,プロンプトベースの文埋め込み手法を提案する。 文埋め込みタスクを補間問題として再構成することにより,本手法は元のBERTの性能を大幅に向上させる。 本稿では,2つのプロンプト表現法と3つのプロンプト検索法について論じる。 さらに,教師なし設定と教師なし設定とのパフォーマンスギャップを大幅に短縮するテンプレート認知技術による,教師なし学習の新たな目標を提案する。 実験では,非微調整と微調整の両方で評価を行った。 非微調整のメソッドでさえ、STSタスクにおける教師なしのConSERTのような細調整のメソッドよりも優れている。 我々の微調整手法は教師なし設定と教師なし設定の両方において最先端のSimCSEよりも優れている。 SimCSEと比較して、教師なし設定でBERTとRoBERTaの2.29点と2.58点の改善を実現した。

関連論文リスト

• BERTer: The Efficient One [0.0]
  本研究では、感情分析、パラフレーズ検出、意味的テキスト類似性においてBERTの性能を高めるための高度な微調整手法について検討する。 その結果,複数の微調整アーキテクチャを組み合わせる場合のモデル効率と有効性は大幅に向上した。
  論文  参考訳（メタデータ） (2024-07-19T05:33:09Z)
• Sentence Embeddings using Supervised Contrastive Learning [0.0]
  教師付きコントラスト学習によって文埋め込みを構築する新しい手法を提案する。 SNLIデータ上のBERTを微調整し,教師付きクロスエントロピー損失と教師付きコントラスト損失を併用した。
  論文  参考訳（メタデータ） (2021-06-09T03:30:29Z)
• Self-Guided Contrastive Learning for BERT Sentence Representations [19.205754738851546]
  本稿では,BERT文表現の品質向上に自己指導を利用したコントラスト学習手法を提案する。 提案手法は,BERTを自己教師型で微調整し,データ拡張に頼らず,通常の[]トークン埋め込みを文ベクトルとして機能させる。
  論文  参考訳（メタデータ） (2021-06-03T05:52:43Z)
• ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer [19.643512923368743]
  本稿では,自己監督型文表現伝達のためのコントラストフレームワークであるConSERTを提案する。 ラベルのないテキストを利用することで、ConSERTはBERT由来の文表現の崩壊問題を解消する。 STSデータセットの実験では、ConSERTは以前の最先端よりも8%の相対的な改善を達成している。
  論文  参考訳（メタデータ） (2021-05-25T08:15:01Z)
• On the Sentence Embeddings from Pre-trained Language Models [78.45172445684126]
  本稿では,BERT埋め込みにおける意味情報が完全に活用されていないことを論じる。 BERTは常に文の非滑らかな異方性意味空間を誘導し,その意味的類似性を損なう。 本稿では,非教師対象で学習した正規化フローにより,異方性文の埋め込み分布を滑らかで等方性ガウス分布に変換することを提案する。
  論文  参考訳（メタデータ） (2020-11-02T13:14:57Z)
• TernaryBERT: Distillation-aware Ultra-low Bit BERT [53.06741585060951]
  本稿では,細調整されたBERTモデルの重みを3元化するternaryBERTを提案する。 GLUEベンチマークとSQuADの実験により,提案した TernaryBERT が他のBERT量子化法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-27T10:17:28Z)
• An Unsupervised Sentence Embedding Method by Mutual Information Maximization [34.947950543830686]
  SBERT(Sentence BERT)はクラスタリングやセマンティックサーチのような文対タスクでは非効率である。 本稿では,BERT上での軽量な拡張と,新たな自己教師型学習目標を提案する。 我々の方法は、異なるドメイン固有のコーパスに適用できるようなラベル付きデータの可用性に制限されない。
  論文  参考訳（メタデータ） (2020-09-25T07:16:51Z)
• BERT-ATTACK: Adversarial Attack Against BERT Using BERT [77.82947768158132]
  離散データ(テキストなど)に対するアドリアック攻撃は、連続データ(画像など)よりも難しい。 対戦型サンプルを生成するための高品質で効果的な方法である textbfBERT-Attack を提案する。 本手法は、成功率と摂動率の両方において、最先端の攻撃戦略より優れている。
  論文  参考訳（メタデータ） (2020-04-21T13:30:02Z)
• Improving BERT Fine-Tuning via Self-Ensemble and Self-Distillation [84.64004917951547]
  BERTのような微調整済みの言語モデルは、NLPにおいて効果的な方法となっている。 本稿では, BERTの微細調整を, 自己組織化と自己蒸留の2つの効果的なメカニズムで改善する。
  論文  参考訳（メタデータ） (2020-02-24T16:17:12Z)
• Incorporating BERT into Neural Machine Translation [251.54280200353674]
  本稿では,入力シーケンスの表現抽出にBERTを用いたBERT融合モデルを提案する。 我々は、教師付き(文レベルと文書レベルの翻訳を含む)、半教師なしおよび教師なしの機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-02-17T08:13:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。