論文の概要: Whitening Sentence Representations for Better Semantics and Faster Retrieval

• arxiv url: http://arxiv.org/abs/2103.15316v1
• Date: Mon, 29 Mar 2021 03:51:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-30 15:30:09.717706
• Title: Whitening Sentence Representations for Better Semantics and Faster Retrieval
• Title（参考訳）: より良いセマンティクスと高速検索のための白文表現
• Authors: Jianlin Su, Jiarun Cao, Weijie Liu, Yangyiwen Ou
• Abstract要約: 従来の機械学習におけるホワイトニング操作も同様に文表現の等方性を高めることができる。 実験の結果, 有望な性能を実現するだけでなく, ストレージコストを大幅に削減し, モデル検索速度を高速化できることがわかった。
• 参考スコア（独自算出の注目度）: 3.148352405004464
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Pre-training models such as BERT have achieved great success in many natural language processing tasks. However, how to obtain better sentence representation through these pre-training models is still worthy to exploit. Previous work has shown that the anisotropy problem is an critical bottleneck for BERT-based sentence representation which hinders the model to fully utilize the underlying semantic features. Therefore, some attempts of boosting the isotropy of sentence distribution, such as flow-based model, have been applied to sentence representations and achieved some improvement. In this paper, we find that the whitening operation in traditional machine learning can similarly enhance the isotropy of sentence representations and achieve competitive results. Furthermore, the whitening technique is also capable of reducing the dimensionality of the sentence representation. Our experimental results show that it can not only achieve promising performance but also significantly reduce the storage cost and accelerate the model retrieval speed.
• Abstract（参考訳）: BERTのような事前学習モデルは多くの自然言語処理タスクで大きな成功を収めた。 しかし、これらの事前学習モデルを通してより良い文表現を得るには、依然として有効である。 従来の研究によると、異方性問題はBERTに基づく文表現にとって重要なボトルネックであり、モデルが基盤となる意味的特徴を完全に活用することを妨げている。 そのため、フローベースモデルなどの文分布の等方性を高める試みが、文表現に適用され、改善されている。 本稿では,従来の機械学習における白化操作が,同様に文表現の等方性を高め,競争的な結果が得られることを示す。 さらに、この白化技法は、文表現の次元性も低減することができる。 実験の結果, 有望な性能を実現するだけでなく, ストレージコストを大幅に削減し, モデル検索速度を高速化できることがわかった。

関連論文リスト

• Enhancing In-Context Learning via Implicit Demonstration Augmentation [26.78252788538567]
  In-context Learning (ICL) は、事前訓練された言語モデルがパラメータを更新せずに未確認入力の予測を行うことを可能にする。 その可能性にもかかわらず、ICLの有効性はデモの質、量、置換に大きく依存している。 本稿では,この課題に初めて挑戦する。
  論文  参考訳（メタデータ） (2024-06-27T05:25:46Z)
• Ditto: A Simple and Efficient Approach to Improve Sentence Embeddings [29.273438110694574]
  事前訓練された言語モデルからの文の埋め込みは、非形式的な単語に対するバイアスに悩まされる。 モデルに基づく重要度推定で単語を重み付けする,シンプルで効率的な非教師付きアプローチであるDiagonal Attention Pooling (Ditto)を提案する。 本稿では,Dittoが異方性問題を緩和し,意味的テキスト類似性タスクの事前学習モデルを改善することを示す。
  論文  参考訳（メタデータ） (2023-05-18T07:56:40Z)
• Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
  本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。 提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
  論文  参考訳（メタデータ） (2023-05-09T11:00:02Z)
• Sentence Representation Learning with Generative Objective rather than Contrastive Objective [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
  論文  参考訳（メタデータ） (2022-10-16T07:47:46Z)
• Semi-Autoregressive Image Captioning [153.9658053662605]
  画像キャプションに対する現在の最先端のアプローチは、通常自己回帰的手法を採用する。 連続的反復改善による非自己回帰画像キャプションは、かなりの加速を伴う自己回帰画像キャプションに匹敵する性能が得られる。 本稿では,性能と速度のトレードオフを改善するために,SAIC(Semi-Autoregressive Image Captioning)と呼ばれる新しい2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-11T15:11:54Z)
• Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
  文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。 そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-09T10:10:29Z)
• On the Sentence Embeddings from Pre-trained Language Models [78.45172445684126]
  本稿では,BERT埋め込みにおける意味情報が完全に活用されていないことを論じる。 BERTは常に文の非滑らかな異方性意味空間を誘導し,その意味的類似性を損なう。 本稿では,非教師対象で学習した正規化フローにより,異方性文の埋め込み分布を滑らかで等方性ガウス分布に変換することを提案する。
  論文  参考訳（メタデータ） (2020-11-02T13:14:57Z)
• A Simple but Tough-to-Beat Data Augmentation Approach for Natural Language Understanding and Generation [53.8171136907856]
  カットオフと呼ばれる、シンプルで効果的なデータ拡張戦略のセットを紹介します。 カットオフはサンプリング一貫性に依存しているため、計算オーバーヘッドが少なくなる。 cutoffは、敵のトレーニングを一貫して上回り、IWSLT2014 German- English データセットで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2020-09-29T07:08:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。