論文の概要: WhiteningBERT: An Easy Unsupervised Sentence Embedding Approach

• arxiv url: http://arxiv.org/abs/2104.01767v2
• Date: Tue, 6 Apr 2021 03:37:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-07 10:59:36.996368
• Title: WhiteningBERT: An Easy Unsupervised Sentence Embedding Approach
• Title（参考訳）: WhiteningBERT: 簡単に教師なしの文を埋め込む方法
• Authors: Junjie Huang, Duyu Tang, Wanjun Zhong, Shuai Lu, Linjun Shou, Ming Gong, Daxin Jiang, Nan Duan
• Abstract要約: 4つの事前学習モデルについて検討し,文意味論に関する7つのデータセットについて大規模実験を行った。 主な発見があります。 まず、[]ベクトルのみを使用するよりも、すべてのトークンを平均化する方がよい。 第二に、トップ層とボトム層を組み合わせることは、トップ層だけを使うよりも良い。 第3に,10行未満のコードで簡単にホワイトニングベースのベクトル正規化戦略によって,パフォーマンスが継続的に向上する。
• 参考スコア（独自算出の注目度）: 42.4099395148147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Producing the embedding of a sentence in an unsupervised way is valuable to natural language matching and retrieval problems in practice. In this work, we conduct a thorough examination of pretrained model based unsupervised sentence embeddings. We study on four pretrained models and conduct massive experiments on seven datasets regarding sentence semantics. We have there main findings. First, averaging all tokens is better than only using [CLS] vector. Second, combining both top andbottom layers is better than only using top layers. Lastly, an easy whitening-based vector normalization strategy with less than 10 lines of code consistently boosts the performance.
• Abstract（参考訳）: 文を教師なしの方法で埋め込むことは、実際に自然言語のマッチングや検索の問題に有用である。 本研究では,事前学習モデルに基づく教師なし文埋め込みの徹底的な検討を行う。 4つの事前学習モデルについて検討し,文意味論に関する7つのデータセットについて大規模実験を行った。 主な発見がある。 まず、[CLS]ベクターを使うよりも、すべてのトークンを平均化する方がよい。 第二に、トップ層とボトム層を組み合わせることは、トップ層だけを使うよりも良い。 最後に、10行未満のコードで簡単にホワイトニングベースのベクトル正規化戦略によって、一貫してパフォーマンスが向上する。

関連論文リスト

• A Simple yet Effective Self-Debiasing Framework for Transformer Models [49.09053367249642]
  現在のTransformerベースの自然言語理解(NLU)モデルは、データセットバイアスに大きく依存している。 本稿では,トランスフォーマーベースNLUモデルのための簡易かつ効果的な自己退化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-02T20:31:58Z)
• Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
  本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。 提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
  論文  参考訳（メタデータ） (2023-05-09T11:00:02Z)
• Generate, Discriminate and Contrast: A Semi-Supervised Sentence Representation Learning Framework [68.04940365847543]
  本稿では,大規模未ラベルデータを効果的に活用する半教師付き文埋め込みフレームワークGenSEを提案する。 1) 生成: 生成: 生成/識別器モデルはオープンドメインの未ラベルコーパスから文ペアを合成するために共同で訓練される; 2) 識別: ノイズのある文ペアは識別器によってフィルタリングされ、高品質な正と負の文ペアを取得する; 3) コントラスト: 注釈付きデータと合成されたデータの両方を用いて文表現を学習するために、プロンプトベースのコントラクティブアプローチが提示される。
  論文  参考訳（メタデータ） (2022-10-30T10:15:21Z)
• SimCSE: Simple Contrastive Learning of Sentence Embeddings [10.33373737281907]
  本稿では,埋め込み学習フレームワークであるSimCSEについて述べる。 まず、教師なしのアプローチを記述し、入力文を取り、それ自身を対照目的に予測する。 次に,nliデータセットからの注釈付きペアを「補足」ペアを正として,「矛盾」ペアをハード負として対比学習に組み込む。
  論文  参考訳（メタデータ） (2021-04-18T11:27:08Z)
• InsertGNN: Can Graph Neural Networks Outperform Humans in TOEFL Sentence Insertion Problem? [66.70154236519186]
  センテンス挿入は繊細だが基本的なNLP問題である。 文順序付け、テキストコヒーレンス、質問応答(QA)の現在のアプローチは、その解決には適さない。 本稿では,この問題をグラフとして表現し,グラフニューラルネットワーク(GNN)を用いて文間の関係を学習するモデルであるInsertGNNを提案する。
  論文  参考訳（メタデータ） (2021-03-28T06:50:31Z)
• Unsupervised Extractive Summarization by Pre-training Hierarchical Transformers [107.12125265675483]
  教師なし抽出文書要約は、訓練中にラベル付き要約を用いることなく、文書から重要な文章を選択することを目的としている。 既存の手法は主にグラフベースで、文をノードとして、エッジの重みは文の類似性によって測定される。 教師なし抽出要約のための文のランク付けにはトランスフォーマーの注意が利用できることがわかった。
  論文  参考訳（メタデータ） (2020-10-16T08:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。