論文の概要: The Daunting Dilemma with Sentence Encoders: Success on Standard
Benchmarks, Failure in Capturing Basic Semantic Properties
- arxiv url: http://arxiv.org/abs/2309.03747v1
- Date: Thu, 7 Sep 2023 14:42:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-08 12:51:20.302340
- Title: The Daunting Dilemma with Sentence Encoders: Success on Standard
Benchmarks, Failure in Capturing Basic Semantic Properties
- Title（参考訳）: 文エンコーダを用いたDending Dilemma:標準ベンチマークの成功,基本意味的特性の獲得における失敗
- Authors: Yash Mahajan, Naman Bansal, Shubhra Kanti Karmaker ("Santu")
- Abstract要約: 我々は,既存の5つの文エンコーダ,すなわちセンテンス-BERT,Universal Sentence (USE), LASER, Inferfer, Doc2vecを評価した。
本稿では,4つの意味的評価基準,すなわちパラフレージング,同期置換,アンソニー置換,センテンスジャムリングを提案する。
SBERTが両者の優位性であるので,Sentence-Bert と USE のモデルがパラフレージング基準をパスしていることが分かる。
- 参考スコア（独自算出の注目度）: 6.747934699209743
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we adopted a retrospective approach to examine and compare
five existing popular sentence encoders, i.e., Sentence-BERT, Universal
Sentence Encoder (USE), LASER, InferSent, and Doc2vec, in terms of their
performance on downstream tasks versus their capability to capture basic
semantic properties. Initially, we evaluated all five sentence encoders on the
popular SentEval benchmark and found that multiple sentence encoders perform
quite well on a variety of popular downstream tasks. However, being unable to
find a single winner in all cases, we designed further experiments to gain a
deeper understanding of their behavior. Specifically, we proposed four semantic
evaluation criteria, i.e., Paraphrasing, Synonym Replacement, Antonym
Replacement, and Sentence Jumbling, and evaluated the same five sentence
encoders using these criteria. We found that the Sentence-Bert and USE models
pass the paraphrasing criterion, with SBERT being the superior between the two.
LASER dominates in the case of the synonym replacement criterion.
Interestingly, all the sentence encoders failed the antonym replacement and
jumbling criteria. These results suggest that although these popular sentence
encoders perform quite well on the SentEval benchmark, they still struggle to
capture some basic semantic properties, thus, posing a daunting dilemma in NLP
research.
- Abstract（参考訳）: 本稿では,既存の5つの文エンコーダ(Sentence-BERT,Universal Sentence Encoder (USE), LASER, InferSent, Doc2vec)を,下流タスクにおける処理性能と基本的な意味的特性の獲得能力で比較し比較する。
まず,5つの文エンコーダをstevalベンチマークで評価し,複数の文エンコーダが様々なダウンストリームタスクでうまく動作することを発見した。
しかしながら、すべてのケースで1つの勝者を見つけることができないため、その行動をより深く理解するために、さらなる実験をデザインしました。
具体的には,4つの意味的評価基準,すなわちパラフレーズ,同期置換,アンソニー置換,文ジャムリングを提案し,これらの基準を用いて同じ5つの文エンコーダを評価した。
その結果,SBERTとSentence-BertモデルとUSEモデルはパラフレージング基準を超越していることがわかった。
同義語置換基準の場合、LASERが優勢である。
興味深いことに、すべての文エンコーダはアントロニムの置き換えとジャムリング基準に失敗した。
これらの結果は、これらの一般的な文エンコーダは、SentEvalベンチマークでかなりよく機能するが、基本的な意味的特性の獲得に苦慮していることを示唆している。
関連論文リスト
- Sub-Sentence Encoder: Contrastive Learning of Propositional Semantic
Representations [102.05351905494277]
サブ文エンコーダ(Sub-sentence encoder)は、テキストの微細な意味表現のためのコンテクスト埋め込みモデルである。
文エンコーダと比較して,サブ文エンコーダは推論コストと空間複雑さのレベルが同じであることを示す。
論文 参考訳（メタデータ） (2023-11-07T20:38:30Z) - BOOST: Harnessing Black-Box Control to Boost Commonsense in LMs'
Generation [60.77990074569754]
本稿では,凍結した事前学習言語モデルを,より汎用的な生成に向けて操る,計算効率のよいフレームワークを提案する。
具体的には、まず、文に常識的スコアを割り当てる参照なし評価器を構築する。
次に、スコアラをコモンセンス知識のオラクルとして使用し、NADOと呼ばれる制御可能な生成法を拡張して補助ヘッドを訓練する。
論文 参考訳（メタデータ） (2023-10-25T23:32:12Z) - SemStamp: A Semantic Watermark with Paraphrastic Robustness for Text Generation [72.10931780019297]
既存の透かしアルゴリズムはトークンレベルの設計のため、パラフレーズ攻撃に弱い。
局所性に敏感なハッシュ(LSH)に基づく頑健な文レベルのセマンティック透かしアルゴリズムSemStampを提案する。
実験結果から,本アルゴリズムは従来手法に比べて,従来手法よりも頑健であるだけでなく,生成品質の維持にも有効であることが示唆された。
論文 参考訳（メタデータ） (2023-10-06T03:33:42Z) - Revealing the Blind Spot of Sentence Encoder Evaluation by HEROS [68.34155010428941]
文エンコーダ(SE)が類似する文ペアの種類は明らかでない。
HEROSは、ある規則に基づいて原文を新しい文に変換し、テキスト最小対を形成することによって構築される
HEROS上の60以上の教師なしSEの性能を体系的に比較することにより,ほとんどの教師なしエンコーダが否定に敏感であることを明らかにする。
論文 参考訳（メタデータ） (2023-06-08T10:24:02Z) - Rethink about the Word-level Quality Estimation for Machine Translation
from Human Judgement [57.72846454929923]
ベンチマークデータセットであるemphHJQEを作成し、専門家翻訳者が不適切な翻訳語を直接アノテートする。
本稿では,タグリファインメント戦略と木ベースのアノテーション戦略という2つのタグ補正戦略を提案し,TERベースの人工QEコーパスをemphHJQEに近づける。
その結果,提案したデータセットは人間の判断と一致しており,また,提案したタグ補正戦略の有効性も確認できた。
論文 参考訳（メタデータ） (2022-09-13T02:37:12Z) - Ranking-Enhanced Unsupervised Sentence Representation Learning [32.89057204258891]
文の意味は入力文と類似した最寄りの文によって決定されることを示す。
本稿では,新しい教師なし文エンコーダRancEncoderを提案する。
論文 参考訳（メタデータ） (2022-09-09T14:45:16Z) - Semantic-Preserving Adversarial Text Attacks [85.32186121859321]
深層モデルの脆弱性を調べるために, Bigram と Unigram を用いた適応的セマンティック保存最適化法 (BU-SPO) を提案する。
提案手法は,既存手法と比較して最小の単語数を変更することで,攻撃成功率とセマンティックス率を最大化する。
論文 参考訳（メタデータ） (2021-08-23T09:05:18Z) - Discrete Cosine Transform as Universal Sentence Encoder [10.355894890759377]
我々は離散コサイン変換(DCT)を用いて、異なる言語に対する普遍的な文表現を生成する。
実験結果からDCT符号化の有効性が明らかとなった。
論文 参考訳（メタデータ） (2021-06-02T04:43:54Z) - Rewriting Meaningful Sentences via Conditional BERT Sampling and an
application on fooling text classifiers [11.49508308643065]
テキスト分類器を欺くように設計された敵攻撃法は、いくつかの単語や文字を変更することで、テキスト分類器の予測を変更する。
文レベルの言い直しに固有の難しさや、正統な書き直し基準を設定することの難しさから、文全体を書き換えて分類子を攻撃しようとする者はほとんどいない。
本稿では,文レベルの書き換えによる逆例作成の問題について検討する。
我々は文レベルの脅威モデルと呼ばれる新しい修正基準を提案し、この基準は単語レベルの変更と文レベルの変更の両方を可能にし、意味的類似性と2つの次元で独立に調整できる。
論文 参考訳（メタデータ） (2020-10-22T17:03:13Z) - Syntactically Look-Ahead Attention Network for Sentence Compression [36.6256383447417]
文圧縮は、冗長な単語を削除することで、長い文を短い文に圧縮するタスクである。
シーケンシャル・ツー・シーケンス(Seq2Seq)ベースのモデルでは、デコーダは一方向で単語の保持または削除を決定する。
本稿では,情報要約を生成できる新しいSeq2Seqモデル(SLAHAN)を提案する。
論文 参考訳（メタデータ） (2020-02-04T06:26:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。