論文の概要: Comparison and Combination of Sentence Embeddings Derived from Different Supervision Signals

• arxiv url: http://arxiv.org/abs/2202.02990v1
• Date: Mon, 7 Feb 2022 08:15:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-08 16:08:32.192428
• Title: Comparison and Combination of Sentence Embeddings Derived from Different Supervision Signals
• Title（参考訳）: 異なるスーパービジョン信号から導出される文埋め込みの比較と組み合わせ
• Authors: Hayato Tsukagoshi, Ryohei Sasano, Koichi Takeda
• Abstract要約: 自然言語推論(NLI)データセットと単語辞書からの定義文を用いて得られた2種類の文埋め込みに着目した。 2つの視点で分割したSTSデータを用いて,その性能を意味的テキスト類似性(STS)タスクと比較した。 また、これらの2種類の埋め込みを組み合わせることで、教師なしSTSタスクや下流タスクのそれぞれのモデルよりも大幅にパフォーマンスが向上することを示した。
• 参考スコア（独自算出の注目度）: 20.853681115929422
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We have recently seen many successful applications of sentence embedding methods. It has not been well understood, however, what kind of properties are captured in the resulting sentence embeddings, depending on the supervision signals. In this paper, we focus on two types of sentence embeddings obtained by using natural language inference (NLI) datasets and definition sentences from a word dictionary and investigate their properties by comparing their performance with the semantic textual similarity (STS) task using the STS data partitioned by two perspectives: 1) the sources of sentences, and 2) the superficial similarity of the sentence pairs, and their performance on the downstream and probing tasks. We also demonstrate that combining the two types of embeddings yields substantially better performances than respective models on unsupervised STS tasks and downstream tasks.
• Abstract（参考訳）: 近年,文埋め込み手法の応用が数多く成功している。 しかし, 文の埋め込みによってどのような特性が捉えられるかは, 監督信号によってはよく分かっていない。 本稿では,自然言語推論(nli)データセットと定義文を用いて,単語辞書から得られる2種類の文埋め込みに着目し,その特性を2つの視点で分割されたstsデータを用いた意味的テキスト類似性(sts)タスクと比較した。 1) 文の出所,及び 2) 文対の表層的類似性, 下流および探索作業における性能について検討した。 また,これら2つの組込みを組み合わせることで,教師なしのstsタスクと下流タスクの各モデルよりも性能が大幅に向上することを示す。

関連論文リスト

• DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning [59.4644086610381]
  本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。 離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。 我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-24T17:48:45Z)
• RankCSE: Unsupervised Sentence Representations Learning via Learning to Rank [54.854714257687334]
  本稿では,教師なし文表現学習のための新しい手法であるRangCSEを提案する。 コントラスト学習を伴うランキング一貫性とランキング蒸留を統一された枠組みに組み込む。 セマンティックテキスト類似性(STS)と転送タスク(TR)の両方について、広範な実験が実施されている。
  論文  参考訳（メタデータ） (2023-05-26T08:27:07Z)
• Sentence Representations via Gaussian Embedding [15.235687410343171]
  GaussCSEは文埋め込みのための対照的な学習フレームワークである。 文間の非対称関係と、包含関係を識別するための類似度尺度を扱うことができる。 実験の結果,ガウスCSEは自然言語推論タスクにおける従来の手法と同じ性能を達成できた。
  論文  参考訳（メタデータ） (2023-05-22T12:51:38Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• InfoCSE: Information-aggregated Contrastive Learning of Sentence Embeddings [61.77760317554826]
  本稿では,教師なし文の埋め込みを学習するための情報型コントラスト学習フレームワーク InfoCSE を提案する。 提案したInfoCSEを,セマンティックテキスト類似性(STS)タスクを用いて,いくつかのベンチマークデータセット上で評価する。 実験の結果, InfoCSE は BERT ベースでは2.60%, BERT 大規模では1.77% でSimCSE より優れていた。
  論文  参考訳（メタデータ） (2022-10-08T15:53:19Z)
• SBERT studies Meaning Representations: Decomposing Sentence Embeddings into Explainable AMR Meaning Features [22.8438857884398]
  非常に効果的な類似度メトリクスを作成しながら、評価の解釈可能な根拠を提供します。 まず、キーセマンティック・ファセットに対する文の類似性を測るAMRグラフメトリクスを選択します。 第二に、これらのメトリクスを用いてセマンティックな構造化文BERT埋め込みを誘導する。
  論文  参考訳（メタデータ） (2022-06-14T17:37:18Z)
• Toward Interpretable Semantic Textual Similarity via Optimal Transport-based Contrastive Sentence Learning [29.462788855992617]
  文間距離を輸送問題に基づく文脈化トークン距離の重み付け和として記述する。 次に、RCMDと呼ばれる最適輸送に基づく距離測定を行い、意味的に整合したトークンペアを特定し、活用する。 最後に,文ペアのRCMDを最適化するコントラスト学習フレームワークであるCLRCMDを提案する。
  論文  参考訳（メタデータ） (2022-02-26T17:28:02Z)
• Pair-Level Supervised Contrastive Learning for Natural Language Inference [11.858875850000457]
  Pair-level Supervised Contrastive Learning approach (PairSCL)を提案する。 対照的な学習目的は、1つのクラスでそれらをまとめて、他のクラスでペアを分割することで、文対の様々なクラスを区別するように設計されている。 NLIの2つの公開データセット上でPairSCLの評価を行い、PairSCLの精度は平均2.1%向上した。
  論文  参考訳（メタデータ） (2022-01-26T13:34:52Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)
• BURT: BERT-inspired Universal Representation from Twin Structure [89.82415322763475]
  BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。 提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。 我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
  論文  参考訳（メタデータ） (2020-04-29T04:01:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。