論文の概要: Sentence Representations via Gaussian Embedding

• arxiv url: http://arxiv.org/abs/2305.12990v1
• Date: Mon, 22 May 2023 12:51:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 16:01:54.759301
• Title: Sentence Representations via Gaussian Embedding
• Title（参考訳）: ガウス埋め込みによる文表現
• Authors: Shohei Yoda, Hayato Tsukagoshi, Ryohei Sasano, Koichi Takeda
• Abstract要約: GaussCSEは文埋め込みのための対照的な学習フレームワークである。 文間の非対称関係と、包含関係を識別するための類似度尺度を扱うことができる。 実験の結果,ガウスCSEは自然言語推論タスクにおける従来の手法と同じ性能を達成できた。
• 参考スコア（独自算出の注目度）: 18.55475140385831
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent progress in sentence embedding, which represents the meaning of a sentence as a point in a vector space, has achieved high performance on tasks such as a semantic textual similarity (STS) task. However, sentence representations as a point in a vector space can express only a part of the diverse information that sentences have, such as asymmetrical relationships between sentences. This paper proposes GaussCSE, a Gaussian distribution-based contrastive learning framework for sentence embedding that can handle asymmetric relationships between sentences, along with a similarity measure for identifying inclusion relations. Our experiments show that GaussCSE achieves the same performance as previous methods in natural language inference tasks, and is able to estimate the direction of entailment relations, which is difficult with point representations.
• Abstract（参考訳）: ベクトル空間内の点としての文の意味を表す文埋め込みの最近の進歩は、意味テキスト類似性(sts)タスクなどのタスクにおいて高いパフォーマンスを達成している。 しかし、ベクトル空間内の点としての文表現は、文間の非対称関係など、文が持つ多様な情報の一部だけを表現することができる。 本稿では,文間の非対称関係を処理可能な文埋め込みのためのガウス分布に基づくコントラスト学習フレームワークgausscseと,包含関係を識別するための類似性尺度を提案する。 実験の結果,ガウスCSEは自然言語推論タスクにおいて,従来の手法と同等の性能を示し,点表現では困難である包含関係の方向を推定できることがわかった。

関連論文リスト

• DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning [59.4644086610381]
  本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。 離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。 我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-24T17:48:45Z)
• RankCSE: Unsupervised Sentence Representations Learning via Learning to Rank [54.854714257687334]
  本稿では,教師なし文表現学習のための新しい手法であるRangCSEを提案する。 コントラスト学習を伴うランキング一貫性とランキング蒸留を統一された枠組みに組み込む。 セマンティックテキスト類似性(STS)と転送タスク(TR)の両方について、広範な実験が実施されている。
  論文  参考訳（メタデータ） (2023-05-26T08:27:07Z)
• Bridging Continuous and Discrete Spaces: Interpretable Sentence Representation Learning via Compositional Operations [80.45474362071236]
  文の合成意味論が埋め込み空間における構成操作として直接反映できるかどうかは不明である。 文埋め込み学習のためのエンドツーエンドフレームワークであるInterSentを提案する。
  論文  参考訳（メタデータ） (2023-05-24T00:44:49Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• Subspace Representations for Soft Set Operations and Sentence Similarities [17.52824249186434]
  我々は,事前学習した単語埋め込み空間内の単語集合の表現とそれに対応する集合演算を実現する。 線形部分空間にアプローチを基礎付けることにより、様々な集合演算の効率的な計算が可能となる。 部分空間ベースの集合演算は、文類似性および集合検索タスクにおいて、ベクトルベースの演算よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-24T08:34:10Z)
• Toward Interpretable Semantic Textual Similarity via Optimal Transport-based Contrastive Sentence Learning [29.462788855992617]
  文間距離を輸送問題に基づく文脈化トークン距離の重み付け和として記述する。 次に、RCMDと呼ばれる最適輸送に基づく距離測定を行い、意味的に整合したトークンペアを特定し、活用する。 最後に,文ペアのRCMDを最適化するコントラスト学習フレームワークであるCLRCMDを提案する。
  論文  参考訳（メタデータ） (2022-02-26T17:28:02Z)
• Comparison and Combination of Sentence Embeddings Derived from Different Supervision Signals [20.853681115929422]
  自然言語推論(NLI)データセットと単語辞書からの定義文を用いて得られた2種類の文埋め込みに着目した。 2つの視点で分割したSTSデータを用いて,その性能を意味的テキスト類似性(STS)タスクと比較した。 また、これらの2種類の埋め込みを組み合わせることで、教師なしSTSタスクや下流タスクのそれぞれのモデルよりも大幅にパフォーマンスが向上することを示した。
  論文  参考訳（メタデータ） (2022-02-07T08:15:48Z)
• On the Sentence Embeddings from Pre-trained Language Models [78.45172445684126]
  本稿では,BERT埋め込みにおける意味情報が完全に活用されていないことを論じる。 BERTは常に文の非滑らかな異方性意味空間を誘導し,その意味的類似性を損なう。 本稿では,非教師対象で学習した正規化フローにより,異方性文の埋め込み分布を滑らかで等方性ガウス分布に変換することを提案する。
  論文  参考訳（メタデータ） (2020-11-02T13:14:57Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。