論文の概要: Sub-Sentence Encoder: Contrastive Learning of Propositional Semantic Representations

• arxiv url: http://arxiv.org/abs/2311.04335v1
• Date: Tue, 7 Nov 2023 20:38:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-09 17:40:47.709799
• Title: Sub-Sentence Encoder: Contrastive Learning of Propositional Semantic Representations
• Title（参考訳）: 部分文エンコーダ:命題意味表現のコントラスト学習
• Authors: Sihao Chen and Hongming Zhang and Tong Chen and Ben Zhou and Wenhao Yu and Dian Yu and Baolin Peng and Hongwei Wang and Dan Roth and Dong Yu
• Abstract要約: サブ文エンコーダ(Sub-sentence encoder)は、テキストの微細な意味表現のためのコンテクスト埋め込みモデルである。 文エンコーダと比較して,サブ文エンコーダは推論コストと空間複雑さのレベルが同じであることを示す。
• 参考スコア（独自算出の注目度）: 102.05351905494277
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We introduce sub-sentence encoder, a contrastively-learned contextual embedding model for fine-grained semantic representation of text. In contrast to the standard practice with sentence embeddings, where the meaning of an entire sequence of text is encoded into a fixed-length vector, the sub-sentence encoder learns to produce distinct contextual embeddings corresponding to different atomic propositions, i.e. atomic units of meaning expressed within a text sequence. The sub-sentence embeddings are contrastively learned to recognize (inferred) semantic equivalence between propositions across different text sequences. Our experiments show the effectiveness of sub-sentence encoders in applications, such as retrieving supporting facts for fine-grained text attribution or recognizing the conditional semantic similarity between texts. In practice, we demonstrate that sub-sentence encoders keep the same level of inference cost and space complexity compared to sentence encoders.
• Abstract（参考訳）: テキストの細粒度意味表現のためのコンテクスト埋め込みモデルであるsub-sentence encoderを提案する。 テキスト列全体の意味を固定長ベクトルに符号化する文埋め込みの標準的な慣習とは対照的に、サブセンスエンコーダは、異なる原子命題、すなわちテキスト列内で表現される意味の原子単位に対応する異なる文脈的埋め込みを生成することを学ぶ。 サブ文埋め込みは、異なるテキストシーケンス間で命題間の意味的同値(推論)を認識することを対照的に学習する。 本実験は,テキストの微粒化に対するサポート事実の検索や,テキスト間の条件付き意味的類似性認識などの応用におけるサブ文エンコーダの有効性を示す。 実際、サブセンテンスエンコーダは文エンコーダと同じレベルの推論コストと空間複雑性を維持できることを実証する。

関連論文リスト

• RankCSE: Unsupervised Sentence Representations Learning via Learning to Rank [54.854714257687334]
  本稿では,教師なし文表現学習のための新しい手法であるRangCSEを提案する。 コントラスト学習を伴うランキング一貫性とランキング蒸留を統一された枠組みに組み込む。 セマンティックテキスト類似性(STS)と転送タスク(TR)の両方について、広範な実験が実施されている。
  論文  参考訳（メタデータ） (2023-05-26T08:27:07Z)
• Bridging Continuous and Discrete Spaces: Interpretable Sentence Representation Learning via Compositional Operations [80.45474362071236]
  文の合成意味論が埋め込み空間における構成操作として直接反映できるかどうかは不明である。 文埋め込み学習のためのエンドツーエンドフレームワークであるInterSentを提案する。
  論文  参考訳（メタデータ） (2023-05-24T00:44:49Z)
• Textual Entailment Recognition with Semantic Features from Empirical Text Representation [60.31047947815282]
  テキストが仮説を包含するのは、仮説の真の価値がテキストに従う場合に限る。 本稿では,テキストと仮説のテキストの包含関係を同定する新しい手法を提案する。 本手法では,テキスト・ハイブリッド・ペア間の意味的含意関係を識別できる要素ワイド・マンハッタン距離ベクトルベースの特徴を用いる。
  論文  参考訳（メタデータ） (2022-10-18T10:03:51Z)
• Towards Structure-aware Paraphrase Identification with Phrase Alignment Using Sentence Encoders [4.254099382808598]
  本稿では,文エンコーダとアライメント成分の組合せとして,各文を述語-代名詞の一覧として表現することを提案する。 実験結果から,アライメント成分は様々な文エンコーダの性能向上と解釈可能性の向上をもたらすことがわかった。
  論文  参考訳（メタデータ） (2022-10-11T09:52:52Z)
• A Sentence is Worth 128 Pseudo Tokens: A Semantic-Aware Contrastive Learning Framework for Sentence Embeddings [28.046786376565123]
  Pseudo-Token BERT (PT-BERT) と呼ばれる文埋め込みのための意味認識型コントラスト学習フレームワークを提案する。 文長や構文などの表面的特徴の影響を排除しつつ、文の擬似トーケン空間(潜在意味空間)表現を利用する。 我々のモデルは6つの標準的な意味的テキスト類似性(STS)タスクにおける最先端のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2022-03-11T12:29:22Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• Sequence-to-Sequence Contrastive Learning for Text Recognition [29.576864819760498]
  本稿では,視覚表現のシーケンス間コントラスト学習(seqclr)のためのフレームワークを提案する。 手書きテキストとシーンテキストの実験では,学習した表現に基づいてテキストデコーダを訓練すると,非逐次コントラスト法よりも優れることを示す。
  論文  参考訳（メタデータ） (2020-12-20T09:07:41Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。