論文の概要: Bridging Continuous and Discrete Spaces: Interpretable Sentence Representation Learning via Compositional Operations

• arxiv url: http://arxiv.org/abs/2305.14599v2
• Date: Sun, 5 Nov 2023 06:03:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 22:43:47.640927
• Title: Bridging Continuous and Discrete Spaces: Interpretable Sentence Representation Learning via Compositional Operations
• Title（参考訳）: 連続空間と離散空間の橋渡し:合成操作による解釈可能な文表現学習
• Authors: James Y. Huang, Wenlin Yao, Kaiqiang Song, Hongming Zhang, Muhao Chen, Dong Yu
• Abstract要約: 文の合成意味論が埋め込み空間における構成操作として直接反映できるかどうかは不明である。 文埋め込み学習のためのエンドツーエンドフレームワークであるInterSentを提案する。
• 参考スコア（独自算出の注目度）: 80.45474362071236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional sentence embedding models encode sentences into vector representations to capture useful properties such as the semantic similarity between sentences. However, in addition to similarity, sentence semantics can also be interpreted via compositional operations such as sentence fusion or difference. It is unclear whether the compositional semantics of sentences can be directly reflected as compositional operations in the embedding space. To more effectively bridge the continuous embedding and discrete text spaces, we explore the plausibility of incorporating various compositional properties into the sentence embedding space that allows us to interpret embedding transformations as compositional sentence operations. We propose InterSent, an end-to-end framework for learning interpretable sentence embeddings that supports compositional sentence operations in the embedding space. Our method optimizes operator networks and a bottleneck encoder-decoder model to produce meaningful and interpretable sentence embeddings. Experimental results demonstrate that our method significantly improves the interpretability of sentence embeddings on four textual generation tasks over existing approaches while maintaining strong performance on traditional semantic similarity tasks.
• Abstract（参考訳）: 従来の文埋め込みモデルは、文をベクトル表現にエンコードし、文間の意味的類似性などの有用な特性をキャプチャする。 しかし、類似性に加えて、文のセマンティクスは文の融合や差分といった構成操作によっても解釈できる。 文の合成意味論が埋め込み空間における構成操作として直接反映できるかどうかは不明である。 連続的な埋め込みや離散的なテキスト空間をより効果的に橋渡しするために、文埋め込み空間に様々な構成特性を組み込むことにより、組込み変換を合成文操作として解釈できる可能性を探る。 埋め込み空間における合成文操作をサポートする解釈可能な文埋め込みを学習するためのエンドツーエンドフレームワークであるInterSentを提案する。 演算子ネットワークとボトルネックエンコーダデコーダモデルを最適化し,意味のある文の埋め込みを生成する。 実験の結果,従来の意味的類似性タスクに対して強い性能を維持しつつ,既存の手法よりも4つのテキスト生成タスクにおける文埋め込みの解釈性が大幅に向上した。

関連論文リスト

• Sub-Sentence Encoder: Contrastive Learning of Propositional Semantic Representations [102.05351905494277]
  サブ文エンコーダ(Sub-sentence encoder)は、テキストの微細な意味表現のためのコンテクスト埋め込みモデルである。 文エンコーダと比較して,サブ文エンコーダは推論コストと空間複雑さのレベルが同じであることを示す。
  論文  参考訳（メタデータ） (2023-11-07T20:38:30Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• Subspace Representations for Soft Set Operations and Sentence Similarities [17.52824249186434]
  我々は,事前学習した単語埋め込み空間内の単語集合の表現とそれに対応する集合演算を実現する。 線形部分空間にアプローチを基礎付けることにより、様々な集合演算の効率的な計算が可能となる。 部分空間ベースの集合演算は、文類似性および集合検索タスクにおいて、ベクトルベースの演算よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-24T08:34:10Z)
• Towards Structure-aware Paraphrase Identification with Phrase Alignment Using Sentence Encoders [4.254099382808598]
  本稿では,文エンコーダとアライメント成分の組合せとして,各文を述語-代名詞の一覧として表現することを提案する。 実験結果から,アライメント成分は様々な文エンコーダの性能向上と解釈可能性の向上をもたらすことがわかった。
  論文  参考訳（メタデータ） (2022-10-11T09:52:52Z)
• A Sentence is Worth 128 Pseudo Tokens: A Semantic-Aware Contrastive Learning Framework for Sentence Embeddings [28.046786376565123]
  Pseudo-Token BERT (PT-BERT) と呼ばれる文埋め込みのための意味認識型コントラスト学習フレームワークを提案する。 文長や構文などの表面的特徴の影響を排除しつつ、文の擬似トーケン空間(潜在意味空間)表現を利用する。 我々のモデルは6つの標準的な意味的テキスト類似性(STS)タスクにおける最先端のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2022-03-11T12:29:22Z)
• Clustering and Network Analysis for the Embedding Spaces of Sentences and Sub-Sentences [69.3939291118954]
  本稿では,文とサブ文の埋め込みを対象とする包括的クラスタリングとネットワーク解析について検討する。 その結果,1つの手法が最もクラスタリング可能な埋め込みを生成することがわかった。 一般に、スパン部分文の埋め込みは、原文よりもクラスタリング特性が優れている。
  論文  参考訳（メタデータ） (2021-10-02T00:47:35Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。