論文の概要: Relational Sentence Embedding for Flexible Semantic Matching
- arxiv url: http://arxiv.org/abs/2212.08802v2
- Date: Thu, 8 Jun 2023 12:44:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-09 20:12:06.519135
- Title: Relational Sentence Embedding for Flexible Semantic Matching
- Title(参考訳): フレキシブルセマンティックマッチングのための関係文埋め込み
- Authors: Bin Wang, Haizhou Li
- Abstract要約: 文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。
RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
- 参考スコア(独自算出の注目度): 86.21393054423355
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present Relational Sentence Embedding (RSE), a new paradigm to further
discover the potential of sentence embeddings. Prior work mainly models the
similarity between sentences based on their embedding distance. Because of the
complex semantic meanings conveyed, sentence pairs can have various relation
types, including but not limited to entailment, paraphrasing, and
question-answer. It poses challenges to existing embedding methods to capture
such relational information. We handle the problem by learning associated
relational embeddings. Specifically, a relation-wise translation operation is
applied to the source sentence to infer the corresponding target sentence with
a pre-trained Siamese-based encoder. The fine-grained relational similarity
scores can be computed from learned embeddings. We benchmark our method on 19
datasets covering a wide range of tasks, including semantic textual similarity,
transfer, and domain-specific tasks. Experimental results show that our method
is effective and flexible in modeling sentence relations and outperforms a
series of state-of-the-art sentence embedding methods.
https://github.com/BinWang28/RSE
- Abstract(参考訳): 文埋め込みの可能性を明らかにするための新たなパラダイムとしてRSE(Relational Sentence Embedding)を提案する。
先行研究は主に、その埋め込み距離に基づいて文間の類似性をモデル化する。
複雑な意味意味が伝達されるため、文対は、含意、パラフレージング、質問応答を含む様々な関係型を持つことができる。
このような関係情報をキャプチャするために、既存の埋め込み手法に挑戦する。
関連する関係埋め込みを学習することで問題に対処する。
具体的には、ソース文に関係性翻訳操作を適用して、予め訓練されたシームズベースのエンコーダで対応する対象文を推測する。
きめ細かい関係性スコアは、学習した埋め込みから計算できる。
テキストの類似性,転送,ドメイン固有のタスクなど,幅広いタスクをカバーする19のデータセットに対して,本手法をベンチマークした。
実験の結果,本手法は文関係のモデル化に有効かつ柔軟であり,最先端文埋め込み手法よりも優れていることがわかった。
https://github.com/BinWang28/RSE
関連論文リスト
- A Comparative Study of Sentence Embedding Models for Assessing Semantic
Variation [0.0]
本稿では,複数の文献において,連続する文間の意味的類似性の時系列と対の文類似性の行列を用いた最近の文埋め込み法について比較する。
文の埋め込み手法のほとんどは、ある文書において意味的類似性の高相関パターンを推定するが、興味深い相違が見られる。
論文 参考訳(メタデータ) (2023-08-08T23:31:10Z) - Bridging Continuous and Discrete Spaces: Interpretable Sentence
Representation Learning via Compositional Operations [80.45474362071236]
文の合成意味論が埋め込み空間における構成操作として直接反映できるかどうかは不明である。
文埋め込み学習のためのエンドツーエンドフレームワークであるInterSentを提案する。
論文 参考訳(メタデータ) (2023-05-24T00:44:49Z) - Sentence Representations via Gaussian Embedding [15.235687410343171]
GaussCSEは文埋め込みのための対照的な学習フレームワークである。
文間の非対称関係と、包含関係を識別するための類似度尺度を扱うことができる。
実験の結果,ガウスCSEは自然言語推論タスクにおける従来の手法と同じ性能を達成できた。
論文 参考訳(メタデータ) (2023-05-22T12:51:38Z) - Pre-trained Sentence Embeddings for Implicit Discourse Relation
Classification [26.973476248983477]
暗黙の談話関係は、より小さな言語単位を一貫性のあるテキストに結合する。
本稿では,暗黙的対話関係感覚分類のためのニューラルネットワークにおけるベース表現として,事前学習文の埋め込みの有用性について検討する。
論文 参考訳(メタデータ) (2022-10-20T04:17:03Z) - Retrofitting Multilingual Sentence Embeddings with Abstract Meaning
Representation [70.58243648754507]
抽象的意味表現(AMR)を用いた既存の多言語文の埋め込みを改善する新しい手法を提案する。
原文入力と比較すると、AMRは文の中核概念と関係を明確かつ曖昧に表す構造的意味表現である。
実験結果から,多言語文をAMRで埋め込むと,意味的類似性と伝達タスクの両方において,最先端の性能が向上することがわかった。
論文 参考訳(メタデータ) (2022-10-18T11:37:36Z) - On the Sentence Embeddings from Pre-trained Language Models [78.45172445684126]
本稿では,BERT埋め込みにおける意味情報が完全に活用されていないことを論じる。
BERTは常に文の非滑らかな異方性意味空間を誘導し,その意味的類似性を損なう。
本稿では,非教師対象で学習した正規化フローにより,異方性文の埋め込み分布を滑らかで等方性ガウス分布に変換することを提案する。
論文 参考訳(メタデータ) (2020-11-02T13:14:57Z) - A Comparative Study on Structural and Semantic Properties of Sentence
Embeddings [77.34726150561087]
本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。
異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。
これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
論文 参考訳(メタデータ) (2020-09-23T15:45:32Z) - Combining Word Embeddings and N-grams for Unsupervised Document
Summarization [2.1591018627187286]
グラフに基づく抽出文書要約は、文類似性グラフの品質に依存する。
既製のディープ埋め込み機能とtf-idf機能を採用し、新しいテキスト類似度指標を導入する。
提案手法は, tf-idf に基づく手法より優れ, DUC04 データセット上での最先端性能を実現することができる。
論文 参考訳(メタデータ) (2020-04-25T00:22:46Z) - Multiplex Word Embeddings for Selectional Preference Acquisition [70.33531759861111]
単語間の様々な関係に応じて容易に拡張できる多重単語埋め込みモデルを提案する。
本モデルでは,不必要なスパース性を導入することなく,関係の異なる単語を効果的に識別することができる。
論文 参考訳(メタデータ) (2020-01-09T04:47:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。