論文の概要: Towards Structure-aware Paraphrase Identification with Phrase Alignment Using Sentence Encoders

• arxiv url: http://arxiv.org/abs/2210.05302v1
• Date: Tue, 11 Oct 2022 09:52:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 15:46:28.785445
• Title: Towards Structure-aware Paraphrase Identification with Phrase Alignment Using Sentence Encoders
• Title（参考訳）: 文エンコーダを用いたフレーズアライメントを用いた構造対応パラフレーズ同定
• Authors: Qiwei Peng, David Weir, Julie Weeds
• Abstract要約: 本稿では,文エンコーダとアライメント成分の組合せとして,各文を述語-代名詞の一覧として表現することを提案する。 実験結果から,アライメント成分は様々な文エンコーダの性能向上と解釈可能性の向上をもたらすことがわかった。
• 参考スコア（独自算出の注目度）: 4.254099382808598
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Previous works have demonstrated the effectiveness of utilising pre-trained sentence encoders based on their sentence representations for meaning comparison tasks. Though such representations are shown to capture hidden syntax structures, the direct similarity comparison between them exhibits weak sensitivity to word order and structural differences in given sentences. A single similarity score further makes the comparison process hard to interpret. Therefore, we here propose to combine sentence encoders with an alignment component by representing each sentence as a list of predicate-argument spans (where their span representations are derived from sentence encoders), and decomposing the sentence-level meaning comparison into the alignment between their spans for paraphrase identification tasks. Empirical results show that the alignment component brings in both improved performance and interpretability for various sentence encoders. After closer investigation, the proposed approach indicates increased sensitivity to structural difference and enhanced ability to distinguish non-paraphrases with high lexical overlap.
• Abstract（参考訳）: 先行研究は,文表現に基づく事前学習文エンコーダを用いた意味比較タスクの有効性を実証している。 このような表現は、隠された構文構造を捉えることが示されるが、それら間の直接的類似性比較は、単語順に対する弱い感度と与えられた文の構造的差異を示す。 単一の類似度スコアは、比較プロセスをさらに解釈しにくくする。 そこで本稿では,文エンコーダと文エンコーダを組み合わせて,各文を述語代名詞の一覧として表現し(文エンコーダからスパン表現を導出する),文レベルの意味比較をパラフレーズ識別タスクのアライメントに分解することを提案する。 実験結果から,アライメント成分は様々な文エンコーダの性能向上と解釈可能性の向上をもたらすことがわかった。 より綿密な調査の後, 提案手法は構造的差異に対する感受性の向上と, 語彙重複度の高い非フレーズの識別能力の向上を示唆した。

関連論文リスト

• Predicting Text Preference Via Structured Comparative Reasoning [110.49560164568791]
  我々は、構造化中間比較を生成することによって、テキストの嗜好を予測するプロンプト方式であるSCを導入する。 我々は、テキスト間の差異を明確に区別するためのペアワイズ整合コンパレータと一貫した比較を選択する。 要約,検索,自動評価など多種多様なNLPタスクに対する総合的な評価は,SCがテキスト優先予測における最先端性能を達成するためにLLMを装備していることを示す。
  論文  参考訳（メタデータ） (2023-11-14T18:51:38Z)
• Sub-Sentence Encoder: Contrastive Learning of Propositional Semantic Representations [102.05351905494277]
  サブ文エンコーダ(Sub-sentence encoder)は、テキストの微細な意味表現のためのコンテクスト埋め込みモデルである。 文エンコーダと比較して,サブ文エンコーダは推論コストと空間複雑さのレベルが同じであることを示す。
  論文  参考訳（メタデータ） (2023-11-07T20:38:30Z)
• RankCSE: Unsupervised Sentence Representations Learning via Learning to Rank [54.854714257687334]
  本稿では,教師なし文表現学習のための新しい手法であるRangCSEを提案する。 コントラスト学習を伴うランキング一貫性とランキング蒸留を統一された枠組みに組み込む。 セマンティックテキスト類似性(STS)と転送タスク(TR)の両方について、広範な実験が実施されている。
  論文  参考訳（メタデータ） (2023-05-26T08:27:07Z)
• Bridging Continuous and Discrete Spaces: Interpretable Sentence Representation Learning via Compositional Operations [80.45474362071236]
  文の合成意味論が埋め込み空間における構成操作として直接反映できるかどうかは不明である。 文埋め込み学習のためのエンドツーエンドフレームワークであるInterSentを提案する。
  論文  参考訳（メタデータ） (2023-05-24T00:44:49Z)
• Representation biases in sentence transformers [1.2129015549576372]
  我々は,SOTA文変換器が強い名目参加型バイアスを有することを示す。 文のペア間のCのコサイン類似性は、名詞の参加者の集合の重なりによってより強く決定される。
  論文  参考訳（メタデータ） (2023-01-30T16:35:23Z)
• A Sentence is Worth 128 Pseudo Tokens: A Semantic-Aware Contrastive Learning Framework for Sentence Embeddings [28.046786376565123]
  Pseudo-Token BERT (PT-BERT) と呼ばれる文埋め込みのための意味認識型コントラスト学習フレームワークを提案する。 文長や構文などの表面的特徴の影響を排除しつつ、文の擬似トーケン空間(潜在意味空間)表現を利用する。 我々のモデルは6つの標準的な意味的テキスト類似性(STS)タスクにおける最先端のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2022-03-11T12:29:22Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• A Self-supervised Representation Learning of Sentence Structure for Authorship Attribution [3.5991811164452923]
  文の構造表現を学習するための自己教師型フレームワークを提案する。 本研究では,異なる探索タスクを用いて文の構造的表現を学習し,著者帰属タスクに活用する。
  論文  参考訳（メタデータ） (2020-10-14T02:57:10Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。