論文の概要: Contextualized Semantic Distance between Highly Overlapped Texts
- arxiv url: http://arxiv.org/abs/2110.01176v3
- Date: Tue, 13 Jun 2023 16:46:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-14 19:02:58.472981
- Title: Contextualized Semantic Distance between Highly Overlapped Texts
- Title（参考訳）: 重なり合うテキスト間の文脈的意味距離
- Authors: Letian Peng, Zuchao Li and Hai Zhao
- Abstract要約: テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。
本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。
本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。
セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
- 参考スコア（独自算出の注目度）: 85.1541170468617
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Overlapping frequently occurs in paired texts in natural language processing
tasks like text editing and semantic similarity evaluation. Better evaluation
of the semantic distance between the overlapped sentences benefits the language
system's understanding and guides the generation. Since conventional semantic
metrics are based on word representations, they are vulnerable to the
disturbance of overlapped components with similar representations. This paper
aims to address the issue with a mask-and-predict strategy. We take the words
in the longest common sequence (LCS) as neighboring words and use masked
language modeling (MLM) from pre-trained language models (PLMs) to predict the
distributions on their positions. Our metric, Neighboring Distribution
Divergence (NDD), represent the semantic distance by calculating the divergence
between distributions in the overlapped parts. Experiments on Semantic Textual
Similarity show NDD to be more sensitive to various semantic differences,
especially on highly overlapped paired texts. Based on the discovery, we
further implement an unsupervised and training-free method for text
compression, leading to a significant improvement on the previous
perplexity-based method. The high scalability of our method even enables NDD to
outperform the supervised state-of-the-art in domain adaption by a huge margin.
Further experiments on syntax and semantics analyses verify the awareness of
internal sentence structures, indicating the high potential of NDD for further
studies.
- Abstract（参考訳）: テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。
重複した文間の意味的距離のより良い評価は、言語システムの理解と生成のガイドに役立つ。
従来の意味的メトリクスは単語表現に基づいているため、同様の表現を持つ重複したコンポーネントの乱れに対して脆弱である。
本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。
本研究では,隣接する単語として最長共通列 (LCS) の単語を扱い,事前学習言語モデル (PLM) からマスク付き言語モデリング (MLM) を用いて,それらの位置の分布を予測する。
我々の計量であるNDD(Neighboring Distribution Divergence)は、重なり合う部分の分布間のばらつきを計算することによって意味距離を表す。
セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
この発見に基づき,テキスト圧縮のための教師なし,訓練不要の手法を更に実装し,従来のパープレキシティに基づく方法を大幅に改善した。
我々の手法のスケーラビリティが高いため、NDDはドメイン適応における教師付き状態よりも大きなマージンで優れている。
構文解析および意味解析に関するさらなる実験は、内部文構造の認識を検証し、さらなる研究のためのNDDの可能性を示す。
関連論文リスト
- Evaluating Semantic Variation in Text-to-Image Synthesis: A Causal Perspective [50.261681681643076]
本稿では,SemVarEffectとSemVarBenchというベンチマークを用いて,テキスト・画像合成における入力のセマンティックな変化と出力の因果性を評価する。
本研究は,T2I合成コミュニティによるヒューマンインストラクション理解の探索を促進する効果的な評価枠組みを確立する。
論文 参考訳（メタデータ） (2024-10-14T08:45:35Z) - Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。
これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。
提案手法は他の最先端アルゴリズムに対して好適に機能する。
論文 参考訳（メタデータ） (2024-05-15T00:17:48Z) - Pixel Sentence Representation Learning [67.4775296225521]
本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。
タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。
我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
論文 参考訳（メタデータ） (2024-02-13T02:46:45Z) - Topic-DPR: Topic-based Prompts for Dense Passage Retrieval [6.265789210037749]
トピックベースのプロンプトを用いた高密度経路探索モデルであるTopic-DPRを提案する。
本稿では, 半構造化データを利用して高密度検索効率を向上させる, 新規な正負サンプリング手法を提案する。
論文 参考訳（メタデータ） (2023-10-10T13:45:24Z) - Retrofitting Multilingual Sentence Embeddings with Abstract Meaning
Representation [70.58243648754507]
抽象的意味表現(AMR)を用いた既存の多言語文の埋め込みを改善する新しい手法を提案する。
原文入力と比較すると、AMRは文の中核概念と関係を明確かつ曖昧に表す構造的意味表現である。
実験結果から,多言語文をAMRで埋め込むと,意味的類似性と伝達タスクの両方において,最先端の性能が向上することがわかった。
論文 参考訳（メタデータ） (2022-10-18T11:37:36Z) - Lexical semantics enhanced neural word embeddings [4.040491121427623]
階層的適合は、IS-A階層に本質的に格納されている意味的類似性ニュアンスをモデル化するための新しいアプローチである。
その結果、後期核融合における意味的関係を持つ神経埋め込みを専門とする階層化の有効性が示された。
論文 参考訳（メタデータ） (2022-10-03T08:10:23Z) - Unsupervised Mismatch Localization in Cross-Modal Sequential Data [5.932046800902776]
我々は、コンテンツミスマッチしたクロスモーダルデータ間の関係を推測できる教師なし学習アルゴリズムを開発した。
本稿では,音声生成過程を階層的に構造化された潜在変数に分解する,ミスマッチ局所化変分自動符号化(ML-VAE)という階層型ベイズディープラーニングモデルを提案する。
実験の結果,ML-VAEは人間のアノテーションを必要とせず,テキストと音声のミスマッチの特定に成功した。
論文 参考訳（メタデータ） (2022-05-05T14:23:27Z) - Perturbing Inputs for Fragile Interpretations in Deep Natural Language
Processing [18.91129968022831]
解釈可能性の手法は、医療や金融などの高い分野における信頼できるNLPアプリケーションにとって堅牢である必要がある。
本稿では,入力テキスト上で単純な単語摂動を行うことで,解釈がどのように操作できるかを示す。
論文 参考訳（メタデータ） (2021-08-11T02:07:21Z) - EDS-MEMBED: Multi-sense embeddings based on enhanced distributional
semantic structures via a graph walk over word senses [0.0]
WordNetの豊富なセマンティック構造を活用して、マルチセンス埋め込みの品質を高めます。
M-SEの新たな分布意味類似度測定法を先行して導出する。
WSDとWordの類似度タスクを含む11のベンチマークデータセットの評価結果を報告します。
論文 参考訳（メタデータ） (2021-02-27T14:36:55Z) - Towards Accurate Scene Text Recognition with Semantic Reasoning Networks [52.86058031919856]
本稿では,シーンテキスト認識のための意味推論ネットワーク(SRN)という,エンドツーエンドのトレーニング可能な新しいフレームワークを提案する。
GSRMはマルチウェイ並列伝送によってグローバルセマンティックコンテキストをキャプチャするために導入された。
正規テキスト,不規則テキスト,非ラテン語長文を含む7つの公開ベンチマークの結果,提案手法の有効性とロバスト性を検証した。
論文 参考訳（メタデータ） (2020-03-27T09:19:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。