論文の概要: Structural-Aware Sentence Similarity with Recursive Optimal Transport
- arxiv url: http://arxiv.org/abs/2002.00745v1
- Date: Tue, 28 Jan 2020 09:07:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-06 01:57:33.550546
- Title: Structural-Aware Sentence Similarity with Recursive Optimal Transport
- Title（参考訳）: 再帰的最適輸送による構造認識文の類似性
- Authors: Zihao Wang, Yong Zhang, Hao Wu
- Abstract要約: 本研究では,単語ベクトルの重み付き平均と最適移動のコサイン類似性から有意義な意味的洞察を得た文に対する再帰的最適類似性(ROTS)を開発する。
20文のテキスト類似性(STS)データセットに対する実験は、弱い教師付きアプローチに対するROTSの明確な優位性を示している。
- 参考スコア（独自算出の注目度）: 11.052550499042646
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Measuring sentence similarity is a classic topic in natural language
processing. Light-weighted similarities are still of particular practical
significance even when deep learning models have succeeded in many other tasks.
Some light-weighted similarities with more theoretical insights have been
demonstrated to be even stronger than supervised deep learning approaches.
However, the successful light-weighted models such as Word Mover's Distance
[Kusner et al., 2015] or Smooth Inverse Frequency [Arora et al., 2017] failed
to detect the difference from the structure of sentences, i.e. order of words.
To address this issue, we present Recursive Optimal Transport (ROT) framework
to incorporate the structural information with the classic OT. Moreover, we
further develop Recursive Optimal Similarity (ROTS) for sentences with the
valuable semantic insights from the connections between cosine similarity of
weighted average of word vectors and optimal transport. ROTS is
structural-aware and with low time complexity compared to optimal transport.
Our experiments over 20 sentence textural similarity (STS) datasets show the
clear advantage of ROTS over all weakly supervised approaches. Detailed
ablation study demonstrate the effectiveness of ROT and the semantic insights.
- Abstract（参考訳）: 文類似度の測定は自然言語処理における古典的なトピックである。
軽量な類似性は、たとえディープラーニングモデルが他の多くのタスクで成功したとしても、特に実用的な意味を持つ。
より理論的な洞察を持つ軽量な類似性は、教師付きディープラーニングアプローチよりも強いことが示されている。
しかし、Word Mover's Distance (Kusner et al., 2015) や Smooth Inverse Frequency (Arora et al., 2017) のような軽量モデルの成功は、文の構造、すなわち単語の順序との違いを検出することができなかった。
この問題に対処するために、構造情報を従来のOTに組み込むための再帰的最適輸送(ROT)フレームワークを提案する。
さらに,単語ベクトルの重み付け平均のコサイン類似度と最適伝達の関係から,意味的洞察の価値のある文に対する再帰的最適類似度(rots)を開発する。
ROTSは構造を意識しており、最適な輸送に比べて低時間で複雑である。
20文のテキスト類似性(STS)データセットに対する実験は、弱い教師付きアプローチに対するROTSの明確な優位性を示している。
詳細なアブレーション研究は、ROTの有効性と意味的な洞察を示す。
関連論文リスト
- GSSF: Generalized Structural Sparse Function for Deep Cross-modal Metric Learning [51.677086019209554]
ペアワイド類似性学習のためのモダリティ間の強力な関係を捕捉する汎用構造スパースを提案する。
距離メートル法は、対角線とブロック対角線の2つの形式を微妙にカプセル化する。
クロスモーダルと2つの余分なユニモーダル検索タスクの実験は、その優位性と柔軟性を検証した。
論文 参考訳（メタデータ） (2024-10-20T03:45:50Z) - Predicting Text Preference Via Structured Comparative Reasoning [110.49560164568791]
我々は、構造化中間比較を生成することによって、テキストの嗜好を予測するプロンプト方式であるSCを導入する。
我々は、テキスト間の差異を明確に区別するためのペアワイズ整合コンパレータと一貫した比較を選択する。
要約,検索,自動評価など多種多様なNLPタスクに対する総合的な評価は,SCがテキスト優先予測における最先端性能を達成するためにLLMを装備していることを示す。
論文 参考訳（メタデータ） (2023-11-14T18:51:38Z) - Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。
RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
論文 参考訳（メタデータ） (2022-12-17T05:25:17Z) - Unsupervised Sentence Textual Similarity with Compositional Phrase
Semantics [8.729329792251578]
テキスト類似度の測定(STS)は、多くのダウンストリームNLPアプリケーションに適用可能な古典的なタスクである。
本稿では、様々な領域で動作するが、最小限のデータと計算資源しか必要としない教師なしSTSに焦点を当てる。
論文 参考訳（メタデータ） (2022-10-05T14:14:04Z) - Unbalanced CO-Optimal Transport [16.9451175221198]
Co-Optimal Transport (COOT)は、特徴間のアライメントを推論することで、この比較をさらに進める。
実世界のデータに一様に表される外れ値に敏感であることを示す。
これにより、ノイズに対するロバスト性を確実に示す不均衡なCOOTを提案することができる。
論文 参考訳（メタデータ） (2022-05-30T08:43:19Z) - HiURE: Hierarchical Exemplar Contrastive Learning for Unsupervised
Relation Extraction [60.80849503639896]
非教師なし関係抽出は、関係範囲や分布に関する事前情報のない自然言語文からエンティティ間の関係を抽出することを目的としている。
本稿では,階層間注目を用いた階層的特徴空間から階層的信号を導出する機能を持つ,HiUREという新しいコントラスト学習フレームワークを提案する。
2つの公開データセットの実験結果は、最先端モデルと比較した場合の教師なし関係抽出におけるHiUREの有効性とロバスト性を示す。
論文 参考訳（メタデータ） (2022-05-04T17:56:48Z) - Attributable Visual Similarity Learning [90.69718495533144]
本稿では、画像間のより正確で説明可能な類似度測定のための帰属的視覚類似度学習(AVSL)フレームワークを提案する。
人間の意味的類似性認知に動機づけられた2つの画像とグラフとの類似性を表現するために,一般化された類似性学習パラダイムを提案する。
CUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、既存の深い類似性学習方法よりも大幅に改善されたことを示している。
論文 参考訳（メタデータ） (2022-03-28T17:35:31Z) - Toward Interpretable Semantic Textual Similarity via Optimal
Transport-based Contrastive Sentence Learning [29.462788855992617]
文間距離を輸送問題に基づく文脈化トークン距離の重み付け和として記述する。
次に、RCMDと呼ばれる最適輸送に基づく距離測定を行い、意味的に整合したトークンペアを特定し、活用する。
最後に,文ペアのRCMDを最適化するコントラスト学習フレームワークであるCLRCMDを提案する。
論文 参考訳（メタデータ） (2022-02-26T17:28:02Z) - A Comparative Study on Structural and Semantic Properties of Sentence
Embeddings [77.34726150561087]
本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。
異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。
これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
論文 参考訳（メタデータ） (2020-09-23T15:45:32Z) - Geometric Dataset Distances via Optimal Transport [15.153110906331733]
本稿では, (i) モデルに依存しない, (ii) トレーニングを伴わない, (iii) ラベル集合が完全に不連結であり, (iv) 理論的な足場が固い場合でも, データセットを比較できる,という,データセット間の距離の代替概念を提案する。
この距離は最適な輸送に依存しており、リッチな幾何学的認識、解釈可能な対応およびよく理解された性質を提供する。
以上の結果から,この新たな距離は,データセットの有意義な比較を提供し,様々な実験環境やデータセット間での伝達学習困難度と相関関係があることが示唆された。
論文 参考訳（メタデータ） (2020-02-07T17:51:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。