論文の概要: Toward Interpretable Semantic Textual Similarity via Optimal
Transport-based Contrastive Sentence Learning
- arxiv url: http://arxiv.org/abs/2202.13196v1
- Date: Sat, 26 Feb 2022 17:28:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-01 16:47:55.737133
- Title: Toward Interpretable Semantic Textual Similarity via Optimal
Transport-based Contrastive Sentence Learning
- Title（参考訳）: 最適輸送に基づくコントラスト文学習による意味的テクスチャの解釈に向けて
- Authors: Seonghyeon Lee, Dongha Lee, Seongbo Jang, Hwanjo Yu
- Abstract要約: 文間距離を輸送問題に基づく文脈化トークン距離の重み付け和として記述する。
次に、RCMDと呼ばれる最適輸送に基づく距離測定を行い、意味的に整合したトークンペアを特定し、活用する。
最後に,文ペアのRCMDを最適化するコントラスト学習フレームワークであるCLRCMDを提案する。
- 参考スコア（独自算出の注目度）: 29.462788855992617
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recently, finetuning a pretrained language model to capture the similarity
between sentence embeddings has shown the state-of-the-art performance on the
semantic textual similarity (STS) task. However, the absence of an
interpretation method for the sentence similarity makes it difficult to explain
the model output. In this work, we explicitly describe the sentence distance as
the weighted sum of contextualized token distances on the basis of a
transportation problem, and then present the optimal transport-based distance
measure, named RCMD; it identifies and leverages semantically-aligned token
pairs. In the end, we propose CLRCMD, a contrastive learning framework that
optimizes RCMD of sentence pairs, which enhances the quality of sentence
similarity and their interpretation. Extensive experiments demonstrate that our
learning framework outperforms other baselines on both STS and
interpretable-STS benchmarks, indicating that it computes effective sentence
similarity and also provides interpretation consistent with human judgement.
- Abstract（参考訳）: 近年,文埋め込みの類似性を捉えるために事前訓練された言語モデルを微調整することで,意味的テキスト類似性(STS)タスクにおける最先端のパフォーマンスが示された。
しかし、文類似性に対する解釈方法がないため、モデル出力を説明することは困難である。
本研究では, 文間距離を輸送問題に基づく文脈化トークン距離の重み付け和として明示的に記述し, そして, RCMDと呼ばれる最適輸送に基づく距離測定を行い, 意味的に整合したトークンペアを特定し, 活用する。
最後に,文ペアのRCMDを最適化するコントラスト学習フレームワークであるCLRCMDを提案する。
我々の学習フレームワークはSTSと解釈可能なSTSベンチマークの両方で他のベースラインよりも優れており、有効な文類似性を計算し、人間の判断と整合した解釈を提供することを示している。
関連論文リスト
- DenoSent: A Denoising Objective for Self-Supervised Sentence
Representation Learning [59.4644086610381]
本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。
離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。
我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
論文 参考訳（メタデータ） (2024-01-24T17:48:45Z) - Predicting Text Preference Via Structured Comparative Reasoning [110.49560164568791]
我々は、構造化中間比較を生成することによって、テキストの嗜好を予測するプロンプト方式であるSCを導入する。
我々は、テキスト間の差異を明確に区別するためのペアワイズ整合コンパレータと一貫した比較を選択する。
要約,検索,自動評価など多種多様なNLPタスクに対する総合的な評価は,SCがテキスト優先予測における最先端性能を達成するためにLLMを装備していることを示す。
論文 参考訳（メタデータ） (2023-11-14T18:51:38Z) - Bridging Continuous and Discrete Spaces: Interpretable Sentence
Representation Learning via Compositional Operations [80.45474362071236]
文の合成意味論が埋め込み空間における構成操作として直接反映できるかどうかは不明である。
文埋め込み学習のためのエンドツーエンドフレームワークであるInterSentを提案する。
論文 参考訳（メタデータ） (2023-05-24T00:44:49Z) - Sentence Representations via Gaussian Embedding [15.235687410343171]
GaussCSEは文埋め込みのための対照的な学習フレームワークである。
文間の非対称関係と、包含関係を識別するための類似度尺度を扱うことができる。
実験の結果,ガウスCSEは自然言語推論タスクにおける従来の手法と同じ性能を達成できた。
論文 参考訳（メタデータ） (2023-05-22T12:51:38Z) - Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。
RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
論文 参考訳（メタデータ） (2022-12-17T05:25:17Z) - SBERT studies Meaning Representations: Decomposing Sentence Embeddings
into Explainable AMR Meaning Features [22.8438857884398]
非常に効果的な類似度メトリクスを作成しながら、評価の解釈可能な根拠を提供します。
まず、キーセマンティック・ファセットに対する文の類似性を測るAMRグラフメトリクスを選択します。
第二に、これらのメトリクスを用いてセマンティックな構造化文BERT埋め込みを誘導する。
論文 参考訳（メタデータ） (2022-06-14T17:37:18Z) - Conditional Supervised Contrastive Learning for Fair Text Classification [59.813422435604025]
対照的な学習を通してテキスト分類のための等化オッズとして知られる公平性の概念を満たす学習公正表現について研究する。
具体的には、まず、公正性制約のある学習表現と条件付き教師付きコントラスト目的との間の関係を理論的に分析する。
論文 参考訳（メタデータ） (2022-05-23T17:38:30Z) - Comparison and Combination of Sentence Embeddings Derived from Different
Supervision Signals [20.853681115929422]
自然言語推論(NLI)データセットと単語辞書からの定義文を用いて得られた2種類の文埋め込みに着目した。
2つの視点で分割したSTSデータを用いて,その性能を意味的テキスト類似性(STS)タスクと比較した。
また、これらの2種類の埋め込みを組み合わせることで、教師なしSTSタスクや下流タスクのそれぞれのモデルよりも大幅にパフォーマンスが向上することを示した。
論文 参考訳（メタデータ） (2022-02-07T08:15:48Z) - Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。
本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。
本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。
セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
論文 参考訳（メタデータ） (2021-10-04T03:59:15Z) - Structural-Aware Sentence Similarity with Recursive Optimal Transport [11.052550499042646]
本研究では,単語ベクトルの重み付き平均と最適移動のコサイン類似性から有意義な意味的洞察を得た文に対する再帰的最適類似性(ROTS)を開発する。
20文のテキスト類似性(STS)データセットに対する実験は、弱い教師付きアプローチに対するROTSの明確な優位性を示している。
論文 参考訳（メタデータ） (2020-01-28T09:07:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。