論文の概要: CSTS: Conditional Semantic Textual Similarity

• arxiv url: http://arxiv.org/abs/2305.15093v1
• Date: Wed, 24 May 2023 12:18:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 15:58:52.311229
• Title: CSTS: Conditional Semantic Textual Similarity
• Title（参考訳）: CSTS: 条件付きセマンティックテキストの類似性
• Authors: Ameet Deshpande, Carlos E. Jimenez, Howard Chen, Vishvak Murahari, Victoria Graf, Tanmay Rajpurohit, Ashwin Kalyan, Danqi Chen, Karthik Narasimhan
• Abstract要約: 条件STS(C-STS)は、自然言語(heon, condition)で解明されたアスペクトで条件付けられた類似度を測定する C-STSには、さまざまなドメインから約20,000のインスタンスが含まれており、いくつかの最先端モデルを評価する。 我々はコミュニティに対して,C-STSでのモデル評価を奨励し,セマンティックな類似性と自然言語理解のより包括的な視点を提供する。
• 参考スコア（独自算出の注目度）: 32.18239431735642
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semantic textual similarity (STS) has been a cornerstone task in NLP that measures the degree of similarity between a pair of sentences, with applications in information retrieval, question answering, and embedding methods. However, it is an inherently ambiguous task, with the sentence similarity depending on the specific aspect of interest. We resolve this ambiguity by proposing a novel task called conditional STS (C-STS) which measures similarity conditioned on an aspect elucidated in natural language (hereon, condition). As an example, the similarity between the sentences "The NBA player shoots a three-pointer." and "A man throws a tennis ball into the air to serve." is higher for the condition "The motion of the ball." (both upward) and lower for "The size of the ball." (one large and one small). C-STS's advantages are two-fold: (1) it reduces the subjectivity and ambiguity of STS, and (2) enables fine-grained similarity evaluation using diverse conditions. C-STS contains almost 20,000 instances from diverse domains and we evaluate several state-of-the-art models to demonstrate that even the most performant fine-tuning and in-context learning models (GPT-4, Flan, SimCSE) find it challenging, with Spearman correlation scores of <50. We encourage the community to evaluate their models on C-STS to provide a more holistic view of semantic similarity and natural language understanding.
• Abstract（参考訳）: セマンティックテキスト類似性(STS)は、情報検索、質問応答、埋め込み方法など、一対の文間の類似度を測定するNLPにおける基礎的なタスクである。 しかし、本質的にあいまいな作業であり、文の類似性は興味のある特定の側面に依存する。 この曖昧性は、自然言語(ヘリオ, コンディション)で解明されたアスペクトで条件付けられた類似度を測定する条件STS(C-STS)と呼ばれる新しいタスクを提案することで解決する。 例えば、「nbaプレーヤーが3つポイントを放つ」と「男がテニスボールを空中に投げてサーブする」という文の類似性は、「ボールの動き」(上向きとも)と「ボールの大きさ」(大小と小小)の条件の方が高い。 C-STSの利点は2つある: 1) STSの主観性と曖昧さを低減し、(2) 多様な条件を用いた微粒な類似性評価を可能にする。 C-STSには様々なドメインから約20,000のインスタンスが含まれており、最も高性能な微調整および文脈内学習モデル(GPT-4, Flan, SimCSE)でさえ、Spearman相関スコアが50。 我々はコミュニティに対して,C-STSでのモデル評価を奨励し,セマンティックな類似性と自然言語理解のより包括的な視点を提供する。

関連論文リスト

• Unsupervised Sentence Textual Similarity with Compositional Phrase Semantics [8.729329792251578]
  テキスト類似度の測定(STS)は、多くのダウンストリームNLPアプリケーションに適用可能な古典的なタスクである。 本稿では、様々な領域で動作するが、最小限のデータと計算資源しか必要としない教師なしSTSに焦点を当てる。
  論文  参考訳（メタデータ） (2022-10-05T14:14:04Z)
• SBERT studies Meaning Representations: Decomposing Sentence Embeddings into Explainable AMR Meaning Features [22.8438857884398]
  非常に効果的な類似度メトリクスを作成しながら、評価の解釈可能な根拠を提供します。 まず、キーセマンティック・ファセットに対する文の類似性を測るAMRグラフメトリクスを選択します。 第二に、これらのメトリクスを用いてセマンティックな構造化文BERT埋め込みを誘導する。
  論文  参考訳（メタデータ） (2022-06-14T17:37:18Z)
• Identifying Ambiguous Similarity Conditions via Semantic Matching [49.06931755266372]
  Weakly Supervised Conditional similarity Learning (WS-CSL)を紹介する。 WS-CSLは、"can fly"のような明示的な条件ラベルなしでセマンティック条件にマッチする複数の埋め込みを学習する 本研究では, インスタンスインスタンスと三重項条件の関係を「分解・融合」方式で特徴付ける, 距離誘起セマンティック・コンディション検証ネットワーク (DiscoverNet) を提案する。
  論文  参考訳（メタデータ） (2022-04-08T13:15:55Z)
• Attributable Visual Similarity Learning [90.69718495533144]
  本稿では、画像間のより正確で説明可能な類似度測定のための帰属的視覚類似度学習(AVSL)フレームワークを提案する。 人間の意味的類似性認知に動機づけられた2つの画像とグラフとの類似性を表現するために,一般化された類似性学習パラダイムを提案する。 CUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、既存の深い類似性学習方法よりも大幅に改善されたことを示している。
  論文  参考訳（メタデータ） (2022-03-28T17:35:31Z)
• Comparison and Combination of Sentence Embeddings Derived from Different Supervision Signals [20.853681115929422]
  自然言語推論(NLI)データセットと単語辞書からの定義文を用いて得られた2種類の文埋め込みに着目した。 2つの視点で分割したSTSデータを用いて,その性能を意味的テキスト類似性(STS)タスクと比較した。 また、これらの2種類の埋め込みを組み合わせることで、教師なしSTSタスクや下流タスクのそれぞれのモデルよりも大幅にパフォーマンスが向上することを示した。
  論文  参考訳（メタデータ） (2022-02-07T08:15:48Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• Few-shot Visual Reasoning with Meta-analogical Contrastive Learning [141.2562447971]
  本稿では,類似推論に頼って,数ショット(または低ショット)の視覚推論問題を解くことを提案する。 両領域の要素間の構造的関係を抽出し、類似学習と可能な限り類似するように強制する。 RAVENデータセット上での本手法の有効性を検証し, トレーニングデータが少ない場合, 最先端の手法より優れることを示す。
  論文  参考訳（メタデータ） (2020-07-23T14:00:34Z)
• Reevaluating Adversarial Examples in Natural Language [20.14869834829091]
  我々は2つの最先端の同義語代用攻撃の出力を分析した。 それらの摂動はしばしば意味論を保存せず、38%が文法的誤りを導入している。 セマンティクスと文法性を改善するために制約が調整されたことにより、攻撃の成功率は70パーセント以上低下する。
  論文  参考訳（メタデータ） (2020-04-25T03:09:48Z)
• CASE: Context-Aware Semantic Expansion [68.30244980290742]
  本稿では,CASE(Context-Aware Semantic Expansion)と呼ばれる新しいタスクを定義し,検討する。 セマンティックな文脈でシード項が与えられた場合、その文脈に適した他の用語をシードとして提案することを目指している。 このタスクのアノテーションは,既存のコーパスから完全に自動で,大規模に抽出可能であることを示す。
  論文  参考訳（メタデータ） (2019-12-31T06:38:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。