論文の概要: C-STS: Conditional Semantic Textual Similarity

• arxiv url: http://arxiv.org/abs/2305.15093v2
• Date: Mon, 6 Nov 2023 18:48:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 22:28:47.350303
• Title: C-STS: Conditional Semantic Textual Similarity
• Title（参考訳）: C-STS: 条件付きセマンティックテキストの類似性
• Authors: Ameet Deshpande, Carlos E. Jimenez, Howard Chen, Vishvak Murahari, Victoria Graf, Tanmay Rajpurohit, Ashwin Kalyan, Danqi Chen, Karthik Narasimhan
• Abstract要約: 条件STS(Conditional STS)と呼ばれる新しいタスクを提案する。 自然言語で記述された特徴(ヒョン, コンディション)に基づく文の類似度を測定する。 C-STSの利点は2つある:それはSTSの主観性と曖昧さを減らし、多様な自然言語条件を通して、きめ細かい言語モデルの評価を可能にする。
• 参考スコア（独自算出の注目度）: 70.09137422955506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semantic textual similarity (STS), a cornerstone task in NLP, measures the degree of similarity between a pair of sentences, and has broad application in fields such as information retrieval and natural language understanding. However, sentence similarity can be inherently ambiguous, depending on the specific aspect of interest. We resolve this ambiguity by proposing a novel task called Conditional STS (C-STS) which measures sentences' similarity conditioned on an feature described in natural language (hereon, condition). As an example, the similarity between the sentences "The NBA player shoots a three-pointer." and "A man throws a tennis ball into the air to serve." is higher for the condition "The motion of the ball" (both upward) and lower for "The size of the ball" (one large and one small). C-STS's advantages are two-fold: (1) it reduces the subjectivity and ambiguity of STS and (2) enables fine-grained language model evaluation through diverse natural language conditions. We put several state-of-the-art models to the test, and even those performing well on STS (e.g. SimCSE, Flan-T5, and GPT-4) find C-STS challenging; all with Spearman correlation scores below 50. To encourage a more comprehensive evaluation of semantic similarity and natural language understanding, we make nearly 19K C-STS examples and code available for others to train and test their models.
• Abstract（参考訳）: nlpの基本的なタスクであるsemantic textual similarity(sts)は、一対の文間の類似度を測定し、情報検索や自然言語理解といった分野で広く応用されている。 しかし、文の類似性は、興味の特定の側面によって本質的に曖昧である。 本研究では,自然言語で記述された特徴(ヘリオ,コンディション)に基づいて文の類似度を測定する条件STS(Conditional STS)と呼ばれる新しいタスクを提案することで,この曖昧さを解決する。 例えば、「NBAプレーヤーが3点を放つ」という文と「男がテニスボールを空中に投げてサービスする」という文の類似性は、「ボールの動き」(上下の両方)と「ボールの大きさ」(大小1つ)の条件よりも高い。 C-STSの利点は2つある: 1) STSの主観性とあいまいさを低減し、(2) 多様な自然言語条件によるきめ細かい言語モデルの評価を可能にする。 テストにいくつかの最先端モデルを導入し、STS(SimCSE、Flan-T5、GPT-4など)でうまく機能している人でさえ、C-STSが困難であることが分かりました。 セマンティック類似性と自然言語理解のより包括的な評価を促進するため、私たちは19K近いC-STSサンプルとコードを他の人に提供し、モデルをトレーニングし、テストします。

関連論文リスト

• Advancing Semantic Textual Similarity Modeling: A Regression Framework with Translated ReLU and Smooth K2 Loss [3.435381469869212]
  本稿では、革新的な回帰フレームワークを提案し、2つの単純かつ効果的な損失関数、Translated ReLUとSmooth K2 Lossを提案する。 本手法は,7つのSTSベンチマーク,特にタスク固有のトレーニングデータを補足した場合に,説得力のある性能を実現する。
  論文  参考訳（メタデータ） (2024-06-08T02:52:43Z)
• Linguistically Conditioned Semantic Textual Similarity [6.049872961766425]
  我々は、C-STS検証セットを再注釈し、元のラベルのアノテーションエラーによるインスタンスの55%でアノテーションの不一致を観察する。 80%以上のF1スコアでCSTSデータからアノテーションエラーを識別できる自動エラー識別パイプラインを提案する。 そこで本研究では,C-STSデータのベースライン上の性能を大幅に改善する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T01:23:45Z)
• StoryAnalogy: Deriving Story-level Analogies from Large Language Models to Unlock Analogical Understanding [72.38872974837462]
  大規模ストーリーレベルの類似語コーパスを構築することにより,類似語を識別・生成する能力を評価する。 textscStory Analogyには、さまざまなドメインから24Kストーリーペアが含まれており、拡張された構造マッピング理論の2つの類似点に人間のアノテーションがある。 我々は、textscStory Analogyのデータは、大言語モデルにおけるアナログ生成の品質を向上させることができることを観察した。
  論文  参考訳（メタデータ） (2023-10-19T16:29:23Z)
• Semantic similarity prediction is better than other semantic similarity measures [5.176134438571082]
  意味的類似度を測ることのみに関心がある場合、そのようなタスクのために微調整されたモデルを用いて、その類似度を直接予測する方がよいと論じる。 GLUEベンチマークから得られたセマンティックテキスト類似性ベンチマークタスク(STS-B)の微調整モデルを用いて、STSScoreアプローチを定義し、その結果の類似性は他の手法よりも堅牢なセマンティック類似性尺度に対する期待に合致していることを示す。
  論文  参考訳（メタデータ） (2023-09-22T08:11:01Z)
• Collective Human Opinions in Semantic Textual Similarity [36.780812651679376]
  USTSは、15,000の中国語文対と15万のラベルを持つ最初の不確実性対応STSデータセットである。 現状のSTSモデルでは,個々のインスタンスに対する人的不一致に起因する分散を捉えることはできない。
  論文  参考訳（メタデータ） (2023-08-08T08:00:52Z)
• Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
  このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。 これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T16:24:01Z)
• Identifying Ambiguous Similarity Conditions via Semantic Matching [49.06931755266372]
  Weakly Supervised Conditional similarity Learning (WS-CSL)を紹介する。 WS-CSLは、"can fly"のような明示的な条件ラベルなしでセマンティック条件にマッチする複数の埋め込みを学習する 本研究では, インスタンスインスタンスと三重項条件の関係を「分解・融合」方式で特徴付ける, 距離誘起セマンティック・コンディション検証ネットワーク (DiscoverNet) を提案する。
  論文  参考訳（メタデータ） (2022-04-08T13:15:55Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
  本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。 我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
  論文  参考訳（メタデータ） (2020-04-07T01:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。