論文の概要: Linguistically Conditioned Semantic Textual Similarity

• arxiv url: http://arxiv.org/abs/2406.03673v1
• Date: Thu, 6 Jun 2024 01:23:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 18:45:29.530770
• Title: Linguistically Conditioned Semantic Textual Similarity
• Title（参考訳）: 言語学的条件付き意味的テクスチャ類似性
• Authors: Jingxuan Tu, Keer Xu, Liulu Yue, Bingyang Ye, Kyeongmin Rim, James Pustejovsky,
• Abstract要約: 我々は、C-STS検証セットを再注釈し、元のラベルのアノテーションエラーによるインスタンスの55%でアノテーションの不一致を観察する。 80%以上のF1スコアでCSTSデータからアノテーションエラーを識別できる自動エラー識別パイプラインを提案する。 そこで本研究では,C-STSデータのベースライン上の性能を大幅に改善する手法を提案する。
• 参考スコア（独自算出の注目度）: 6.049872961766425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semantic textual similarity (STS) is a fundamental NLP task that measures the semantic similarity between a pair of sentences. In order to reduce the inherent ambiguity posed from the sentences, a recent work called Conditional STS (C-STS) has been proposed to measure the sentences' similarity conditioned on a certain aspect. Despite the popularity of C-STS, we find that the current C-STS dataset suffers from various issues that could impede proper evaluation on this task. In this paper, we reannotate the C-STS validation set and observe an annotator discrepancy on 55% of the instances resulting from the annotation errors in the original label, ill-defined conditions, and the lack of clarity in the task definition. After a thorough dataset analysis, we improve the C-STS task by leveraging the models' capability to understand the conditions under a QA task setting. With the generated answers, we present an automatic error identification pipeline that is able to identify annotation errors from the C-STS data with over 80% F1 score. We also propose a new method that largely improves the performance over baselines on the C-STS data by training the models with the answers. Finally we discuss the conditionality annotation based on the typed-feature structure (TFS) of entity types. We show in examples that the TFS is able to provide a linguistic foundation for constructing C-STS data with new conditions.
• Abstract（参考訳）: 意味的テキスト類似性(Semantic textual similarity, STS)は、一対の文間の意味的類似性を測定する基本的なNLPタスクである。 文から生じる本質的なあいまいさを軽減するため,ある側面で条件付けられた文の類似度を測定するために,条件STS (Conditional STS) と呼ばれる最近の研究が提案されている。 C-STSの人気にもかかわらず、現在のC-STSデータセットは、このタスクの適切な評価を妨げる可能性のある様々な問題に悩まされている。 本稿では、C-STS検証セットを再注釈し、元のラベルのアノテーションエラー、未定義条件、タスク定義の明確さの欠如から生じる55%のインスタンスに対してアノテータの不一致を観察する。 詳細なデータセット分析の後、モデルの性能を活用してQAタスク設定条件を理解することにより、C-STSタスクを改善する。 生成した回答から、80%以上のF1スコアでC-STSデータからアノテーションエラーを識別できる自動エラー識別パイプラインを提案する。 また,C-STSデータのベースライン上の性能を大幅に改善する新しい手法を提案する。 最後に、エンティティ型の型付き機能構造(TFS)に基づく条件付きアノテーションについて論じる。 TFS は C-STS データを新しい条件で構築するための言語基盤を提供することができることを示す。

関連論文リスト

• Fix the Tests: Augmenting LLMs to Repair Test Cases with Static Collector and Neural Reranker [9.428021853841296]
  本稿では, TROCtxsの精密かつ高精度な構築により, 旧来の検査ケースを自動的に修復する新しい手法であるSynTERを提案する。 構築されたTROCtxの増強により、幻覚は57.1%減少する。
  論文  参考訳（メタデータ） (2024-07-04T04:24:43Z)
• Towards Real-World Test-Time Adaptation: Tri-Net Self-Training with Balanced Normalization [52.03927261909813]
  既存の研究は、非I.d.データストリームと連続的なドメインシフトの下での実際のテスト時間適応を主に検討している。 我々は、最先端手法の失敗は、まず不均衡なテストデータに正規化層を無差別に適応させることによって生じると論じる。 TRIBEと呼ばれる最後のTTAモデルは、バランスの取れたバッチノーム層を持つトリネットアーキテクチャ上に構築されている。
  論文  参考訳（メタデータ） (2023-09-26T14:06:26Z)
• AnglE-optimized Text Embeddings [4.545354973721937]
  本稿では,AnglEと呼ばれる新しい角度最適化テキスト埋め込みモデルを提案する。 AnglE の中核となる考え方は、複素空間に角度最適化を導入することである。 短文STS、長文STS、ドメイン固有のSTSタスクなど、さまざまなタスクで大規模な実験が行われた。
  論文  参考訳（メタデータ） (2023-09-22T13:52:42Z)
• C-STS: Conditional Semantic Textual Similarity [70.09137422955506]
  条件STS(Conditional STS)と呼ばれる新しいタスクを提案する。 自然言語で記述された特徴(ヒョン, コンディション)に基づく文の類似度を測定する。 C-STSの利点は2つある:それはSTSの主観性と曖昧さを減らし、多様な自然言語条件を通して、きめ細かい言語モデルの評価を可能にする。
  論文  参考訳（メタデータ） (2023-05-24T12:18:50Z)
• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)
• Robust Continual Test-time Adaptation: Instance-aware BN and Prediction-balanced Memory [58.72445309519892]
  テストデータストリーム以外のデータストリームに対して堅牢な新しいテスト時間適応方式を提案する。 a)分布外サンプルの正規化を修正するIABN(Instance-Aware Batch Normalization)と、(b)クラスバランスのない方法で非i.d.ストリームからのデータストリームをシミュレートするPBRS(Predict- Balanced Reservoir Sampling)である。
  論文  参考訳（メタデータ） (2022-08-10T03:05:46Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Improving Pre-trained Language Models with Syntactic Dependency Prediction Task for Chinese Semantic Error Recognition [52.55136323341319]
  既存の中国語のテキスト誤り検出は主にスペルと単純な文法的誤りに焦点を当てている。 中国の意味的誤りは、人間が容易に認識できないほど過小評価され、複雑である。
  論文  参考訳（メタデータ） (2022-04-15T13:55:32Z)
• Task-adaptive Pre-training and Self-training are Complementary for Natural Language Understanding [27.459759446031192]
  タスク教師あり事前学習(TAPT)と自己学習(ST)は、自然言語理解を改善するための主要な半適応的アプローチとして現れている。 TAPT Fine -> Self-training (TFS) プロセスに従うことで,TAPT と ST は単純なプロトコルで補完可能であることを示す。
  論文  参考訳（メタデータ） (2021-09-14T06:24:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。