論文の概要: Enhancing Negation Awareness in Universal Text Embeddings: A Data-efficient and Computational-efficient Approach
- arxiv url: http://arxiv.org/abs/2504.00584v1
- Date: Tue, 01 Apr 2025 09:39:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-03 15:43:09.019766
- Title: Enhancing Negation Awareness in Universal Text Embeddings: A Data-efficient and Computational-efficient Approach
- Title（参考訳）: ユニバーサルテキスト埋め込みにおける否定認識の促進:データ効率と計算効率のアプローチ
- Authors: Hongliu Cao,
- Abstract要約: 否定は自然言語推論や知覚分析といった自然言語処理タスクにおいて重要な役割を果たしている。
近年のユニバーサルテキスト埋め込みの進歩は、様々なタスクにおけるコンテキストテキスト埋め込みよりも優れた性能を示している。
一般的な評価ベンチマークのバイアスのため、これらのモデルの否定意識能力は依然として不明である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Negation plays an important role in various natural language processing tasks such as Natural Language Inference and Sentiment Analysis tasks. Numerous prior studies have found that contextual text embedding models such as BERT, ELMO, RoBERTa or XLNet face challenges in accurately understanding negation. Recent advancements in universal text embeddings have demonstrated superior performance over contextual text embeddings in various tasks. However, due to the bias in popular evaluation benchmarks, the negation awareness capacity of these models remains unclear. To bridge the gap in existing literature, an in-depth analysis is initiated in this work to study the negation awareness of cutting-edge universal text embedding models. Our findings reveal a significant lack of negation awareness in these models, often interpreting negated text pairs as semantically similar. To efficiently deal with the conflict that different tasks need different trade-offs between topic and negation information among other semantic information, a data-efficient and computational-efficient embedding re-weighting method is proposed without modifying the parameters of text embedding models. The proposed solution is able to improve text embedding models' negation awareness significantly on both simple negation understanding task and complex negation understanding task. Furthermore, the proposed solution can also significantly improve the negation awareness of Large Language Model based task-specific high dimensional universal text embeddings.
- Abstract（参考訳）: 否定は自然言語推論や知覚分析といった自然言語処理タスクにおいて重要な役割を果たしている。
多くの先行研究により、BERT、ELMO、RoBERTa、XLNetといったコンテキストテキスト埋め込みモデルは、否定を正確に理解する上で困難に直面している。
近年のユニバーサルテキスト埋め込みの進歩は、様々なタスクにおけるコンテキストテキスト埋め込みよりも優れた性能を示している。
しかし、一般的な評価ベンチマークのバイアスのため、これらのモデルの否定意識能力はいまだに不明である。
本研究は,既存の文献のギャップを埋めるため,最先端のユニバーサルテキスト埋め込みモデルの否定的認識を研究するために,詳細な分析を開始した。
これらのモデルでは否定的認識が著しく欠如しており、しばしば否定的テキストペアを意味論的に類似していると解釈する。
テキスト埋め込みモデルのパラメータを変更することなく,データ効率と計算効率のよい埋め込み再重み付け手法を提案する。
提案手法は,単純な否定理解タスクと複雑な否定理解タスクの両方において,テキスト埋め込みモデルの否定認識を大幅に改善することができる。
さらに,提案手法は,大規模言語モデルに基づくタスク固有高次元テキスト埋め込みの否定的認識を著しく改善する。
関連論文リスト
- Enhancing Coreference Resolution with Pretrained Language Models: Bridging the Gap Between Syntax and Semantics [0.9752323911408618]
そこで本研究では,事前学習型言語モデルを用いて,コア参照解決の強化を目的とした,革新的なフレームワークを提案する。
本手法では,構文解析と意味的役割ラベリングを組み合わせることで,参照関係におけるより微細な特徴を正確に把握する。
論文 参考訳（メタデータ） (2025-04-08T09:33:09Z) - Revisiting subword tokenization: A case study on affixal negation in large language models [57.75279238091522]
現代英語大言語モデル(LLM)に対する接尾辞否定の影響を計測する。
我々は、異なるサブワードトークン化手法を用いてLLMを用いて実験を行う。
モデルは全体として、接尾辞の意味を確実に認識できることを示す。
論文 参考訳（メタデータ） (2024-04-03T03:14:27Z) - Generating Enhanced Negatives for Training Language-Based Object Detectors [86.1914216335631]
我々は、現代の生成モデルに組み込まれた膨大な知識を活用して、元のデータにより関連性のある負を自動で構築することを提案する。
具体的には、大言語モデルを用いて、負のテキスト記述を生成するとともに、テキスト間拡散モデルを用いて、対応する負の画像を生成する。
実験により, 生成した負データとの関連性を確認し, 言語ベースの検出器での使用により, 2つの複雑なベンチマークの性能が向上した。
論文 参考訳（メタデータ） (2023-12-29T23:04:00Z) - How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。
その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。
多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
論文 参考訳（メタデータ） (2023-11-14T08:51:00Z) - Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning [57.74233319453229]
大規模言語モデル(LLM)は画期的な技術として登場し、それらの非並列テキスト生成能力は、基本的な文表現学習タスクへの関心を喚起している。
コーパスを生成するためにLLMの処理を分解するマルチレベルコントラスト文表現学習フレームワークであるMultiCSRを提案する。
実験の結果,MultiCSRはより高度なLCMをChatGPTの性能を超えつつ,ChatGPTに適用することで最先端の成果を得られることがわかった。
論文 参考訳（メタデータ） (2023-10-17T03:21:43Z) - Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics
Interface of LMs Through Agentivity [68.8204255655161]
このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。
これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
論文 参考訳（メタデータ） (2023-05-29T16:24:01Z) - Towards preserving word order importance through Forced Invalidation [80.33036864442182]
事前学習された言語モデルは単語の順序に敏感であることを示す。
我々は,単語順序の重要性を維持するために強制的無効化を提案する。
実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
論文 参考訳（メタデータ） (2023-04-11T13:42:10Z) - Multi-resolution Interpretation and Diagnostics Tool for Natural
Language Classifiers [0.0]
本稿では,意味論的に相互に関連のある単語のセグメントやクラスタによって,よりフレキシブルなモデル説明可能性要約を作成することを目的とする。
さらに,NLPモデルの根本原因分析手法を提案し,各セグメントのFalse PositiveとFalse Negativeを解析した。
論文 参考訳（メタデータ） (2023-03-06T22:59:02Z) - SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers [61.48159785138462]
本稿では,ニューラルネットワークに基づくアプローチ(SUN)における本質的な不確かさを探索することにより,テキストから依存への変換性能を向上させることを目的とする。
5つのベンチマークデータセットの大規模な実験により、我々の手法は競合より大幅に優れ、新しい最先端の結果が得られた。
論文 参考訳（メタデータ） (2022-09-14T06:27:51Z) - Improving negation detection with negation-focused pre-training [58.32362243122714]
否定は共通の言語的特徴であり、多くの言語理解タスクにおいて不可欠である。
最近の研究で、最先端のNLPモデルは否定を含むサンプルで性能が低いことが示されている。
本稿では,データ拡張と否定マスキングを対象とする,否定に焦点をあてた新たな事前学習戦略を提案する。
論文 参考訳（メタデータ） (2022-05-09T02:41:11Z) - The Factual Inconsistency Problem in Abstractive Text Summarization: A
Survey [25.59111855107199]
Seq2Seqフレームワークによって開発されたニューラルエンコーダデコーダモデルは、より抽象的な要約を生成するという目標を達成するために提案されている。
高いレベルでは、そのようなニューラルネットワークは、使用される単語やフレーズに制約を加えることなく、自由に要約を生成することができる。
しかし、神経モデルの抽象化能力は二重刃の剣である。
論文 参考訳（メタデータ） (2021-04-30T08:46:13Z) - Lexically-constrained Text Generation through Commonsense Knowledge
Extraction and Injection [62.071938098215085]
我々は、ある入力概念のセットに対して妥当な文を生成することを目的としているcommongenベンチマークに焦点を当てる。
生成したテキストの意味的正しさを高めるための戦略を提案する。
論文 参考訳（メタデータ） (2020-12-19T23:23:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。