論文の概要: Learning Robust Negation Text Representations
- arxiv url: http://arxiv.org/abs/2507.12782v1
- Date: Thu, 17 Jul 2025 04:48:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-18 20:10:24.343793
- Title: Learning Robust Negation Text Representations
- Title（参考訳）: ロバスト否定テキスト表現の学習
- Authors: Thinh Hung Truong, Karin Verspoor, Trevor Cohn, Timothy Baldwin,
- Abstract要約: 本稿では,テキストエンコーダの否定とヘッジを多種多様なパターンを用いて改善する戦略を提案する。
我々は,一般的なベンチマーク上での競合性能を維持しつつ,否定理解能力の大幅な向上を観察する。
提案手法は LLM に適用可能であり, ネゲーションベンチマークの性能向上に寄与する。
- 参考スコア（独自算出の注目度）: 60.23044940174016
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite rapid adoption of autoregressive large language models, smaller text encoders still play an important role in text understanding tasks that require rich contextualized representations. Negation is an important semantic function that is still not properly captured by such methods, affecting many downstream applications relying on text embeddings. We propose a strategy to improve negation robustness of text encoders, by distilling data from large language models using diverse patterns of negation and hedging. We adopt a standard contrastive learning strategy to finetune a strong BERT-based model, and observe large improvement in negation understanding capabilities while maintaining competitive performance on general benchmarks. In addition, we also show that our method can be adapted to LLMs, leading to improved performance on negation benchmarks.
- Abstract（参考訳）: 自己回帰的な大規模言語モデルが急速に採用されているにもかかわらず、より小さなテキストエンコーダは、リッチな文脈化表現を必要とするテキスト理解タスクにおいて重要な役割を担っている。
ネゲーションは重要なセマンティック関数であり、そのような方法では正しく捉えられず、テキストの埋め込みに依存する多くのダウンストリームアプリケーションに影響を与える。
本研究では,テキストエンコーダの否定ロバスト性を改善するために,多種多様な否定パターンとヘッジパターンを用いて,大規模言語モデルからデータを抽出する手法を提案する。
我々は,強いBERTベースのモデルを微調整する標準的なコントラスト学習戦略を採用し,一般的なベンチマーク上での競争性能を維持しつつ,否定理解能力の大幅な向上を観察する。
さらに,本手法がLLMに適用可能であることも示し,否定ベンチマークの性能向上につながった。
関連論文リスト
- Semantic Adapter for Universal Text Embeddings: Diagnosing and Mitigating Negation Blindness to Enhance Universality [0.0]
否定は自然言語推論や知覚分析といった自然言語処理タスクにおいて重要な役割を果たしている。
近年のユニバーサルテキスト埋め込みの進歩は、様々なタスクにおけるコンテキストテキスト埋め込みよりも優れた性能を示している。
一般的な評価ベンチマークのバイアスのため、これらのモデルの否定意識能力は依然として不明である。
論文 参考訳（メタデータ） (2025-04-01T09:39:57Z) - Know "No'' Better: A Data-Driven Approach for Enhancing Negation Awareness in CLIP [38.17750132434983]
本稿では,大言語モデル(LLM)と多モーダルLLMを用いたデータ生成パイプラインを導入し,否定を包含するキャプションを生成する。
パイプラインから生成したデータを微調整したCLIPを用いて,一般性を維持しつつ否定意識を高めるNegationCLIPを開発した。
さまざまなCLIPアーキテクチャの実験は、CLIPの否定を正確に認識する能力を向上する上で、データ生成パイプラインの有効性を検証する。
論文 参考訳（メタデータ） (2025-01-19T01:17:05Z) - Towards preserving word order importance through Forced Invalidation [80.33036864442182]
事前学習された言語モデルは単語の順序に敏感であることを示す。
我々は,単語順序の重要性を維持するために強制的無効化を提案する。
実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
論文 参考訳（メタデータ） (2023-04-11T13:42:10Z) - Sentence Representation Learning with Generative Objective rather than
Contrastive Objective [86.01683892956144]
句再構成に基づく新たな自己教師型学習目標を提案する。
我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
論文 参考訳（メタデータ） (2022-10-16T07:47:46Z) - ContraCLM: Contrastive Learning For Causal Language Model [54.828635613501376]
トークンレベルとシーケンスレベルの両方において,新しいコントラスト学習フレームワークであるContraCLMを提案する。
ContraCLMは表現の識別を強化し、エンコーダのみのモデルとのギャップを埋めることを示す。
論文 参考訳（メタデータ） (2022-10-03T18:56:35Z) - Improving negation detection with negation-focused pre-training [58.32362243122714]
否定は共通の言語的特徴であり、多くの言語理解タスクにおいて不可欠である。
最近の研究で、最先端のNLPモデルは否定を含むサンプルで性能が低いことが示されている。
本稿では,データ拡張と否定マスキングを対象とする,否定に焦点をあてた新たな事前学習戦略を提案する。
論文 参考訳（メタデータ） (2022-05-09T02:41:11Z) - Contextualized Perturbation for Textual Adversarial Attack [56.370304308573274]
逆例は自然言語処理(NLP)モデルの脆弱性を明らかにする。
本稿では,フロートおよび文法的出力を生成するContextualized AdversaRial Example生成モデルであるCLAREを提案する。
論文 参考訳（メタデータ） (2020-09-16T06:53:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。