論文の概要: LANE: Lexical Adversarial Negative Examples for Word Sense Disambiguation
- arxiv url: http://arxiv.org/abs/2511.11234v1
- Date: Fri, 14 Nov 2025 12:37:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-17 22:42:18.586272
- Title: LANE: Lexical Adversarial Negative Examples for Word Sense Disambiguation
- Title(参考訳): LANE:単語センスの曖昧さに対する語彙対立否定例
- Authors: Jader Martins Camboim de Sá, Jooyoung Lee, Cédric Pruski, Marcos Da Silveira,
- Abstract要約: きめ細かい単語の意味論は、ニューラルネットワークモデルにとって依然として重要な課題である。
本稿では,この制限に対処するため,LANEと呼ばれる新たな対人訓練戦略を提案する。
- 参考スコア(独自算出の注目度): 3.506940838682547
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Fine-grained word meaning resolution remains a critical challenge for neural language models (NLMs) as they often overfit to global sentence representations, failing to capture local semantic details. We propose a novel adversarial training strategy, called LANE, to address this limitation by deliberately shifting the model's learning focus to the target word. This method generates challenging negative training examples through the selective marking of alternate words in the training set. The goal is to force the model to create a greater separability between same sentences with different marked words. Experimental results on lexical semantic change detection and word sense disambiguation benchmarks demonstrate that our approach yields more discriminative word representations, improving performance over standard contrastive learning baselines. We further provide qualitative analyses showing that the proposed negatives lead to representations that better capture subtle meaning differences even in challenging environments. Our method is model-agnostic and can be integrated into existing representation learning frameworks.
- Abstract(参考訳): 粒度の細かい単語の意味解決は、局所的な意味的詳細を捉えないグローバルな文表現にしばしば適合するため、ニューラルネットワークモデル(NLM)にとって依然として重要な課題である。
本稿では,学習対象語に学習対象を意図的にシフトさせることにより,この制限に対処する,LANEと呼ばれる新たな対人訓練戦略を提案する。
この方法は、トレーニングセット内の代替語の選択的マーキングにより、挑戦的な負のトレーニング例を生成する。
目標は、モデルを強制的に、異なるマークされた単語を持つ同じ文間のより大きな分離性を作り出すことである。
語彙的意味変化の検出と単語感覚の曖昧さのベンチマークによる実験結果から,本手法によりより識別的な単語表現が得られ,標準的なコントラスト学習ベースラインよりも性能が向上することが示された。
さらに, 提案した否定が, 挑戦環境においても, 微妙な意味の相違をよりよく捉えた表現につながることを示す定性的な分析を行った。
提案手法はモデルに依存しないため,既存の表現学習フレームワークに統合することができる。
関連論文リスト
- Enhancing Coreference Resolution with Pretrained Language Models: Bridging the Gap Between Syntax and Semantics [0.9752323911408618]
そこで本研究では,事前学習型言語モデルを用いて,コア参照解決の強化を目的とした,革新的なフレームワークを提案する。
本手法では,構文解析と意味的役割ラベリングを組み合わせることで,参照関係におけるより微細な特徴を正確に把握する。
論文 参考訳(メタデータ) (2025-04-08T09:33:09Z) - Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。
CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。
本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
論文 参考訳(メタデータ) (2024-11-01T01:51:31Z) - Mitigating Semantic Leakage in Cross-lingual Embeddings via Orthogonality Constraint [10.747248747425957]
現在の不整合表現学習法はセマンティックリークに悩まされている。
我々は,新しい学習目標orthogonAlity Constraint LEarning(ORACLE)を提案する。
ORACLEはクラス内のクラスタリングとクラス間の分離という2つのコンポーネントの上に構築されている。
ORACLE目標を用いたトレーニングは,意味的漏洩を効果的に低減し,埋め込み空間内の意味的アライメントを高めることを実証する。
論文 参考訳(メタデータ) (2024-09-24T02:01:52Z) - Pixel Sentence Representation Learning [67.4775296225521]
本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。
タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。
我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
論文 参考訳(メタデータ) (2024-02-13T02:46:45Z) - DenoSent: A Denoising Objective for Self-Supervised Sentence
Representation Learning [59.4644086610381]
本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。
離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。
我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
論文 参考訳(メタデータ) (2024-01-24T17:48:45Z) - Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning [57.74233319453229]
大規模言語モデル(LLM)は画期的な技術として登場し、それらの非並列テキスト生成能力は、基本的な文表現学習タスクへの関心を喚起している。
コーパスを生成するためにLLMの処理を分解するマルチレベルコントラスト文表現学習フレームワークであるMultiCSRを提案する。
実験の結果,MultiCSRはより高度なLCMをChatGPTの性能を超えつつ,ChatGPTに適用することで最先端の成果を得られることがわかった。
論文 参考訳(メタデータ) (2023-10-17T03:21:43Z) - Towards preserving word order importance through Forced Invalidation [80.33036864442182]
事前学習された言語モデルは単語の順序に敏感であることを示す。
我々は,単語順序の重要性を維持するために強制的無効化を提案する。
実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
論文 参考訳(メタデータ) (2023-04-11T13:42:10Z) - Sentence Representation Learning with Generative Objective rather than
Contrastive Objective [86.01683892956144]
句再構成に基づく新たな自己教師型学習目標を提案する。
我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
論文 参考訳(メタデータ) (2022-10-16T07:47:46Z) - CLINE: Contrastive Learning with Semantic Negative Examples for Natural
Language Understanding [35.003401250150034]
本稿では,事前学習した言語モデルの堅牢性を改善するために,セマントIc負例を用いたコントラスト学習を提案する。
CLINEは、意味論的敵対攻撃下での堅牢性を改善するために、教師なしの意味論的ネガティブな例を構築している。
実験結果から,本手法は感情分析,推論,読解作業において大幅な改善をもたらすことが示された。
論文 参考訳(メタデータ) (2021-07-01T13:34:12Z) - VCDM: Leveraging Variational Bi-encoding and Deep Contextualized Word
Representations for Improved Definition Modeling [24.775371434410328]
定義モデリングの課題は、単語やフレーズの定義を学習することである。
このタスクの既存のアプローチは差別的であり、直接的ではなく暗黙的に分布的意味論と語彙的意味論を組み合わせたものである。
本稿では、文脈内で使われるフレーズとその定義の基盤となる関係を明示的にモデル化するために、連続潜時変数を導入したタスク生成モデルを提案する。
論文 参考訳(メタデータ) (2020-10-07T02:48:44Z) - Analysing Lexical Semantic Change with Contextualised Word
Representations [7.071298726856781]
本稿では,BERTニューラルネットワークモデルを用いて単語使用率の表現を求める手法を提案する。
我々は新しい評価データセットを作成し、モデル表現と検出された意味変化が人間の判断と正に相関していることを示す。
論文 参考訳(メタデータ) (2020-04-29T12:18:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。