論文の概要: A Systematic Comparison of Contextualized Word Embeddings for Lexical Semantic Change

• arxiv url: http://arxiv.org/abs/2402.12011v3
• Date: Fri, 8 Mar 2024 14:50:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-11 22:35:40.280937
• Title: A Systematic Comparison of Contextualized Word Embeddings for Lexical Semantic Change
• Title（参考訳）: 語彙意味変化のための文脈付き単語埋め込みの体系的比較
• Authors: Francesco Periti, Nina Tahmasebi
• Abstract要約: 我々は、勾配変化検出(GCD)のための最先端モデルとアプローチを評価する。 我々はLCC問題をWord-in-Context(WiC)タスクとWord Sense Injection(WSI)タスクに分解し、これらの異なるレベルのモデルと比較する。 i) APDはGCDの他のアプローチよりも優れており、 (ii) XL-LEXEMEはGPT-4と同等でありながら、WiC、WSI、GCDの他の文脈モデルよりも優れています。
• 参考スコア（独自算出の注目度）: 0.696194614504832
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contextualized embeddings are the preferred tool for modeling Lexical Semantic Change (LSC). Current evaluations typically focus on a specific task known as Graded Change Detection (GCD). However, performance comparison across work are often misleading due to their reliance on diverse settings. In this paper, we evaluate state-of-the-art models and approaches for GCD under equal conditions. We further break the LSC problem into Word-in-Context (WiC) and Word Sense Induction (WSI) tasks, and compare models across these different levels. Our evaluation is performed across different languages on eight available benchmarks for LSC, and shows that (i) APD outperforms other approaches for GCD; (ii) XL-LEXEME outperforms other contextualized models for WiC, WSI, and GCD, while being comparable to GPT-4; (iii) there is a clear need for improving the modeling of word meanings, as well as focus on how, when, and why these meanings change, rather than solely focusing on the extent of semantic change.
• Abstract（参考訳）: 文脈的埋め込みは、Lexical Semantic Change (LSC) をモデリングするための好ましいツールである。 現在の評価は通常、グレード・チェンジ検出(GCD)と呼ばれる特定のタスクに焦点を当てている。 しかしながら、作業間のパフォーマンス比較は、さまざまな設定に依存するため、しばしば誤解を招く。 本稿では,同じ条件下でGCDの最先端モデルとアプローチを評価する。 さらに、LCC問題をWord-in-Context(WiC)とWord Sense Injection(WSI)タスクに分解し、これらの異なるレベルのモデルと比較する。 LSCのための8つのベンチマークで、異なる言語で評価を行い、その結果を示した。 (i)PDはGCDの他のアプローチより優れている。 (ii)XL-LEXEMEは、GPT-4と同等でありながら、WiC、WSI、GCDの他の文脈モデルよりも優れている。 (iii)意味変化の程度にのみ焦点をあてるのではなく、単語の意味のモデリングを改善し、どのように、いつ、そしてなぜその意味が変わるかに焦点を合わせる必要がある。

関連論文リスト

• Investigating the Contextualised Word Embedding Dimensions Responsible for Contextual and Temporal Semantic Changes [30.563130208194977]
  どのようにして変化が埋め込み空間にエンコードされるのかは、まだ不明である。 セマンティックチェンジベンチマークにおいて、事前訓練されたCWEとそれらの微調整されたバージョンを比較した。 以上の結果から, (a) 事前学習したCWE空間における単語の意味変化の原因となる軸は少ないが, 微調整された場合, 全次元に分散することがわかった。
  論文  参考訳（メタデータ） (2024-07-03T05:42:20Z)
• The LSCD Benchmark: a Testbed for Diachronic Word Meaning Tasks [3.8042401909826964]
  Lexical Semantic Change Detection (LSCD) は複雑な補題レベルのタスクである。 このリポジトリは、WiC、WSI、LSCDのモデル評価を可能にすることで、タスクのモジュラリティを反映している。
  論文  参考訳（メタデータ） (2024-03-29T22:11:54Z)
• Textual Knowledge Matters: Cross-Modality Co-Teaching for Generalized Visual Class Discovery [69.91441987063307]
  Generalized Category Discovery (GCD)は、既知のカテゴリと未知のカテゴリの両方からラベルのないデータをクラスタすることを目的としている。 現在のGCD法は、新しい視覚カテゴリーを発見する際に、人間の認知過程の多様性知覚性を無視する視覚的手がかりのみに依存している。 マルチモーダルなGCDを実現するための2段階のTextGCDフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-12T07:06:50Z)
• Align, Perturb and Decouple: Toward Better Leverage of Difference Information for RSI Change Detection [24.249552791014644]
  変化検出は、リモートセンシング画像(RSI)解析において広く採用されている手法である。 そこで我々は,アライメント,摂動,デカップリングといった差分情報を完全に活用するための一連の操作を提案する。
  論文  参考訳（メタデータ） (2023-05-30T03:39:53Z)
• The Better Your Syntax, the Better Your Semantics? Probing Pretrained Language Models for the English Comparative Correlative [7.03497683558609]
  Construction Grammar (CxG) は、文法と意味論の関連性を強調する認知言語学のパラダイムである。 我々は、最もよく研究されている構成のうちの1つ、英語比較相関(CC)を分類し、理解する能力について調査する。 以上の結果から,PLMは3つともCCの構造を認識することができるが,その意味は用いていないことが明らかとなった。
  論文  参考訳（メタデータ） (2022-10-24T13:01:24Z)
• Word Sense Induction with Hierarchical Clustering and Mutual Information Maximization [14.997937028599255]
  単語知覚誘導は自然言語処理において難しい問題である。 階層的クラスタリングと不変情報クラスタリングに基づく新しい教師なし手法を提案する。 我々は、ある場合において、我々のアプローチが先行したWSIの最先端手法よりも優れていることを実証的に実証した。
  論文  参考訳（メタデータ） (2022-10-11T13:04:06Z)
• ContraCLM: Contrastive Learning For Causal Language Model [54.828635613501376]
  トークンレベルとシーケンスレベルの両方において,新しいコントラスト学習フレームワークであるContraCLMを提案する。 ContraCLMは表現の識別を強化し、エンコーダのみのモデルとのギャップを埋めることを示す。
  論文  参考訳（メタデータ） (2022-10-03T18:56:35Z)
• Always Keep your Target in Mind: Studying Semantics and Improving Performance of Neural Lexical Substitution [124.99894592871385]
  本稿では,従来の言語モデルと最近の言語モデルの両方を用いた語彙置換手法の大規模比較研究を行う。 目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによるすでに競合する結果がさらに大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2022-06-07T16:16:19Z)
• Fake it Till You Make it: Self-Supervised Semantic Shifts for Monolingual Word Embedding Tasks [58.87961226278285]
  語彙意味変化をモデル化するための自己教師付きアプローチを提案する。 本手法は,任意のアライメント法を用いて意味変化の検出に利用できることを示す。 3つの異なるデータセットに対する実験結果を用いて,本手法の有用性について述べる。
  論文  参考訳（メタデータ） (2021-01-30T18:59:43Z)
• XL-WiC: A Multilingual Benchmark for Evaluating Semantic Contextualization [98.61159823343036]
  単語の意味を正確にモデル化する能力を評価するために,Word-in-Context データセット (WiC) を提案する。 我々は、XL-WiCという大規模なマルチ言語ベンチマークを提案し、12の新しい言語でゴールドスタンダードを特徴付けました。 実験結果から、ターゲット言語にタグ付けされたインスタンスが存在しない場合でも、英語データのみにトレーニングされたモデルは、競争力のあるパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2020-10-13T15:32:00Z)
• A Comparative Study of Lexical Substitution Approaches based on Neural Language Models [117.96628873753123]
  本稿では,一般的なニューラル言語とマスキング言語モデルの大規模比較研究について述べる。 目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによって達成された既に競合する結果をさらに改善できることを示す。
  論文  参考訳（メタデータ） (2020-05-29T18:43:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。