論文の概要: Investigating the Contextualised Word Embedding Dimensions Responsible for Contextual and Temporal Semantic Changes
- arxiv url: http://arxiv.org/abs/2407.02820v1
- Date: Wed, 3 Jul 2024 05:42:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 15:35:05.835948
- Title: Investigating the Contextualised Word Embedding Dimensions Responsible for Contextual and Temporal Semantic Changes
- Title（参考訳）: 文脈的・時間的意味変化に責任のある文脈的単語埋め込み次元の検討
- Authors: Taichi Aida, Danushka Bollegala,
- Abstract要約: どのようにして変化が埋め込み空間にエンコードされるのかは、まだ不明である。
セマンティックチェンジベンチマークにおいて、事前訓練されたCWEとそれらの微調整されたバージョンを比較した。
以上の結果から, (a) 事前学習したCWE空間における単語の意味変化の原因となる軸は少ないが, 微調整された場合, 全次元に分散することがわかった。
- 参考スコア（独自算出の注目度）: 30.563130208194977
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Words change their meaning over time as well as in different contexts. The sense-aware contextualised word embeddings (SCWEs) such as the ones produced by XL-LEXEME by fine-tuning masked langauge models (MLMs) on Word-in-Context (WiC) data attempt to encode such semantic changes of words within the contextualised word embedding (CWE) spaces. Despite the superior performance of SCWEs in contextual/temporal semantic change detection (SCD) benchmarks, it remains unclear as to how the meaning changes are encoded in the embedding space. To study this, we compare pre-trained CWEs and their fine-tuned versions on contextual and temporal semantic change benchmarks under Principal Component Analysis (PCA) and Independent Component Analysis (ICA) transformations. Our experimental results reveal several novel insights such as (a) although there exist a smaller number of axes that are responsible for semantic changes of words in the pre-trained CWE space, this information gets distributed across all dimensions when fine-tuned, and (b) in contrast to prior work studying the geometry of CWEs, we find that PCA to better represent semantic changes than ICA. Source code is available at https://github.com/LivNLP/svp-dims .
- Abstract（参考訳）: 言葉は時間とともに意味を変え、異なる文脈で意味を変える。
XL-LEXEME(英語版)が、Word-in-Context(英語版)(WiC)データ上で、微調整されたマスク付きランガモデル(英語版)(MLM)によって生成した単語の文脈的変化を文脈的単語埋め込み(英語版)(CWE)空間内にエンコードしようとするような文脈的単語埋め込み(SCWE)である。
文脈的・時間的意味変化検出(SCD)ベンチマークにおけるSCWEの優れた性能にもかかわらず、どのようにして変化が埋め込み空間にエンコードされるかは定かではない。
そこで本研究では,主成分分析(PCA)および独立成分分析(ICA)変換に基づく文脈的・時間的意味変化ベンチマークにおいて,事前学習したCWEとその微調整バージョンを比較した。
実験結果からいくつかの新たな知見が得られた。
(a)事前学習したCWE空間における単語の意味変化の原因となる軸は少ないが、微調整された場合、この情報は全次元にわたって分散される。
b) CWEの幾何に関する先行研究とは対照的に,PCAはICAよりも意味的変化をよりよく表現できることがわかった。
ソースコードはhttps://github.com/LivNLP/svp-dimsで入手できる。
関連論文リスト
- Evaluating Semantic Variation in Text-to-Image Synthesis: A Causal Perspective [50.261681681643076]
本稿では,SemVarEffectとSemVarBenchというベンチマークを用いて,テキスト・画像合成における入力のセマンティックな変化と出力の因果性を評価する。
本研究は,T2I合成コミュニティによるヒューマンインストラクション理解の探索を促進する効果的な評価枠組みを確立する。
論文 参考訳（メタデータ） (2024-10-14T08:45:35Z) - A Systematic Comparison of Contextualized Word Embeddings for Lexical
Semantic Change [0.696194614504832]
我々は、勾配変化検出(GCD)のための最先端モデルとアプローチを評価する。
我々はLCC問題をWord-in-Context(WiC)タスクとWord Sense Injection(WSI)タスクに分解し、これらの異なるレベルのモデルと比較する。
i) APDはGCDの他のアプローチよりも優れており、 (ii) XL-LEXEMEはGPT-4と同等でありながら、WiC、WSI、GCDの他の文脈モデルよりも優れています。
論文 参考訳（メタデータ） (2024-02-19T10:04:59Z) - Unsupervised Semantic Variation Prediction using the Distribution of
Sibling Embeddings [17.803726860514193]
単語の意味的変化の検出は,様々なNLPアプリケーションにおいて重要な課題である。
意味表現だけではそのような意味的バリエーションを正確に捉えることはできないと我々は主張する。
対象単語の文脈的埋め込みのコホート全体を利用する手法を提案する。
論文 参考訳（メタデータ） (2023-05-15T13:58:21Z) - Retrofitting Multilingual Sentence Embeddings with Abstract Meaning
Representation [70.58243648754507]
抽象的意味表現(AMR)を用いた既存の多言語文の埋め込みを改善する新しい手法を提案する。
原文入力と比較すると、AMRは文の中核概念と関係を明確かつ曖昧に表す構造的意味表現である。
実験結果から,多言語文をAMRで埋め込むと,意味的類似性と伝達タスクの両方において,最先端の性能が向上することがわかった。
論文 参考訳（メタデータ） (2022-10-18T11:37:36Z) - Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。
本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。
本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。
セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
論文 参考訳（メタデータ） (2021-10-04T03:59:15Z) - Meta-Learning with Variational Semantic Memory for Word Sense
Disambiguation [56.830395467247016]
メタ学習環境におけるWSDのセマンティックメモリモデルを提案する。
我々のモデルは階層的変動推論に基づいており、ハイパーネットワークを介して適応的なメモリ更新ルールを組み込んでいる。
極めて少ないシナリオでの効果的な学習を支援するために,本モデルがWSDで最先端の技術を数ショットで実現していることを示す。
論文 参考訳（メタデータ） (2021-06-05T20:40:01Z) - EDS-MEMBED: Multi-sense embeddings based on enhanced distributional
semantic structures via a graph walk over word senses [0.0]
WordNetの豊富なセマンティック構造を活用して、マルチセンス埋め込みの品質を高めます。
M-SEの新たな分布意味類似度測定法を先行して導出する。
WSDとWordの類似度タスクを含む11のベンチマークデータセットの評価結果を報告します。
論文 参考訳（メタデータ） (2021-02-27T14:36:55Z) - Fake it Till You Make it: Self-Supervised Semantic Shifts for
Monolingual Word Embedding Tasks [58.87961226278285]
語彙意味変化をモデル化するための自己教師付きアプローチを提案する。
本手法は,任意のアライメント法を用いて意味変化の検出に利用できることを示す。
3つの異なるデータセットに対する実験結果を用いて,本手法の有用性について述べる。
論文 参考訳（メタデータ） (2021-01-30T18:59:43Z) - Unsupervised Distillation of Syntactic Information from Contextualized
Word Representations [62.230491683411536]
我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。
この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。
我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
論文 参考訳（メタデータ） (2020-10-11T15:13:18Z) - Text classification with word embedding regularization and soft
similarity measure [0.20999222360659603]
2つの単語埋め込み正規化技術は、ストレージとメモリコストを削減し、トレーニング速度、文書処理速度、タスクパフォーマンスを改善する。
正規化単語埋め込みによる平均$k$NNテスト誤差の39%を非正規化単語埋め込みと比較した。
また,正規化単語埋め込みを用いたSCMはテキスト分類においてWMDを著しく上回り,1万倍以上高速であることを示す。
論文 参考訳（メタデータ） (2020-03-10T22:07:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。