Fugu-MT 論文翻訳(概要): Investigating the Contextualised Word Embedding Dimensions Responsible for Contextual and Temporal Semantic Changes

論文の概要: Investigating the Contextualised Word Embedding Dimensions Responsible for Contextual and Temporal Semantic Changes

arxiv url: http://arxiv.org/abs/2407.02820v1
Date: Wed, 3 Jul 2024 05:42:20 GMT
ステータス: 処理完了
システム内更新日: 2024-07-04 15:35:05.835948
Title: Investigating the Contextualised Word Embedding Dimensions Responsible for Contextual and Temporal Semantic Changes
Title（参考訳）: 文脈的・時間的意味変化に責任のある文脈的単語埋め込み次元の検討
Authors: Taichi Aida, Danushka Bollegala,
Abstract要約: どのようにして変化が埋め込み空間にエンコードされるのかは、まだ不明である。セマンティックチェンジベンチマークにおいて、事前訓練されたCWEとそれらの微調整されたバージョンを比較した。以上の結果から, (a) 事前学習したCWE空間における単語の意味変化の原因となる軸は少ないが, 微調整された場合, 全次元に分散することがわかった。
参考スコア（独自算出の注目度）: 30.563130208194977
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Words change their meaning over time as well as in different contexts. The sense-aware contextualised word embeddings (SCWEs) such as the ones produced by XL-LEXEME by fine-tuning masked langauge models (MLMs) on Word-in-Context (WiC) data attempt to encode such semantic changes of words within the contextualised word embedding (CWE) spaces. Despite the superior performance of SCWEs in contextual/temporal semantic change detection (SCD) benchmarks, it remains unclear as to how the meaning changes are encoded in the embedding space. To study this, we compare pre-trained CWEs and their fine-tuned versions on contextual and temporal semantic change benchmarks under Principal Component Analysis (PCA) and Independent Component Analysis (ICA) transformations. Our experimental results reveal several novel insights such as (a) although there exist a smaller number of axes that are responsible for semantic changes of words in the pre-trained CWE space, this information gets distributed across all dimensions when fine-tuned, and (b) in contrast to prior work studying the geometry of CWEs, we find that PCA to better represent semantic changes than ICA. Source code is available at https://github.com/LivNLP/svp-dims .
Abstract（参考訳）: 言葉は時間とともに意味を変え、異なる文脈で意味を変える。 XL-LEXEME(英語版)が、Word-in-Context(英語版)(WiC)データ上で、微調整されたマスク付きランガモデル(英語版)(MLM)によって生成した単語の文脈的変化を文脈的単語埋め込み(英語版)(CWE)空間内にエンコードしようとするような文脈的単語埋め込み(SCWE)である。文脈的・時間的意味変化検出(SCD)ベンチマークにおけるSCWEの優れた性能にもかかわらず、どのようにして変化が埋め込み空間にエンコードされるかは定かではない。そこで本研究では,主成分分析(PCA)および独立成分分析(ICA)変換に基づく文脈的・時間的意味変化ベンチマークにおいて,事前学習したCWEとその微調整バージョンを比較した。実験結果からいくつかの新たな知見が得られた。 (a)事前学習したCWE空間における単語の意味変化の原因となる軸は少ないが、微調整された場合、この情報は全次元にわたって分散される。 b) CWEの幾何に関する先行研究とは対照的に,PCAはICAよりも意味的変化をよりよく表現できることがわかった。ソースコードはhttps://github.com/LivNLP/svp-dimsで入手できる。

関連論文リスト

Evaluating Semantic Variation in Text-to-Image Synthesis: A Causal Perspective [50.261681681643076]
本稿では,SemVarEffectとSemVarBenchというベンチマークを用いて,テキスト・画像合成における入力のセマンティックな変化と出力の因果性を評価する。本研究は,T2I合成コミュニティによるヒューマンインストラクション理解の探索を促進する効果的な評価枠組みを確立する。
論文参考訳（メタデータ） (2024-10-14T08:45:35Z)
A Systematic Comparison of Contextualized Word Embeddings for Lexical Semantic Change [0.696194614504832]
我々は、勾配変化検出(GCD)のための最先端モデルとアプローチを評価する。我々はLCC問題をWord-in-Context(WiC)タスクとWord Sense Injection(WSI)タスクに分解し、これらの異なるレベルのモデルと比較する。 i) APDはGCDの他のアプローチよりも優れており、 (ii) XL-LEXEMEはGPT-4と同等でありながら、WiC、WSI、GCDの他の文脈モデルよりも優れています。
論文参考訳（メタデータ） (2024-02-19T10:04:59Z)
Align, Perturb and Decouple: Toward Better Leverage of Difference Information for RSI Change Detection [24.249552791014644]
変化検出は、リモートセンシング画像(RSI)解析において広く採用されている手法である。そこで我々は,アライメント,摂動,デカップリングといった差分情報を完全に活用するための一連の操作を提案する。
論文参考訳（メタデータ） (2023-05-30T03:39:53Z)
A Survey on Contextualised Semantic Shift Detection [0.0]
セマンティックシフト検出(セマンティックシフト検出、Semantic Shift Detection、SSD)は、ターゲット語の意味における時間的変化を識別し、解釈し、評価するタスクである。本稿では,意味表現,時間認識,学習モダリティ次元を特徴とする分類フレームワークを提案する。
論文参考訳（メタデータ） (2023-04-04T09:50:19Z)
Joint Spatio-Temporal Modeling for the Semantic Change Detection in Remote Sensing Images [22.72105435238235]
両時間RSI間の「から」意味遷移を明示的にモデル化するための意味変化(SCanFormer)を提案する。次に,SCDタスクに忠実な Transformer 時間制約を活用する意味学習手法を導入し,意味変化の学習を指導する。結果として得られたネットワーク(SCanNet)は、決定的意味変化の検出と、得られた両時間的結果のセマンティック一貫性の両方において、ベースライン法より優れている。
論文参考訳（メタデータ） (2022-12-10T08:49:19Z)
Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
論文参考訳（メタデータ） (2021-10-04T03:59:15Z)
HSVA: Hierarchical Semantic-Visual Adaptation for Zero-Shot Learning [74.76431541169342]
ゼロショット学習(ZSL)は、目に見えないクラス認識の問題に取り組み、目に見えないクラスから目に見えないクラスに意味的な知識を移す。本稿では,意味領域と視覚領域を協調させる新しい階層型意味視覚適応(HSVA)フレームワークを提案する。 4つのベンチマークデータセットの実験では、HSVAは従来のZSLと一般的なZSLの両方で優れた性能を示す。
論文参考訳（メタデータ） (2021-09-30T14:27:50Z)
Meta-Learning with Variational Semantic Memory for Word Sense Disambiguation [56.830395467247016]
メタ学習環境におけるWSDのセマンティックメモリモデルを提案する。我々のモデルは階層的変動推論に基づいており、ハイパーネットワークを介して適応的なメモリ更新ルールを組み込んでいる。極めて少ないシナリオでの効果的な学習を支援するために,本モデルがWSDで最先端の技術を数ショットで実現していることを示す。
論文参考訳（メタデータ） (2021-06-05T20:40:01Z)
EDS-MEMBED: Multi-sense embeddings based on enhanced distributional semantic structures via a graph walk over word senses [0.0]
WordNetの豊富なセマンティック構造を活用して、マルチセンス埋め込みの品質を高めます。 M-SEの新たな分布意味類似度測定法を先行して導出する。 WSDとWordの類似度タスクを含む11のベンチマークデータセットの評価結果を報告します。
論文参考訳（メタデータ） (2021-02-27T14:36:55Z)
Fake it Till You Make it: Self-Supervised Semantic Shifts for Monolingual Word Embedding Tasks [58.87961226278285]
語彙意味変化をモデル化するための自己教師付きアプローチを提案する。本手法は,任意のアライメント法を用いて意味変化の検出に利用できることを示す。 3つの異なるデータセットに対する実験結果を用いて,本手法の有用性について述べる。
論文参考訳（メタデータ） (2021-01-30T18:59:43Z)
Simultaneous Semantic Alignment Network for Heterogeneous Domain Adaptation [67.37606333193357]
本稿では,カテゴリ間の相関を同時に利用し,各カテゴリ毎のセントロイドを整列させるために,aSimultaneous Semantic Alignment Network (SSAN)を提案する。対象の擬似ラベルを利用することで、各カテゴリの特徴表現を整列させるために、ロバストな三重項中心のアライメント機構を明示的に適用する。テキスト・ツー・イメージ、画像・画像・テキスト・ツー・テキストにわたる様々なHDAタスクの実験は、最先端のHDA手法に対するSSANの優位性を検証することに成功した。
論文参考訳（メタデータ） (2020-08-04T16:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。