論文の概要: Investigating the Contextualised Word Embedding Dimensions Specified for Contextual and Temporal Semantic Changes

• arxiv url: http://arxiv.org/abs/2407.02820v2
• Date: Tue, 03 Dec 2024 20:56:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:05:19.883333
• Title: Investigating the Contextualised Word Embedding Dimensions Specified for Contextual and Temporal Semantic Changes
• Title（参考訳）: 文脈的・時間的意味変化に対応した文脈的単語埋め込み次元の検討
• Authors: Taichi Aida, Danushka Bollegala,
• Abstract要約: 文脈型単語埋め込み(CWE)空間内の単語の意味的変化を符号化する意味認識型単語埋め込み(SCWE)。 どのようにして変化が埋め込み空間にエンコードされるのかは、まだ不明である。 文脈的および時間的意味変化ベンチマークにおいて、事前学習したCWEとそれらの微調整されたバージョンを比較した。
• 参考スコア（独自算出の注目度）: 30.563130208194977
• License:
• Abstract: The sense-aware contextualised word embeddings (SCWEs) encode semantic changes of words within the contextualised word embedding (CWE) spaces. Despite the superior performance of SCWEs in contextual/temporal semantic change detection (SCD) benchmarks, it remains unclear as to how the meaning changes are encoded in the embedding space. To study this, we compare pre-trained CWEs and their fine-tuned versions on contextual and temporal semantic change benchmarks under Principal Component Analysis (PCA) and Independent Component Analysis (ICA) transformations. Our experimental results reveal (a) although there exist a smaller number of axes that are specific to semantic changes of words in the pre-trained CWE space, this information gets distributed across all dimensions when fine-tuned, and (b) in contrast to prior work studying the geometry of CWEs, we find that PCA to better represent semantic changes than ICA within the top 10% of axes. These findings encourage the development of more efficient SCD methods with a small number of SCD-aware dimensions. Source code is available at https://github.com/LivNLP/svp-dims .
• Abstract（参考訳）: 文脈型単語埋め込み(SCWE)は、文脈型単語埋め込み(CWE)空間内の単語の意味的変化を符号化する。 文脈的・時間的意味変化検出(SCD)ベンチマークにおけるSCWEの優れた性能にもかかわらず、どのようにして変化が埋め込み空間にエンコードされるかは定かではない。 そこで本研究では,主成分分析(PCA)および独立成分分析(ICA)変換に基づく文脈的・時間的意味変化ベンチマークにおいて,事前学習したCWEとその微調整バージョンを比較した。 私たちの実験結果が明らかに (a)事前学習したCWE空間の単語の意味変化に特有な軸は少ないが、微調整された場合、この情報は全次元に分散する。 b) 従来のCWEの幾何学の研究とは対照的に,PCA は ICA の上位10% における意味的変化をよりよく表すことができる。 これらの知見は、少数のSCD認識次元を持つより効率的なSCD手法の開発を促進する。 ソースコードはhttps://github.com/LivNLP/svp-dimsで入手できる。

関連論文リスト

• Evaluating Semantic Variation in Text-to-Image Synthesis: A Causal Perspective [50.261681681643076]
  本稿では,SemVarEffectとSemVarBenchというベンチマークを用いて,テキスト・画像合成における入力のセマンティックな変化と出力の因果性を評価する。 本研究は,T2I合成コミュニティによるヒューマンインストラクション理解の探索を促進する効果的な評価枠組みを確立する。
  論文  参考訳（メタデータ） (2024-10-14T08:45:35Z)
• A Systematic Comparison of Contextualized Word Embeddings for Lexical Semantic Change [0.696194614504832]
  我々は、勾配変化検出(GCD)のための最先端モデルとアプローチを評価する。 我々はLCC問題をWord-in-Context(WiC)タスクとWord Sense Injection(WSI)タスクに分解し、これらの異なるレベルのモデルと比較する。 i) APDはGCDの他のアプローチよりも優れており、 (ii) XL-LEXEMEはGPT-4と同等でありながら、WiC、WSI、GCDの他の文脈モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-02-19T10:04:59Z)
• Align, Perturb and Decouple: Toward Better Leverage of Difference Information for RSI Change Detection [24.249552791014644]
  変化検出は、リモートセンシング画像(RSI)解析において広く採用されている手法である。 そこで我々は,アライメント,摂動,デカップリングといった差分情報を完全に活用するための一連の操作を提案する。
  論文  参考訳（メタデータ） (2023-05-30T03:39:53Z)
• A Survey on Contextualised Semantic Shift Detection [0.0]
  セマンティックシフト検出(セマンティックシフト検出、Semantic Shift Detection、SSD)は、ターゲット語の意味における時間的変化を識別し、解釈し、評価するタスクである。 本稿では,意味表現,時間認識,学習モダリティ次元を特徴とする分類フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-04T09:50:19Z)
• Joint Spatio-Temporal Modeling for the Semantic Change Detection in Remote Sensing Images [22.72105435238235]
  両時間RSI間の「から」意味遷移を明示的にモデル化するための意味変化(SCanFormer)を提案する。 次に,SCDタスクに忠実な Transformer 時間制約を活用する意味学習手法を導入し,意味変化の学習を指導する。 結果として得られたネットワーク(SCanNet)は、決定的意味変化の検出と、得られた両時間的結果のセマンティック一貫性の両方において、ベースライン法より優れている。
  論文  参考訳（メタデータ） (2022-12-10T08:49:19Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• HSVA: Hierarchical Semantic-Visual Adaptation for Zero-Shot Learning [74.76431541169342]
  ゼロショット学習(ZSL)は、目に見えないクラス認識の問題に取り組み、目に見えないクラスから目に見えないクラスに意味的な知識を移す。 本稿では,意味領域と視覚領域を協調させる新しい階層型意味視覚適応(HSVA)フレームワークを提案する。 4つのベンチマークデータセットの実験では、HSVAは従来のZSLと一般的なZSLの両方で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-30T14:27:50Z)
• Meta-Learning with Variational Semantic Memory for Word Sense Disambiguation [56.830395467247016]
  メタ学習環境におけるWSDのセマンティックメモリモデルを提案する。 我々のモデルは階層的変動推論に基づいており、ハイパーネットワークを介して適応的なメモリ更新ルールを組み込んでいる。 極めて少ないシナリオでの効果的な学習を支援するために,本モデルがWSDで最先端の技術を数ショットで実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-05T20:40:01Z)
• EDS-MEMBED: Multi-sense embeddings based on enhanced distributional semantic structures via a graph walk over word senses [0.0]
  WordNetの豊富なセマンティック構造を活用して、マルチセンス埋め込みの品質を高めます。 M-SEの新たな分布意味類似度測定法を先行して導出する。 WSDとWordの類似度タスクを含む11のベンチマークデータセットの評価結果を報告します。
  論文  参考訳（メタデータ） (2021-02-27T14:36:55Z)
• Fake it Till You Make it: Self-Supervised Semantic Shifts for Monolingual Word Embedding Tasks [58.87961226278285]
  語彙意味変化をモデル化するための自己教師付きアプローチを提案する。 本手法は,任意のアライメント法を用いて意味変化の検出に利用できることを示す。 3つの異なるデータセットに対する実験結果を用いて,本手法の有用性について述べる。
  論文  参考訳（メタデータ） (2021-01-30T18:59:43Z)
• Simultaneous Semantic Alignment Network for Heterogeneous Domain Adaptation [67.37606333193357]
  本稿では,カテゴリ間の相関を同時に利用し,各カテゴリ毎のセントロイドを整列させるために,aSimultaneous Semantic Alignment Network (SSAN)を提案する。 対象の擬似ラベルを利用することで、各カテゴリの特徴表現を整列させるために、ロバストな三重項中心のアライメント機構を明示的に適用する。 テキスト・ツー・イメージ、画像・画像・テキスト・ツー・テキストにわたる様々なHDAタスクの実験は、最先端のHDA手法に対するSSANの優位性を検証することに成功した。
  論文  参考訳（メタデータ） (2020-08-04T16:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。