Fugu-MT 論文翻訳(概要): Analysing Lexical Semantic Change with Contextualised Word Representations

論文の概要: Analysing Lexical Semantic Change with Contextualised Word Representations

arxiv url: http://arxiv.org/abs/2004.14118v1
Date: Wed, 29 Apr 2020 12:18:14 GMT
ステータス: 処理完了
システム内更新日: 2022-12-08 14:20:05.480653
Title: Analysing Lexical Semantic Change with Contextualised Word Representations
Title（参考訳）: 文脈化単語表現を用いた語彙意味変化の分析
Authors: Mario Giulianelli, Marco Del Tredici, Raquel Fern\'andez
Abstract要約: 本稿では,BERTニューラルネットワークモデルを用いて単語使用率の表現を求める手法を提案する。我々は新しい評価データセットを作成し、モデル表現と検出された意味変化が人間の判断と正に相関していることを示す。
参考スコア（独自算出の注目度）: 7.071298726856781
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper presents the first unsupervised approach to lexical semantic change that makes use of contextualised word representations. We propose a novel method that exploits the BERT neural language model to obtain representations of word usages, clusters these representations into usage types, and measures change along time with three proposed metrics. We create a new evaluation dataset and show that the model representations and the detected semantic shifts are positively correlated with human judgements. Our extensive qualitative analysis demonstrates that our method captures a variety of synchronic and diachronic linguistic phenomena. We expect our work to inspire further research in this direction.
Abstract（参考訳）: 本稿では,文脈化された単語表現を用いた語彙意味変化に対する最初の教師なしアプローチを提案する。本稿では,BERTニューラルネットワークモデルを用いて単語使用率の表現を取得し,これらの表現を使用形態にクラスタ化し,時間とともに変化を測定する手法を提案する。我々は,新しい評価データセットを作成し,モデル表現と検出された意味変化が人間の判断と正の相関を示す。定量的解析により,我々の手法は様々なシンクロ・ダイアクロニックな言語現象を捉えることができる。我々はこの方向にさらなる研究を促すことを期待している。

関連論文リスト

How well do distributed representations convey contextual lexical semantics: a Thesis Proposal [3.3585951129432323]
本稿では,現代ニューラルネットワークによる語彙意味の符号化における分散表現の有効性について検討する。文脈に影響された意味の関連性と類似性に基づいて,曖昧さの4つの源を同定する。次に、多言語データセットの収集や構築、様々な言語モデルの利用、言語解析ツールの利用により、これらの情報源を評価することを目的とする。
論文参考訳（メタデータ） (2024-06-02T14:08:51Z)
A Comprehensive Empirical Evaluation of Existing Word Embedding Approaches [5.065947993017158]
既存の単語埋め込み手法の特徴を概説し,多くの分類タスクについて解析する。伝統的なアプローチでは、主に単語表現を生成するために行列分解を使い、言語の意味的および構文的規則性をうまく捉えることができない。一方、ニューラルネットワークに基づくアプローチは、言語の洗練された規則性を捕捉し、生成した単語表現における単語関係を保存することができる。
論文参考訳（メタデータ） (2023-03-13T15:34:19Z)
Unsupervised Lexical Substitution with Decontextualised Embeddings [48.00929769805882]
事前学習された言語モデルを用いた語彙置換の新しい教師なし手法を提案する。本手法は,文脈的および非文脈的単語埋め込みの類似性に基づいて代用語を検索する。我々は、英語とイタリア語で実験を行い、我々の手法が強いベースラインを大幅に上回っていることを示す。
論文参考訳（メタデータ） (2022-09-17T03:51:47Z)
Contextualized language models for semantic change detection: lessons learned [4.436724861363513]
本稿では,ダイアクロニック・セマンティック・チェンジを検出する文脈的埋め込みに基づく手法の出力の質的分析を行う。本研究の結果から,文脈化手法は,実際のダイアクロニック・セマンティック・シフトを行なわない単語に対して,高い変化スコアを予測できることが示唆された。我々の結論は、事前学習された文脈化言語モデルは、語彙感覚の変化と文脈分散の変化を補う傾向にあるということである。
論文参考訳（メタデータ） (2022-08-31T23:35:24Z)
A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文参考訳（メタデータ） (2022-01-20T15:01:12Z)
Discrete representations in neural models of spoken language [56.29049879393466]
音声言語の弱教師付きモデルの文脈における4つの一般的なメトリクスの利点を比較した。異なる評価指標が矛盾する結果をもたらすことが分かりました。
論文参考訳（メタデータ） (2021-05-12T11:02:02Z)
Multi-sense embeddings through a word sense disambiguation process [2.2344764434954256]
最も適した感覚。 (MSSA)は、その文脈の意味的効果を考慮して、それぞれの単語をその特定の感覚で曖昧にし、注釈する。我々は,単語類似性タスクの6つの異なるベンチマークでアプローチを検証し,そのアプローチが最先端の結果をもたらすことを示す。
論文参考訳（メタデータ） (2021-01-21T16:22:34Z)
SChME at SemEval-2020 Task 1: A Model Ensemble for Detecting Lexical Semantic Change [58.87961226278285]
本稿では,SemEval-2020 Task 1における語彙意味変化の教師なし検出法であるSChMEについて述べる。 SChMEは、分布モデル(単語埋め込み)とワード周波数モデルの信号を組み合わせたモデルアンサンブルを使用し、各モデルは、その特徴に応じて単語が苦しむ確率を示す投票を行う。
論文参考訳（メタデータ） (2020-12-02T23:56:34Z)
VCDM: Leveraging Variational Bi-encoding and Deep Contextualized Word Representations for Improved Definition Modeling [24.775371434410328]
定義モデリングの課題は、単語やフレーズの定義を学習することである。このタスクの既存のアプローチは差別的であり、直接的ではなく暗黙的に分布的意味論と語彙的意味論を組み合わせたものである。本稿では、文脈内で使われるフレーズとその定義の基盤となる関係を明示的にモデル化するために、連続潜時変数を導入したタスク生成モデルを提案する。
論文参考訳（メタデータ） (2020-10-07T02:48:44Z)
Temporal Embeddings and Transformer Models for Narrative Text Understanding [72.88083067388155]
キャラクタ関係モデリングのための物語テキスト理解のための2つのアプローチを提案する。これらの関係の時間的進化は動的単語埋め込みによって説明され、時間とともに意味的変化を学ぶように設計されている。最新の変換器モデルBERTに基づく教師付き学習手法を用いて文字間の静的な関係を検出する。
論文参考訳（メタデータ） (2020-03-19T14:23:12Z)
How Far are We from Effective Context Modeling? An Exploratory Study on Semantic Parsing in Context [59.13515950353125]
文法に基づく意味解析を行い,その上に典型的な文脈モデリング手法を適用する。我々は,2つの大きなクロスドメインデータセットに対して,13のコンテキストモデリング手法を評価した。
論文参考訳（メタデータ） (2020-02-03T11:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。