論文の概要: Capturing Evolution in Word Usage: Just Add More Clusters?
- arxiv url: http://arxiv.org/abs/2001.06629v2
- Date: Fri, 24 Jan 2020 01:58:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-10 05:12:09.612621
- Title: Capturing Evolution in Word Usage: Just Add More Clusters?
- Title（参考訳）: 単語使用の進化をキャプチャする: クラスタを増やすか?
- Authors: Matej Martinc, Syrielle Montariol, Elaine Zosa and Lidia Pivovarova
- Abstract要約: 我々は、最近NLP分野に革命をもたらしたセマンティックモデリングの一種である文脈的埋め込みに依存した新しい手法に焦点をあてる。
本研究では,変換器をベースとしたBERTモデルを用いて,単語の意味的変化を時間とともに検出できる文脈的埋め込みを生成する。
- 参考スコア（独自算出の注目度）: 9.209873675320834
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The way the words are used evolves through time, mirroring cultural or
technological evolution of society. Semantic change detection is the task of
detecting and analysing word evolution in textual data, even in short periods
of time. In this paper we focus on a new set of methods relying on
contextualised embeddings, a type of semantic modelling that revolutionised the
NLP field recently. We leverage the ability of the transformer-based BERT model
to generate contextualised embeddings capable of detecting semantic change of
words across time. Several approaches are compared in a common setting in order
to establish strengths and weaknesses for each of them. We also propose several
ideas for improvements, managing to drastically improve the performance of
existing approaches.
- Abstract（参考訳）: 言葉の使い方は時代を経て進化し、社会の文化的・技術的進化を反映している。
意味的変化検出は、短時間であってもテキストデータ中の単語の進化を検出し分析するタスクである。
本稿では,最近NLP分野に革命をもたらしたセマンティックモデリングの一種である文脈的埋め込みに依存した新しい手法に焦点をあてる。
我々は、トランスフォーマティブベースのbertモデルの能力を利用して、単語の意味的変化を時間にわたって検出できるコンテキスト化された埋め込みを生成する。
それぞれの強みと弱みを確立するために、共通の環境でいくつかのアプローチを比較します。
また、既存のアプローチの性能を大幅に改善するために、改善のためのいくつかのアイデアを提案します。
関連論文リスト
- Survey in Characterization of Semantic Change [0.1474723404975345]
言葉の意味を理解することは、異なる文化からの文章を解釈するのに不可欠である。
意味的変化は、計算言語学アルゴリズムの結果の品質に影響を与える可能性がある。
論文 参考訳（メタデータ） (2024-02-29T12:13:50Z) - Graph-based Clustering for Detecting Semantic Change Across Time and
Languages [10.058655884092094]
本稿では,高頻度・低周波両方の単語知覚におけるニュアンス変化を時間的・言語的に捉えたグラフベースのクラスタリング手法を提案する。
提案手法は,4言語にわたるSemEval 2020バイナリ分類タスクにおいて,従来のアプローチを大幅に上回っている。
論文 参考訳（メタデータ） (2024-02-01T21:27:19Z) - Always Keep your Target in Mind: Studying Semantics and Improving
Performance of Neural Lexical Substitution [124.99894592871385]
本稿では,従来の言語モデルと最近の言語モデルの両方を用いた語彙置換手法の大規模比較研究を行う。
目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによるすでに競合する結果がさらに大幅に改善できることを示す。
論文 参考訳（メタデータ） (2022-06-07T16:16:19Z) - $\textit{latent}$-GLAT: Glancing at Latent Variables for Parallel Text
Generation [65.29170569821093]
並列テキスト生成は、ジェネレーション効率の成功により、広く注目を集めています。
本稿では,単語分類情報を取得するために,離散潜在変数を用いた$textitlatent$-GLATを提案する。
実験結果から,本手法は自己回帰モデルを用いることなく,強いベースラインを達成できることが示唆された。
論文 参考訳（メタデータ） (2022-04-05T07:34:12Z) - To Augment or Not to Augment? A Comparative Study on Text Augmentation
Techniques for Low-Resource NLP [0.0]
本稿では,構文の変更を行うテキスト拡張手法の3つのカテゴリについて検討する。
音声のタグ付けや依存性解析,セマンティックロールのラベル付けなどにおいて,多種多様な言語ファミリに対して比較を行った。
以上の結果から,mBERTに基づくベースラインの強化により,より高機能化が可能であることが示唆された。
論文 参考訳（メタデータ） (2021-11-18T10:52:48Z) - Lexical Semantic Change Discovery [22.934650688233734]
本稿では,変化検出から変化発見へのシフト,すなわち全語彙から新しい単語感覚を発見することを提案する。
最近公開されたドイツのデータに対して,型ベースおよびトークンベースのアプローチを高度に微調整することにより,両モデルが変化を意味づける新しい単語の発見に成功できることを実証する。
論文 参考訳（メタデータ） (2021-06-06T13:02:38Z) - Meta-Learning with Variational Semantic Memory for Word Sense
Disambiguation [56.830395467247016]
メタ学習環境におけるWSDのセマンティックメモリモデルを提案する。
我々のモデルは階層的変動推論に基づいており、ハイパーネットワークを介して適応的なメモリ更新ルールを組み込んでいる。
極めて少ないシナリオでの効果的な学習を支援するために,本モデルがWSDで最先端の技術を数ショットで実現していることを示す。
論文 参考訳（メタデータ） (2021-06-05T20:40:01Z) - Fake it Till You Make it: Self-Supervised Semantic Shifts for
Monolingual Word Embedding Tasks [58.87961226278285]
語彙意味変化をモデル化するための自己教師付きアプローチを提案する。
本手法は,任意のアライメント法を用いて意味変化の検出に利用できることを示す。
3つの異なるデータセットに対する実験結果を用いて,本手法の有用性について述べる。
論文 参考訳（メタデータ） (2021-01-30T18:59:43Z) - Lexical semantic change for Ancient Greek and Latin [61.69697586178796]
歴史的文脈における単語の正しい意味の連想は、ダイアクロニック研究の中心的な課題である。
我々は、動的ベイズ混合モデルに基づくセマンティック変化に対する最近の計算的アプローチに基づいて構築する。
本研究では,動的ベイズ混合モデルと最先端埋め込みモデルとのセマンティックな変化を系統的に比較する。
論文 参考訳（メタデータ） (2021-01-22T12:04:08Z) - Improving Adversarial Text Generation by Modeling the Distant Future [155.83051741029732]
テキスト計画手法を考察し、上記の問題を緩和するためのモデルに基づく模倣学習手法を提案する。
本稿では,より長い地平線上の生成過程に焦点をあてる新しいガイドネットワークを提案する。
論文 参考訳（メタデータ） (2020-05-04T05:45:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。