論文の概要: Fake it Till You Make it: Self-Supervised Semantic Shifts for
Monolingual Word Embedding Tasks
- arxiv url: http://arxiv.org/abs/2102.00290v1
- Date: Sat, 30 Jan 2021 18:59:43 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-02 16:23:34.215441
- Title: Fake it Till You Make it: Self-Supervised Semantic Shifts for
Monolingual Word Embedding Tasks
- Title(参考訳): Fake it Till you Make it: Self-Supervised Semantic Shifts for Monolingual Word Embedding Tasks
- Authors: Maur\'icio Gruppi, Sibel Adal{\i}, Pin-Yu Chen
- Abstract要約: 語彙意味変化をモデル化するための自己教師付きアプローチを提案する。
本手法は,任意のアライメント法を用いて意味変化の検出に利用できることを示す。
3つの異なるデータセットに対する実験結果を用いて,本手法の有用性について述べる。
- 参考スコア(独自算出の注目度): 58.87961226278285
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The use of language is subject to variation over time as well as across
social groups and knowledge domains, leading to differences even in the
monolingual scenario. Such variation in word usage is often called lexical
semantic change (LSC). The goal of LSC is to characterize and quantify language
variations with respect to word meaning, to measure how distinct two language
sources are (that is, people or language models). Because there is hardly any
data available for such a task, most solutions involve unsupervised methods to
align two embeddings and predict semantic change with respect to a distance
measure. To that end, we propose a self-supervised approach to model lexical
semantic change by generating training samples by introducing perturbations of
word vectors in the input corpora. We show that our method can be used for the
detection of semantic change with any alignment method. Furthermore, it can be
used to choose the landmark words to use in alignment and can lead to
substantial improvements over the existing techniques for alignment.
We illustrate the utility of our techniques using experimental results on
three different datasets, involving words with the same or different meanings.
Our methods not only provide significant improvements but also can lead to
novel findings for the LSC problem.
- Abstract(参考訳): 言語の使用は、時間とともに社会グループや知識ドメインにまたがる変化の対象となるため、単言語シナリオにおいても違いが生じる。
このような単語の使用の変化は、しばしば lexical semantic change (lsc) と呼ばれる。
LSCの目標は、単語の意味に関する言語のバリエーションを特徴づけ、定量化し、2つの言語ソース(すなわち、人または言語モデル)がどのように異なるかを測定することです。
このようなタスクに利用可能なデータはほとんどないため、ほとんどのソリューションは、2つの埋め込みを調整し、距離測度に関して意味変化を予測する教師なしの手法を含む。
そこで本研究では,単語ベクトルの摂動を入力コーパスに導入することにより,学習サンプルを生成することで語彙意味変化をモデル化する自己教師型アプローチを提案する。
本手法は,任意のアライメント法を用いて意味変化の検出に利用できることを示す。
さらに、アライメントで使用するランドマークの単語を選択するために使用することができ、アライメントのための既存の技術よりも大幅に改善することができます。
3つの異なるデータセットで実験結果を用いて,同じ意味や異なる意味を持つ単語を含む手法の有用性を示す。
提案手法は大きな改善をもたらすだけでなく,LSC問題に対する新たな発見につながる可能性がある。
関連論文リスト
- Pixel Sentence Representation Learning [67.4775296225521]
本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。
タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。
我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
論文 参考訳(メタデータ) (2024-02-13T02:46:45Z) - Towards Unsupervised Recognition of Token-level Semantic Differences in
Related Documents [61.63208012250885]
意味的差異をトークンレベルの回帰タスクとして認識する。
マスク付き言語モデルに依存する3つの教師なしアプローチについて検討する。
その結果,単語アライメントと文レベルのコントラスト学習に基づくアプローチは,ゴールドラベルと強い相関関係があることが示唆された。
論文 参考訳(メタデータ) (2023-05-22T17:58:04Z) - Unsupervised Semantic Variation Prediction using the Distribution of
Sibling Embeddings [17.803726860514193]
単語の意味的変化の検出は,様々なNLPアプリケーションにおいて重要な課題である。
意味表現だけではそのような意味的バリエーションを正確に捉えることはできないと我々は主張する。
対象単語の文脈的埋め込みのコホート全体を利用する手法を提案する。
論文 参考訳(メタデータ) (2023-05-15T13:58:21Z) - Contextualized language models for semantic change detection: lessons
learned [4.436724861363513]
本稿では,ダイアクロニック・セマンティック・チェンジを検出する文脈的埋め込みに基づく手法の出力の質的分析を行う。
本研究の結果から,文脈化手法は,実際のダイアクロニック・セマンティック・シフトを行なわない単語に対して,高い変化スコアを予測できることが示唆された。
我々の結論は、事前学習された文脈化言語モデルは、語彙感覚の変化と文脈分散の変化を補う傾向にあるということである。
論文 参考訳(メタデータ) (2022-08-31T23:35:24Z) - Always Keep your Target in Mind: Studying Semantics and Improving
Performance of Neural Lexical Substitution [124.99894592871385]
本稿では,従来の言語モデルと最近の言語モデルの両方を用いた語彙置換手法の大規模比較研究を行う。
目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによるすでに競合する結果がさらに大幅に改善できることを示す。
論文 参考訳(メタデータ) (2022-06-07T16:16:19Z) - Grammatical Profiling for Semantic Change Detection [6.3596637237946725]
文法的プロファイリングを意味変化検出の代替手法として用いている。
意味的変化の検出に使用することができ、また、いくつかの分布的意味的手法よりも優れていることを実証する。
論文 参考訳(メタデータ) (2021-09-21T18:38:18Z) - SChME at SemEval-2020 Task 1: A Model Ensemble for Detecting Lexical
Semantic Change [58.87961226278285]
本稿では,SemEval-2020 Task 1における語彙意味変化の教師なし検出法であるSChMEについて述べる。
SChMEは、分布モデル(単語埋め込み)とワード周波数モデルの信号を組み合わせたモデルアンサンブルを使用し、各モデルは、その特徴に応じて単語が苦しむ確率を示す投票を行う。
論文 参考訳(メタデータ) (2020-12-02T23:56:34Z) - Word Embeddings: Stability and Semantic Change [0.0]
本稿では,過去10年で最も影響力のある埋め込み技術である word2vec, GloVe, fastText のトレーニングプロセスの不安定性について実験的に検討する。
本稿では,埋め込み手法の不安定性を記述する統計モデルを提案し,個々の単語の表現の不安定性を測定するための新しい指標を提案する。
論文 参考訳(メタデータ) (2020-07-23T16:03:50Z) - On the Importance of Word Order Information in Cross-lingual Sequence
Labeling [80.65425412067464]
ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。
本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
論文 参考訳(メタデータ) (2020-01-30T03:35:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。