論文の概要: $\textit{Swap and Predict}$ -- Predicting the Semantic Changes in Words
across Corpora by Context Swapping
- arxiv url: http://arxiv.org/abs/2310.10397v1
- Date: Mon, 16 Oct 2023 13:39:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 14:18:25.649282
- Title: $\textit{Swap and Predict}$ -- Predicting the Semantic Changes in Words
across Corpora by Context Swapping
- Title（参考訳）: $\textit{Swap and Predict}$ -- コンテキストスワッピングによるコーパス間の単語の意味的変化の予測
- Authors: Taichi Aida, Danushka Bollegala
- Abstract要約: 目的語である$w$が2つの異なるテキストコーパス間の意味を変えるかどうかを予測する問題を考える。
本稿では,$mathcalC$と$mathcalC$をランダムに交換する教師なしの手法を提案する。
提案手法は,英文意味変化予測タスクの強いベースラインに比べて,大幅な性能向上を実現している。
- 参考スコア（独自算出の注目度）: 36.10628959436778
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Meanings of words change over time and across domains. Detecting the semantic
changes of words is an important task for various NLP applications that must
make time-sensitive predictions. We consider the problem of predicting whether
a given target word, $w$, changes its meaning between two different text
corpora, $\mathcal{C}_1$ and $\mathcal{C}_2$. For this purpose, we propose
$\textit{Swapping-based Semantic Change Detection}$ (SSCD), an unsupervised
method that randomly swaps contexts between $\mathcal{C}_1$ and $\mathcal{C}_2$
where $w$ occurs. We then look at the distribution of contextualised word
embeddings of $w$, obtained from a pretrained masked language model (MLM),
representing the meaning of $w$ in its occurrence contexts in $\mathcal{C}_1$
and $\mathcal{C}_2$. Intuitively, if the meaning of $w$ does not change between
$\mathcal{C}_1$ and $\mathcal{C}_2$, we would expect the distributions of
contextualised word embeddings of $w$ to remain the same before and after this
random swapping process. Despite its simplicity, we demonstrate that even by
using pretrained MLMs without any fine-tuning, our proposed context swapping
method accurately predicts the semantic changes of words in four languages
(English, German, Swedish, and Latin) and across different time spans (over 50
years and about five years). Moreover, our method achieves significant
performance improvements compared to strong baselines for the English semantic
change prediction task. Source code is available at
https://github.com/a1da4/svp-swap .
- Abstract（参考訳）: 言葉の意味は、時間とドメインによって変わる。
単語の意味的変化を検出することは、時間に敏感な予測をしなければならない様々なNLPアプリケーションにとって重要なタスクである。
対象語である$w$が2つの異なるテキストコーパスである$\mathcal{C}_1$と$\mathcal{C}_2$の間で意味を変えるかどうかを予測する問題を考える。
この目的のために、$\mathcal{C}_1$と$\mathcal{C}_2$でコンテキストをランダムに交換する教師なしのメソッドである$\textit{Swapping-based Semantic Change Detection}$ (SSCD)を提案する。
次に、事前学習されたマスク言語モデル(mlm)から得られた、文脈化された単語埋め込みの分布を見て、その発生コンテキストにおける$w$の意味を、$\mathcal{c}_1$と$\mathcal{c}_2$で表す。
直観的には、$w$の意味が$\mathcal{C}_1$と$\mathcal{C}_2$の間で変化しないなら、このランダムなスワップ処理の前と後に$w$の文脈化された単語埋め込みの分布が同じであると予想する。
その単純さにもかかわらず、訓練済みのMLMを微調整なしで使用しても、提案手法は4言語(英語、ドイツ語、スウェーデン語、ラテン語)および異なる時間帯(50年以上、約5年)における単語の意味的変化を正確に予測する。
さらに, 英語意味変化予測タスクにおいて, 強力なベースラインと比較して, 性能が大幅に向上した。
ソースコードはhttps://github.com/a1da4/svp-swap で入手できる。
関連論文リスト
- Creating an AI Observer: Generative Semantic Workspaces [4.031100721019478]
我々は、$textbf[G]$enerative $textbf[S]$emantic $textbf[W]$orkspace (GSW)を紹介します。
GSWは、伝統的に定義されたレキシコンラベルのセットとは対照的に、生成的なスタイルのセマンティックフレームワークを作成する。
論文 参考訳（メタデータ） (2024-06-07T00:09:13Z) - Transformer In-Context Learning for Categorical Data [51.23121284812406]
我々は、分類結果、非線形基礎モデル、非線形注意を考慮し、文脈内学習のレンズを通してトランスフォーマーを理解する研究を機能データで拡張する。
我々は、ImageNetデータセットを用いて、この数発の学習方法論の最初の実世界の実演であると考えられるものを提示する。
論文 参考訳（メタデータ） (2024-05-27T15:03:21Z) - Semantic Text Transmission via Prediction with Small Language Models:
Cost-Similarity Trade-off [7.666188363531336]
我々は,言語固有の相関や予測可能性を利用して,送信コストを制約し,目的地の単語の予測や完全化を可能にする。
ニューラルネットワークとマルコフ連鎖に基づく1次小言語モデルに対して$(barc, bars)$ペアを得る。
雑音のないチャネル上で通信を行う場合、しきい値ポリシーは、周期的なポリシーよりも与えられた$barc$に対して高い$bars$を達成する。
論文 参考訳（メタデータ） (2024-03-01T05:20:16Z) - A Semantic Distance Metric Learning approach for Lexical Semantic Change Detection [30.563130208194977]
Lexical Semantic Change Detection (SCD) タスクでは、与えられたターゲット語である$w$が2つの異なるテキストコーパス間で意味を変えるかどうかを予測する。
既存のWord-in-Context(WiC)データセットを用いた教師付き2段階のSCD手法を提案する。
SCDのための複数のベンチマークデータセットの実験結果から,提案手法が複数の言語で高い性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2024-03-01T02:09:25Z) - HappyMap: A Generalized Multi-calibration Method [23.086009024383024]
マルチキャリブレーション(英: Multi-calibration)はアルゴリズムフェアネスの分野を起源とする、強力で進化した概念である。
この研究では、$(f(x)-y)$ という用語を1つの特定の写像とみなし、豊かなクラスの写像のパワーを探求する。
マルチキャリブレーションを一般化したtextitHappyMap を提案する。
論文 参考訳（メタデータ） (2023-03-08T05:05:01Z) - Phase Transitions in the Detection of Correlated Databases [12.010807505655238]
本稿では,2つのガウスデータベースの相関関係を$mathsfXinmathbbRntimes d$と$mathsfYntimes d$で検出する問題について検討する。
この問題は、ソーシャルメディア、計算生物学などの分析に関係している。
論文 参考訳（メタデータ） (2023-02-07T10:39:44Z) - Reward-Mixing MDPs with a Few Latent Contexts are Learnable [75.17357040707347]
報酬混合マルコフ決定過程(RMMDP)におけるエピソード強化学習の検討
我々のゴールは、そのようなモデルにおける時間段階の累積報酬をほぼ最大化する、ほぼ最適に近いポリシーを学ぶことである。
論文 参考訳（メタデータ） (2022-10-05T22:52:00Z) - Supervised Training of Conditional Monge Maps [107.78770597815242]
最適輸送(OT)理論は、多くの可能な選択の中から確率測度を他のものにマッピングする最も効率的な方法を定義し、選択する一般的な原理を記述している。
本研究では,コンテキスト変数に条件付きOTマップの族を推定するマルチタスク手法であるCondOTを紹介する。
本研究では,CondOTの遺伝的・治療的摂動の任意の組み合わせが単一細胞に与える影響を推測する能力を示す。
論文 参考訳（メタデータ） (2022-06-28T19:34:44Z) - Fake it Till You Make it: Self-Supervised Semantic Shifts for
Monolingual Word Embedding Tasks [58.87961226278285]
語彙意味変化をモデル化するための自己教師付きアプローチを提案する。
本手法は,任意のアライメント法を用いて意味変化の検出に利用できることを示す。
3つの異なるデータセットに対する実験結果を用いて,本手法の有用性について述べる。
論文 参考訳（メタデータ） (2021-01-30T18:59:43Z) - Taking a hint: How to leverage loss predictors in contextual bandits? [63.546913998407405]
我々は,損失予測の助けを借りて,文脈的包帯における学習を研究する。
最適な後悔は$mathcalO(minsqrtT, sqrtmathcalETfrac13)$である。
論文 参考訳（メタデータ） (2020-03-04T07:36:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。