論文の概要: Statistically significant detection of semantic shifts using contextual word embeddings

• arxiv url: http://arxiv.org/abs/2104.03776v1
• Date: Thu, 8 Apr 2021 13:58:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-09 19:13:51.857898
• Title: Statistically significant detection of semantic shifts using contextual word embeddings
• Title（参考訳）: 文脈単語埋め込みを用いた意味変化の統計的に重要な検出
• Authors: Yang Liu, Alan Medlar and Dorota Glowacka
• Abstract要約: 文脈的単語埋め込みと順列に基づく統計的テストを組み合わせて意味的変化を推定する手法を提案する。 本手法の性能をシミュレーションで実証し,偽陽性を抑圧することにより,一貫して高精度に達成する。 また,SemEval-2020 Task 1 と Liverpool FC subreddit corpus の実際のデータも分析した。
• 参考スコア（独自算出の注目度）: 7.439525715543974
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Detecting lexical semantic shifts in smaller data sets, e.g. in historical linguistics and digital humanities, is challenging due to a lack of statistical power. This issue is exacerbated by non-contextual word embeddings that produce one embedding per token and therefore mask the variability present in the data. In this article, we propose an approach to estimate semantic shifts by combining contextual word embeddings with permutation-based statistical tests. Multiple comparisons are addressed using a false discovery rate procedure. We demonstrate the performance of this approach in simulation, achieving consistently high precision by suppressing false positives. We additionally analyzed real-world data from SemEval-2020 Task 1 and the Liverpool FC subreddit corpus. We show that by taking sample variation into account, we can improve the robustness of individual semantic shift estimates without degrading overall performance.
• Abstract（参考訳）: 例えば、小さなデータセットにおける語彙意味シフトの検出。 歴史的言語学やデジタル人文科学では 統計力の欠如が原因で困難です この問題は、トークンごとにひとつの埋め込みを生成し、それゆえデータに存在する可変性を隠蔽する非コンテキスト的な単語埋め込みによって悪化する。 本稿では,文脈的単語埋め込みと置換に基づく統計的テストを組み合わせることで意味変化を推定する手法を提案する。 偽発見率手順を用いて複数の比較を行う。 本手法の性能をシミュレーションで実証し,偽陽性を抑圧することにより,一貫して高精度に達成する。 また,SemEval-2020 Task 1 と Liverpool FC subreddit corpus の実際のデータも分析した。 サンプルの変動を考慮することで、全体の性能を劣化させることなく、個々の意味シフト推定の堅牢性を向上させることができることを示す。

関連論文リスト

• Evaluating Semantic Variation in Text-to-Image Synthesis: A Causal Perspective [50.261681681643076]
  本稿では,SemVarEffectとSemVarBenchというベンチマークを用いて,テキスト・画像合成における入力のセマンティックな変化と出力の因果性を評価する。 本研究は,T2I合成コミュニティによるヒューマンインストラクション理解の探索を促進する効果的な評価枠組みを確立する。
  論文  参考訳（メタデータ） (2024-10-14T08:45:35Z)
• Statistical Uncertainty in Word Embeddings: GloVe-V [35.04183792123882]
  本稿では,GloVeの近似的,使いやすい,スケーラブルな再構成誤差分散推定手法を提案する。 分散を伴う埋め込み(GloVe-V)の価値を示すために,本手法がコアワード埋め込みタスクにおいて,原理的仮説テストを実現する方法について述べる。
  論文  参考訳（メタデータ） (2024-06-18T00:35:02Z)
• Unsupervised Semantic Variation Prediction using the Distribution of Sibling Embeddings [17.803726860514193]
  単語の意味的変化の検出は,様々なNLPアプリケーションにおいて重要な課題である。 意味表現だけではそのような意味的バリエーションを正確に捉えることはできないと我々は主張する。 対象単語の文脈的埋め込みのコホート全体を利用する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-15T13:58:21Z)
• TransDrift: Modeling Word-Embedding Drift using Transformer [8.707217592903735]
  単語埋め込みのための変換器に基づく予測モデルであるTransDriftを提案する。 我々のモデルは埋め込みドリフトの力学を正確に学習し、将来の埋め込みを予測する。 私たちの埋め込みは、以前の方法よりも優れたパフォーマンスをもたらします。
  論文  参考訳（メタデータ） (2022-06-16T10:48:26Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• Semantic-Preserving Adversarial Text Attacks [85.32186121859321]
  深層モデルの脆弱性を調べるために, Bigram と Unigram を用いた適応的セマンティック保存最適化法 (BU-SPO) を提案する。 提案手法は,既存手法と比較して最小の単語数を変更することで,攻撃成功率とセマンティックス率を最大化する。
  論文  参考訳（メタデータ） (2021-08-23T09:05:18Z)
• Double Perturbation: On the Robustness of Robustness and Counterfactual Bias Evaluation [109.06060143938052]
  テストデータセットを超えたモデル弱点を明らかにするための"ダブル摂動"フレームワークを提案する。 この枠組みを,モデルの頑健さと英語における反事実バイアスの分析に使用される2つの摂動に基づくアプローチに応用する。
  論文  参考訳（メタデータ） (2021-04-12T06:57:36Z)
• Fake it Till You Make it: Self-Supervised Semantic Shifts for Monolingual Word Embedding Tasks [58.87961226278285]
  語彙意味変化をモデル化するための自己教師付きアプローチを提案する。 本手法は,任意のアライメント法を用いて意味変化の検出に利用できることを示す。 3つの異なるデータセットに対する実験結果を用いて,本手法の有用性について述べる。
  論文  参考訳（メタデータ） (2021-01-30T18:59:43Z)
• On the Sentence Embeddings from Pre-trained Language Models [78.45172445684126]
  本稿では,BERT埋め込みにおける意味情報が完全に活用されていないことを論じる。 BERTは常に文の非滑らかな異方性意味空間を誘導し,その意味的類似性を損なう。 本稿では,非教師対象で学習した正規化フローにより,異方性文の埋め込み分布を滑らかで等方性ガウス分布に変換することを提案する。
  論文  参考訳（メタデータ） (2020-11-02T13:14:57Z)
• Word Embeddings: Stability and Semantic Change [0.0]
  本稿では,過去10年で最も影響力のある埋め込み技術である word2vec, GloVe, fastText のトレーニングプロセスの不安定性について実験的に検討する。 本稿では,埋め込み手法の不安定性を記述する統計モデルを提案し,個々の単語の表現の不安定性を測定するための新しい指標を提案する。
  論文  参考訳（メタデータ） (2020-07-23T16:03:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。