論文の概要: Contextualized language models for semantic change detection: lessons learned

• arxiv url: http://arxiv.org/abs/2209.00154v1
• Date: Wed, 31 Aug 2022 23:35:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-02 13:44:03.062819
• Title: Contextualized language models for semantic change detection: lessons learned
• Title（参考訳）: 意味変化検出のための文脈化言語モデル:教訓
• Authors: Andrey Kutuzov, Erik Velldal, Lilja {\O}vrelid
• Abstract要約: 本稿では,ダイアクロニック・セマンティック・チェンジを検出する文脈的埋め込みに基づく手法の出力の質的分析を行う。 本研究の結果から,文脈化手法は,実際のダイアクロニック・セマンティック・シフトを行なわない単語に対して,高い変化スコアを予測できることが示唆された。 我々の結論は、事前学習された文脈化言語モデルは、語彙感覚の変化と文脈分散の変化を補う傾向にあるということである。
• 参考スコア（独自算出の注目度）: 4.436724861363513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a qualitative analysis of the (potentially erroneous) outputs of contextualized embedding-based methods for detecting diachronic semantic change. First, we introduce an ensemble method outperforming previously described contextualized approaches. This method is used as a basis for an in-depth analysis of the degrees of semantic change predicted for English words across 5 decades. Our findings show that contextualized methods can often predict high change scores for words which are not undergoing any real diachronic semantic shift in the lexicographic sense of the term (or at least the status of these shifts is questionable). Such challenging cases are discussed in detail with examples, and their linguistic categorization is proposed. Our conclusion is that pre-trained contextualized language models are prone to confound changes in lexicographic senses and changes in contextual variance, which naturally stem from their distributional nature, but is different from the types of issues observed in methods based on static embeddings. Additionally, they often merge together syntactic and semantic aspects of lexical entities. We propose a range of possible future solutions to these issues.
• Abstract（参考訳）: 本稿では,文脈化埋め込み型手法の(潜在的に誤った)出力を定性的に分析し,ダイアクロニックな意味変化を検出する。 まず,前述した文脈化アプローチに匹敵するアンサンブル手法を提案する。 この手法は,50年間の英単語で予測される意味変化の程度を詳細に分析する基盤として用いられる。 以上の結果から, 文脈化手法は, 語句の語彙的意味的意味的変化を起こさない単語に対して, 高い変化スコアをしばしば予測できることがわかった(少なくともこれらの変化の状況は疑わしい)。 このような困難な事例を実例で詳細に議論し,その言語分類について提案する。 結論として,事前学習された文脈化言語モデルでは,語彙感覚の変化や文脈分散の変化が自然に分布的性質から生じやすいが,静的埋め込みに基づく手法で観察される問題の種類とは異なる傾向がみられた。 さらに、それらはしばしば語彙エンティティの構文的側面と意味的側面を結合する。 これらの問題に対する様々な将来の解決策を提案する。

関連論文リスト

• Survey in Characterization of Semantic Change [0.1474723404975345]
  言葉の意味を理解することは、異なる文化からの文章を解釈するのに不可欠である。 意味的変化は、計算言語学アルゴリズムの結果の品質に影響を与える可能性がある。
  論文  参考訳（メタデータ） (2024-02-29T12:13:50Z)
• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• Reliable Detection and Quantification of Selective Forces in Language Change [3.55026004901472]
  我々は,最近導入された手法をコーパスデータに適用し,歴史的言語変化の特定の事例における選択の強さを定量化する。 本手法は,従来適用されてきた類似手法よりも信頼性が高く,解釈可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-25T10:20:15Z)
• Unsupervised Lexical Substitution with Decontextualised Embeddings [48.00929769805882]
  事前学習された言語モデルを用いた語彙置換の新しい教師なし手法を提案する。 本手法は,文脈的および非文脈的単語埋め込みの類似性に基づいて代用語を検索する。 我々は、英語とイタリア語で実験を行い、我々の手法が強いベースラインを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-09-17T03:51:47Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Grammatical Profiling for Semantic Change Detection [6.3596637237946725]
  文法的プロファイリングを意味変化検出の代替手法として用いている。 意味的変化の検出に使用することができ、また、いくつかの分布的意味的手法よりも優れていることを実証する。
  論文  参考訳（メタデータ） (2021-09-21T18:38:18Z)
• On the Faithfulness Measurements for Model Interpretations [100.2730234575114]
  ポストホックな解釈は、自然言語処理(NLP)モデルがどのように予測を行うかを明らかにすることを目的とする。 これらの問題に取り組むために,我々は,削除基準,解釈の感度,解釈の安定性という3つの基準から始める。 これらの忠実性概念のデシデラタムに動機づけられ、敵対的領域からのテクニックを採用する新しい解釈方法のクラスを導入する。
  論文  参考訳（メタデータ） (2021-04-18T09:19:44Z)
• Fake it Till You Make it: Self-Supervised Semantic Shifts for Monolingual Word Embedding Tasks [58.87961226278285]
  語彙意味変化をモデル化するための自己教師付きアプローチを提案する。 本手法は,任意のアライメント法を用いて意味変化の検出に利用できることを示す。 3つの異なるデータセットに対する実験結果を用いて,本手法の有用性について述べる。
  論文  参考訳（メタデータ） (2021-01-30T18:59:43Z)
• Lexical semantic change for Ancient Greek and Latin [61.69697586178796]
  歴史的文脈における単語の正しい意味の連想は、ダイアクロニック研究の中心的な課題である。 我々は、動的ベイズ混合モデルに基づくセマンティック変化に対する最近の計算的アプローチに基づいて構築する。 本研究では,動的ベイズ混合モデルと最先端埋め込みモデルとのセマンティックな変化を系統的に比較する。
  論文  参考訳（メタデータ） (2021-01-22T12:04:08Z)
• Multi-sense embeddings through a word sense disambiguation process [2.2344764434954256]
  最も適した感覚。 (MSSA)は、その文脈の意味的効果を考慮して、それぞれの単語をその特定の感覚で曖昧にし、注釈する。 我々は,単語類似性タスクの6つの異なるベンチマークでアプローチを検証し,そのアプローチが最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-01-21T16:22:34Z)
• Analysing Lexical Semantic Change with Contextualised Word Representations [7.071298726856781]
  本稿では,BERTニューラルネットワークモデルを用いて単語使用率の表現を求める手法を提案する。 我々は新しい評価データセットを作成し、モデル表現と検出された意味変化が人間の判断と正に相関していることを示す。
  論文  参考訳（メタデータ） (2020-04-29T12:18:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。