論文の概要: Multi-sense embeddings through a word sense disambiguation process

• arxiv url: http://arxiv.org/abs/2101.08700v1
• Date: Thu, 21 Jan 2021 16:22:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-21 07:57:58.145298
• Title: Multi-sense embeddings through a word sense disambiguation process
• Title（参考訳）: 単語感覚の曖昧化過程におけるマルチセンス埋め込み
• Authors: Terry Ruas, William Grosky, Aiko Aizawa
• Abstract要約: 最も適した感覚。 (MSSA)は、その文脈の意味的効果を考慮して、それぞれの単語をその特定の感覚で曖昧にし、注釈する。 我々は,単語類似性タスクの6つの異なるベンチマークでアプローチを検証し,そのアプローチが最先端の結果をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 2.2344764434954256
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Natural Language Understanding has seen an increasing number of publications in the last few years, especially after robust word embeddings models became prominent, when they proved themselves able to capture and represent semantic relationships from massive amounts of data. Nevertheless, traditional models often fall short in intrinsic issues of linguistics, such as polysemy and homonymy. Any expert system that makes use of natural language in its core, can be affected by a weak semantic representation of text, resulting in inaccurate outcomes based on poor decisions. To mitigate such issues, we propose a novel approach called Most Suitable Sense Annotation (MSSA), that disambiguates and annotates each word by its specific sense, considering the semantic effects of its context. Our approach brings three main contributions to the semantic representation scenario: (i) an unsupervised technique that disambiguates and annotates words by their senses, (ii) a multi-sense embeddings model that can be extended to any traditional word embeddings algorithm, and (iii) a recurrent methodology that allows our models to be re-used and their representations refined. We test our approach on six different benchmarks for the word similarity task, showing that our approach can produce state-of-the-art results and outperforms several more complex state-of-the-art systems.
• Abstract（参考訳）: 自然言語理解はここ数年で出版物が増えており、特に大量のデータから意味的関係を捉え、表現できることが証明され、強固な単語埋め込みモデルが顕著になった後である。 それにもかかわらず、伝統的なモデルはポリセミーやホモニミーのような言語学の本質的な問題において不足することが多い。 自然言語をコアとして使用するすべてのエキスパートシステムは、テキストの弱い意味表現に影響され、不正確な決定に基づく不正確な結果をもたらす。 そこで本研究では,文脈の意味的効果を考慮し,各単語を特定の意味で曖昧化・注釈化する,最も適切な意味アノテーション(mssa)と呼ばれる新しい手法を提案する。 提案手法は, 意味表現のシナリオに3つの寄与をもたらす: (i) 単語を知覚によって曖昧にし, 注釈づけする教師なし手法, (ii) 従来の単語埋め込みアルゴリズムに拡張可能なマルチセンス埋め込みモデル, (iii) モデルの再使用と表現の洗練を可能にする再帰的方法論。 我々は,単語類似性タスクのための6つの異なるベンチマークでアプローチを検証し,我々のアプローチが最先端の結果を生成し,さらに複雑な最先端システムより優れていることを示す。

関連論文リスト

• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• A Comprehensive Empirical Evaluation of Existing Word Embedding Approaches [5.065947993017158]
  既存の単語埋め込み手法の特徴を概説し,多くの分類タスクについて解析する。 伝統的なアプローチでは、主に単語表現を生成するために行列分解を使い、言語の意味的および構文的規則性をうまく捉えることができない。 一方、ニューラルネットワークに基づくアプローチは、言語の洗練された規則性を捕捉し、生成した単語表現における単語関係を保存することができる。
  論文  参考訳（メタデータ） (2023-03-13T15:34:19Z)
• Contextualized language models for semantic change detection: lessons learned [4.436724861363513]
  本稿では,ダイアクロニック・セマンティック・チェンジを検出する文脈的埋め込みに基づく手法の出力の質的分析を行う。 本研究の結果から,文脈化手法は,実際のダイアクロニック・セマンティック・シフトを行なわない単語に対して,高い変化スコアを予測できることが示唆された。 我々の結論は、事前学習された文脈化言語モデルは、語彙感覚の変化と文脈分散の変化を補う傾向にあるということである。
  論文  参考訳（メタデータ） (2022-08-31T23:35:24Z)
• Idiomatic Expression Identification using Semantic Compatibility [8.355785779504869]
  文が慣用的表現を持っているかどうかを検知し,それを局所化するタスクについて検討する。 本稿では,これらの表現を識別するためのアテンションフロー機構を備えた多段階ニューラルアーキテクチャを提案する。 このモデルの健全な特徴は、トレーニング中に見えないイディオムを識別できることであり、競争ベースラインよりも1.4%から30.8%向上している。
  論文  参考訳（メタデータ） (2021-10-19T15:44:28Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• Discrete representations in neural models of spoken language [56.29049879393466]
  音声言語の弱教師付きモデルの文脈における4つの一般的なメトリクスの利点を比較した。 異なる評価指標が矛盾する結果をもたらすことが分かりました。
  論文  参考訳（メタデータ） (2021-05-12T11:02:02Z)
• Language Models for Lexical Inference in Context [4.581468205348204]
  文脈における語彙推論(英: Lexical inference in context, LIiC)とは、2つの非常に類似した文間のテキストの含意を認識するタスクである。 本稿では,この課題に対する事前学習言語モデル(LM)に基づいて,最初のアプローチを定式化し,評価する。 LIiC に対する事前訓練による LM の可能性が示された。
  論文  参考訳（メタデータ） (2021-02-10T09:08:22Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Analysing Lexical Semantic Change with Contextualised Word Representations [7.071298726856781]
  本稿では,BERTニューラルネットワークモデルを用いて単語使用率の表現を求める手法を提案する。 我々は新しい評価データセットを作成し、モデル表現と検出された意味変化が人間の判断と正に相関していることを示す。
  論文  参考訳（メタデータ） (2020-04-29T12:18:14Z)
• How Far are We from Effective Context Modeling? An Exploratory Study on Semantic Parsing in Context [59.13515950353125]
  文法に基づく意味解析を行い,その上に典型的な文脈モデリング手法を適用する。 我々は,2つの大きなクロスドメインデータセットに対して,13のコンテキストモデリング手法を評価した。
  論文  参考訳（メタデータ） (2020-02-03T11:28:10Z)
• Multiplex Word Embeddings for Selectional Preference Acquisition [70.33531759861111]
  単語間の様々な関係に応じて容易に拡張できる多重単語埋め込みモデルを提案する。 本モデルでは,不必要なスパース性を導入することなく,関係の異なる単語を効果的に識別することができる。
  論文  参考訳（メタデータ） (2020-01-09T04:47:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。