論文の概要: A comprehensive comparative evaluation and analysis of Distributional Semantic Models

• arxiv url: http://arxiv.org/abs/2105.09825v1
• Date: Thu, 20 May 2021 15:18:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-21 13:48:27.514719
• Title: A comprehensive comparative evaluation and analysis of Distributional Semantic Models
• Title（参考訳）: 分布意味論モデルの総合的比較評価と解析
• Authors: Alessandro Lenci and Magnus Sahlgren and Patrick Jeuniaux and Amaru Cuba Gyllensten and Martina Miliani
• Abstract要約: 我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。 その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。 我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
• 参考スコア（独自算出の注目度）: 61.41800660636555
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Distributional semantics has deeply changed in the last decades. First, predict models stole the thunder from traditional count ones, and more recently both of them were replaced in many NLP applications by contextualized vectors produced by Transformer neural language models. Although an extensive body of research has been devoted to Distributional Semantic Model (DSM) evaluation, we still lack a thorough comparison with respect to tested models, semantic tasks, and benchmark datasets. Moreover, previous work has mostly focused on task-driven evaluation, instead of exploring the differences between the way models represent the lexical semantic space. In this paper, we perform a comprehensive evaluation of type distributional vectors, either produced by static DSMs or obtained by averaging the contextualized vectors generated by BERT. First of all, we investigate the performance of embeddings in several semantic tasks, carrying out an in-depth statistical analysis to identify the major factors influencing the behavior of DSMs. The results show that i.) the alleged superiority of predict based models is more apparent than real, and surely not ubiquitous and ii.) static DSMs surpass contextualized representations in most out-of-context semantic tasks and datasets. Furthermore, we borrow from cognitive neuroscience the methodology of Representational Similarity Analysis (RSA) to inspect the semantic spaces generated by distributional models. RSA reveals important differences related to the frequency and part-of-speech of lexical items.
• Abstract（参考訳）: 分布セマンティクスは過去数十年で大きく変化した。 まず、予測モデルが従来のカウントモデルから雷を盗み、最近ではトランスフォーマーニューラルネットワークモデルによって生成された文脈化されたベクトルによって、多くのNLPアプリケーションに置き換えられた。 分散セマンティックモデル(DSM)の評価に多くの研究が注がれてきたが、テストモデル、セマンティックタスク、ベンチマークデータセットに対する徹底的な比較はいまだに欠けている。 さらに、従来の研究は、語彙意味空間の表現方法の違いを探るのではなく、タスク駆動評価に主に焦点を当ててきた。 本稿では,静的dsmで生成するか,bertで生成したコンテクスト化ベクトルを平均化することによって得られる型分布ベクトルの包括的評価を行う。 まず,DSMの動作に影響を及ぼす要因を特定するために,複数の意味的タスクに埋め込まれた埋め込みの性能を調査し,詳細な統計分析を行った。 結果は、i)。 予測に基づくモデルの優越性は、現実よりも明らかで、確実にユビキタスでiiではない。 静的DSMは、コンテキスト外のセマンティックタスクやデータセットでコンテキスト化された表現を超越します。 さらに,認知神経科学から表現的類似性分析(rsa)の方法論を借用し,分布モデルによって生成された意味空間を検証した。 RSAは語彙項目の頻度とパート・オブ・スペルに関連する重要な違いを明らかにした。

関連論文リスト

• MAUVE Scores for Generative Models: Theory and Practice [95.86006777961182]
  本報告では,テキストや画像の生成モデルで発生するような分布のペア間の比較尺度であるMAUVEについて述べる。 我々は、MAUVEが人間の文章の分布と現代のニューラル言語モデルとのギャップを定量化できることを発見した。 我々は、MAUVEが既存のメトリクスと同等以上の画像の既知の特性を識別できることを視覚領域で実証する。
  論文  参考訳（メタデータ） (2022-12-30T07:37:40Z)
• Learning Semantic Textual Similarity via Topic-informed Discrete Latent Variables [17.57873577962635]
  我々は、意味的テキスト類似性のためのトピックインフォームド離散潜在変数モデルを開発した。 我々のモデルはベクトル量子化による文対表現のための共有潜在空間を学習する。 我々のモデルは意味的テキスト類似性タスクにおいて、いくつかの強力な神経ベースラインを超えることができることを示す。
  論文  参考訳（メタデータ） (2022-11-07T15:09:58Z)
• Testing Pre-trained Language Models' Understanding of Distributivity via Causal Mediation Analysis [13.07356367140208]
  自然言語推論のための新しい診断データセットであるDistNLIを紹介する。 モデルの理解の範囲は、モデルのサイズと語彙のサイズと関連していることがわかった。
  論文  参考訳（メタデータ） (2022-09-11T00:33:28Z)
• A Cognitive Study on Semantic Similarity Analysis of Large Corpora: A Transformer-based Approach [0.0]
  我々は,従来の技術とトランスフォーマー技術の両方を用いて,米国特許法とPhrase Matchingデータセットのセマンティック類似性解析とモデリングを行う。 実験の結果,従来の手法と比較して手法の性能が向上し,平均ピアソン相関スコアは0.79。
  論文  参考訳（メタデータ） (2022-07-24T11:06:56Z)
• ER: Equivariance Regularizer for Knowledge Graph Completion [107.51609402963072]
  我々は、新しい正規化器、すなわち等分散正規化器(ER)を提案する。 ERは、頭と尾のエンティティ間の意味的等価性を利用することで、モデルの一般化能力を高めることができる。 実験結果から,最先端関係予測法よりも明確かつ実質的な改善が示された。
  論文  参考訳（メタデータ） (2022-06-24T08:18:05Z)
• Nonparametric Functional Analysis of Generalized Linear Models Under Nonlinear Constraints [0.0]
  本稿では、一般化線形モデルのための新しい非パラメトリック方法論を紹介する。 これは二項回帰の強さとカテゴリーデータに対する潜在変数の定式化の強さを組み合わせたものである。 これは最近公開された方法論のパラメトリックバージョンを拡張し、一般化する。
  論文  参考訳（メタデータ） (2021-10-11T04:49:59Z)
• Did the Cat Drink the Coffee? Challenging Transformers with Generalized Event Knowledge [59.22170796793179]
  Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。 以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。 しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
  論文  参考訳（メタデータ） (2021-07-22T20:52:26Z)
• On the Lack of Robust Interpretability of Neural Text Classifiers [14.685352584216757]
  本研究では,事前学習したトランスフォーマーエンコーダをベースとしたニューラルテキスト分類器の解釈の堅牢性を評価する。 どちらのテストも、期待された行動から驚くほど逸脱しており、実践者が解釈から引き出す可能性のある洞察の程度について疑問を呈している。
  論文  参考訳（メタデータ） (2021-06-08T18:31:02Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。