論文の概要: Task-Specific Dependency-based Word Embedding Methods

• arxiv url: http://arxiv.org/abs/2110.13376v1
• Date: Tue, 26 Oct 2021 03:09:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-27 15:04:38.653023
• Title: Task-Specific Dependency-based Word Embedding Methods
• Title（参考訳）: タスク依存型単語埋め込み手法
• Authors: Chengwei Wei, Bin Wang, C.-C. Jay Kuo
• Abstract要約: テキスト分類のための2つのタスク依存型単語埋め込み手法を提案する。 1つ目は、依存性ベースの単語埋め込み(DWE)と呼ばれ、単語コンテキスト行列を構築するコンテキストとして、依存関係解析ツリー内の対象単語のキーワードと隣接する単語を選択する。 CEDWE(class-enhanced dependency-based word embedded)と呼ばれる2つ目の手法は、単語コンテキストと単語クラス共起統計から学習する。
• 参考スコア（独自算出の注目度）: 32.75244210656976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Two task-specific dependency-based word embedding methods are proposed for text classification in this work. In contrast with universal word embedding methods that work for generic tasks, we design task-specific word embedding methods to offer better performance in a specific task. Our methods follow the PPMI matrix factorization framework and derive word contexts from the dependency parse tree. The first one, called the dependency-based word embedding (DWE), chooses keywords and neighbor words of a target word in the dependency parse tree as contexts to build the word-context matrix. The second method, named class-enhanced dependency-based word embedding (CEDWE), learns from word-context as well as word-class co-occurrence statistics. DWE and CEDWE are evaluated on popular text classification datasets to demonstrate their effectiveness. It is shown by experimental results they outperform several state-of-the-art word embedding methods.
• Abstract（参考訳）: 本研究では,2つのタスク依存型単語埋め込み手法を提案する。 汎用タスクに適した普遍的な単語埋め込み方式とは対照的に,タスク固有の単語埋め込み方式を設計し,タスクの性能を向上させる。 提案手法はPPMI行列分解フレームワークに従って,依存関係解析木から単語コンテキストを導出する。 最初のものは依存性ベースの単語埋め込み(dwe)と呼ばれ、依存構文解析ツリー内の対象単語のキーワードと隣接単語をコンテキストとして選択し、単語コンテキストマトリックスを構築する。 CEDWE(class-enhanced dependency-based word embedded)と呼ばれる2つ目の方法は、単語コンテキストと単語クラス共起統計から学習する。 DWEとCEDWEは、一般的なテキスト分類データセットで評価され、その有効性を示す。 実験結果により, 最先端の単語埋め込み法よりも優れた性能を示した。

関連論文リスト

• A Comprehensive Empirical Evaluation of Existing Word Embedding Approaches [5.065947993017158]
  既存の単語埋め込み手法の特徴を概説し,多くの分類タスクについて解析する。 伝統的なアプローチでは、主に単語表現を生成するために行列分解を使い、言語の意味的および構文的規則性をうまく捉えることができない。 一方、ニューラルネットワークに基づくアプローチは、言語の洗練された規則性を捕捉し、生成した単語表現における単語関係を保存することができる。
  論文  参考訳（メタデータ） (2023-03-13T15:34:19Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• LexSubCon: Integrating Knowledge from Lexical Resources into Contextual Embeddings for Lexical Substitution [76.615287796753]
  本稿では,コンテキスト埋め込みモデルに基づくエンドツーエンドの語彙置換フレームワークであるLexSubConを紹介する。 これは文脈情報と構造化語彙資源からの知識を組み合わせることで達成される。 我々の実験によると、LexSubConはLS07とCoInCoベンチマークデータセットで従来の最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-07-11T21:25:56Z)
• Deriving Word Vectors from Contextualized Language Models using Topic-Aware Mention Selection [46.97185212695267]
  本稿では,この基本戦略に従って単語表現を学習する手法を提案する。 我々は、文脈を符号化するワードベクトルの袋ではなく、文脈化された言語モデル(CLM)を利用する。 この単純な戦略は、単語埋め込みや既存のCLMベースの戦略よりも意味的特性をより予測し、高品質な単語ベクトルに繋がることを示す。
  論文  参考訳（メタデータ） (2021-06-15T08:02:42Z)
• SemGloVe: Semantic Co-occurrences for GloVe from BERT [55.420035541274444]
  GloVeは単語共起行列からの統計情報を利用して単語埋め込みを学ぶ。 BERTから静的なGloVeワード埋め込みに意味的共起を蒸留するSemGloVeを提案します。
  論文  参考訳（メタデータ） (2020-12-30T15:38:26Z)
• Cross-lingual Word Sense Disambiguation using mBERT Embeddings with Syntactic Dependencies [0.0]
  言語間の単語感覚の曖昧さ (WSD) は、与えられた文脈にまたがるあいまいな単語の曖昧さに対処する。 BERT埋め込みモデルは、単語の文脈情報に有効であることが証明されている。 このプロジェクトは、構文情報がどのようにBERT埋め込みに追加され、セマンティクスと構文を組み込んだ単語埋め込みの両方をもたらすかを調査します。
  論文  参考訳（メタデータ） (2020-12-09T20:22:11Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)
• Comparative Analysis of Word Embeddings for Capturing Word Similarities [0.0]
  分散言語表現は、様々な自然言語処理タスクにおいて、言語表現において最も広く使われている技術となっている。 ディープラーニング技術に基づく自然言語処理モデルのほとんどは、単語埋め込みと呼ばれる、すでに訓練済みの分散単語表現を使用している。 適切な単語の埋め込みを選択することは 複雑な作業です なぜなら、投影された埋め込み空間は 人間にとって直感的ではないからです
  論文  参考訳（メタデータ） (2020-05-08T01:16:03Z)
• Exploring the Combination of Contextual Word Embeddings and Knowledge Graph Embeddings [0.0]
  知識ベース(KB)の埋め込みは、単語によって示されるエンティティ間の明示的な関係をキャプチャするが、これらの単語のシナタマティックな特性を直接キャプチャすることはできない。 コンテキストとKBの埋め込みを併用した新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-04-17T17:49:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。