論文の概要: Exploring the Combination of Contextual Word Embeddings and Knowledge Graph Embeddings

• arxiv url: http://arxiv.org/abs/2004.08371v1
• Date: Fri, 17 Apr 2020 17:49:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 10:14:36.279497
• Title: Exploring the Combination of Contextual Word Embeddings and Knowledge Graph Embeddings
• Title（参考訳）: 文脈的単語埋め込みと知識グラフ埋め込みの組み合わせの探索
• Authors: Lea Dieudonat, Kelvin Han, Phyllicia Leavitt, Esteban Marquer
• Abstract要約: 知識ベース(KB)の埋め込みは、単語によって示されるエンティティ間の明示的な関係をキャプチャするが、これらの単語のシナタマティックな特性を直接キャプチャすることはできない。 コンテキストとKBの埋め込みを併用した新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: ``Classical'' word embeddings, such as Word2Vec, have been shown to capture the semantics of words based on their distributional properties. However, their ability to represent the different meanings that a word may have is limited. Such approaches also do not explicitly encode relations between entities, as denoted by words. Embeddings of knowledge bases (KB) capture the explicit relations between entities denoted by words, but are not able to directly capture the syntagmatic properties of these words. To our knowledge, recent research have focused on representation learning that augment the strengths of one with the other. In this work, we begin exploring another approach using contextual and KB embeddings jointly at the same level and propose two tasks -- an entity typing and a relation typing task -- that evaluate the performance of contextual and KB embeddings. We also evaluated a concatenated model of contextual and KB embeddings with these two tasks, and obtain conclusive results on the first task. We hope our work may contribute as a basis for models and datasets that develop in the direction of this approach.
• Abstract（参考訳）: word2vec のような ``classical'' の単語埋め込みは、その分布特性に基づいて単語の意味を捉えることが示されている。 しかし、単語が持つ可能性のある異なる意味を表現する能力は限られている。 このようなアプローチは、単語で表されるように、エンティティ間の関係を明示的にエンコードしない。 知識ベース(KB)の埋め込みは、単語によって示されるエンティティ間の明示的な関係をキャプチャするが、これらの単語の構文的性質を直接キャプチャすることはできない。 我々の知る限り、近年の研究は、一方の強みを増大させる表現学習に焦点を当てている。 本研究では,コンテキスト埋め込みとKB埋め込みを同時に併用した別の手法を模索し,コンテキスト埋め込みとKB埋め込みのパフォーマンスを評価する2つのタスク,エンティティ型付けとリレーショナル型付けタスクを提案する。 また、これらの2つのタスクとコンテキストとKBの埋め込みの結合モデルを評価し、最初のタスクで決定的な結果を得る。 このアプローチの方向に発展するモデルとデータセットの基礎として、私たちの作業が貢献できることを期待しています。

関連論文リスト

• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• Multi-grained Label Refinement Network with Dependency Structures for Joint Intent Detection and Slot Filling [13.963083174197164]
  発話の意図と意味的構成要素は、文の構文的要素に依存する。 本稿では,依存性構造とラベルセマンティック埋め込みを利用した多層ラベル精細ネットワークについて検討する。 構文表現の強化を考慮し,グラフアテンション層による文の係り受け構造をモデルに導入する。
  論文  参考訳（メタデータ） (2022-09-09T07:27:38Z)
• Keywords and Instances: A Hierarchical Contrastive Learning Framework Unifying Hybrid Granularities for Text Generation [59.01297461453444]
  入力テキスト中のハイブリッドな粒度意味を統一する階層的コントラスト学習機構を提案する。 実験により,本モデルがパラフレージング,対話生成,ストーリーテリングタスクにおいて,競争ベースラインより優れていることが示された。
  論文  参考訳（メタデータ） (2022-05-26T13:26:03Z)
• Towards a Theoretical Understanding of Word and Relation Representation [8.020742121274418]
  ベクトルまたは埋め込みによる単語の表現は、計算的推論を可能にする。 テキストコーパスと知識グラフから学習した単語埋め込みに注目した。
  論文  参考訳（メタデータ） (2022-02-01T15:34:58Z)
• Task-Specific Dependency-based Word Embedding Methods [32.75244210656976]
  テキスト分類のための2つのタスク依存型単語埋め込み手法を提案する。 1つ目は、依存性ベースの単語埋め込み(DWE)と呼ばれ、単語コンテキスト行列を構築するコンテキストとして、依存関係解析ツリー内の対象単語のキーワードと隣接する単語を選択する。 CEDWE(class-enhanced dependency-based word embedded)と呼ばれる2つ目の手法は、単語コンテキストと単語クラス共起統計から学習する。
  論文  参考訳（メタデータ） (2021-10-26T03:09:41Z)
• ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning [97.10875695679499]
  そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。 実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:35:22Z)
• Model Choices Influence Attributive Word Associations: A Semi-supervised Analysis of Static Word Embeddings [0.0]
  本研究は、5つの異なる静的単語埋め込みアーキテクチャの属性的単語関連を評価することを目的とする。 その結果, 組込み学習における文脈学習のフレーバーの選択は, 学習コーパスにおける単語の関連性や単語の組込み感に影響を及ぼすことが明らかとなった。
  論文  参考訳（メタデータ） (2020-12-14T22:27:18Z)
• Cross-lingual Word Sense Disambiguation using mBERT Embeddings with Syntactic Dependencies [0.0]
  言語間の単語感覚の曖昧さ (WSD) は、与えられた文脈にまたがるあいまいな単語の曖昧さに対処する。 BERT埋め込みモデルは、単語の文脈情報に有効であることが証明されている。 このプロジェクトは、構文情報がどのようにBERT埋め込みに追加され、セマンティクスと構文を組み込んだ単語埋め込みの両方をもたらすかを調査します。
  論文  参考訳（メタデータ） (2020-12-09T20:22:11Z)
• Consensus-Aware Visual-Semantic Embedding for Image-Text Matching [69.34076386926984]
  画像テキストマッチングは、視覚と言語をブリッジする上で中心的な役割を果たす。 既存のアプローチのほとんどは、表現を学ぶためにイメージテキストインスタンスペアのみに依存しています。 コンセンサスを意識したビジュアル・セマンティック・エンベディングモデルを提案し,コンセンサス情報を組み込む。
  論文  参考訳（メタデータ） (2020-07-17T10:22:57Z)
• Multiplex Word Embeddings for Selectional Preference Acquisition [70.33531759861111]
  単語間の様々な関係に応じて容易に拡張できる多重単語埋め込みモデルを提案する。 本モデルでは,不必要なスパース性を導入することなく,関係の異なる単語を効果的に識別することができる。
  論文  参考訳（メタデータ） (2020-01-09T04:47:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。