論文の概要: Lexical semantics enhanced neural word embeddings

• arxiv url: http://arxiv.org/abs/2210.00754v1
• Date: Mon, 3 Oct 2022 08:10:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 15:07:38.544199
• Title: Lexical semantics enhanced neural word embeddings
• Title（参考訳）: 語彙意味論によるニューラルワードの埋め込み
• Authors: Dongqiang Yang, Ning Li, Li Zou, Hongwei Ma
• Abstract要約: 階層的適合は、IS-A階層に本質的に格納されている意味的類似性ニュアンスをモデル化するための新しいアプローチである。 その結果、後期核融合における意味的関係を持つ神経埋め込みを専門とする階層化の有効性が示された。
• 参考スコア（独自算出の注目度）: 4.040491121427623
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Current breakthroughs in natural language processing have benefited dramatically from neural language models, through which distributional semantics can leverage neural data representations to facilitate downstream applications. Since neural embeddings use context prediction on word co-occurrences to yield dense vectors, they are inevitably prone to capture more semantic association than semantic similarity. To improve vector space models in deriving semantic similarity, we post-process neural word embeddings through deep metric learning, through which we can inject lexical-semantic relations, including syn/antonymy and hypo/hypernymy, into a distributional space. We introduce hierarchy-fitting, a novel semantic specialization approach to modelling semantic similarity nuances inherently stored in the IS-A hierarchies. Hierarchy-fitting attains state-of-the-art results on the common- and rare-word benchmark datasets for deriving semantic similarity from neural word embeddings. It also incorporates an asymmetric distance function to specialize hypernymy's directionality explicitly, through which it significantly improves vanilla embeddings in multiple evaluation tasks of detecting hypernymy and directionality without negative impacts on semantic similarity judgement. The results demonstrate the efficacy of hierarchy-fitting in specializing neural embeddings with semantic relations in late fusion, potentially expanding its applicability to aggregating heterogeneous data and various knowledge resources for learning multimodal semantic spaces.
• Abstract（参考訳）: 現在の自然言語処理のブレークスルーは、分散セマンティクスが下流アプリケーションを容易にするためにニューラルネットワーク表現を活用できる、ニューラルネットワークモデルから劇的に恩恵を受けている。 ニューラル組込みは単語共起の文脈予測を用いて密接なベクトルを生成するため、必然的に意味的類似性よりも意味的関連を捉えやすい。 意味的類似性を導出するベクトル空間モデルを改善するため,我々は深層学習を通じてニューラルネットワークの埋め込みを後処理し,シン・アンソニーや偽・ハイペルナミーを含む語彙・セマンティックな関係を分布空間に注入する。 我々は、IS-A階層に固有の意味的類似性ニュアンスをモデル化するための、新しい意味的特化手法である階層最適化を導入する。 Hierarchy-fittingは、ニューラルネットワークの埋め込みから意味的類似性を引き出すために、一般的で希少なベンチマークデータセットで最先端の結果を得る。 また、非対称距離関数を導入して、ハイパーナミーの方向を明示的に特定し、セマンティック類似性判定に悪影響を与えることなく、複数の評価タスクにおけるバニラ埋め込みを著しく改善する。 その結果、後期融合における神経組込みと意味関係の特殊化における階層的適合の有効性が示され、多変量データや様々な知識資源を集約して多様意味空間を学習する可能性が高まっている。

関連論文リスト

• Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
  このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。 記号の配置に非依存であり、それによって表現される意味論にのみ依存する。 識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
  論文  参考訳（メタデータ） (2024-05-12T22:18:25Z)
• Agentivit\`a e telicit\`a in GilBERTo: implicazioni cognitive [77.71680953280436]
  本研究の目的は,トランスフォーマーに基づくニューラルネットワークモデルが語彙意味論を推論するかどうかを検討することである。 考慮される意味的性質は、テリシティ(定性とも組み合わされる)と作用性である。
  論文  参考訳（メタデータ） (2023-07-06T10:52:22Z)
• Constructing Word-Context-Coupled Space Aligned with Associative Knowledge Relations for Interpretable Language Modeling [0.0]
  事前訓練された言語モデルにおけるディープニューラルネットワークのブラックボックス構造は、言語モデリングプロセスの解釈可能性を大幅に制限する。 解釈不能なニューラル表現と解釈不能な統計論理のアライメント処理を導入することで,ワードコンテキスト結合空間(W2CSpace)を提案する。 我々の言語モデルは,関連する最先端手法と比較して,優れた性能と信頼性の高い解釈能力を実現することができる。
  論文  参考訳（メタデータ） (2023-05-19T09:26:02Z)
• Disentangling Learnable and Memorizable Data via Contrastive Learning for Semantic Communications [81.10703519117465]
  セマンティック・レディにするために、ソースデータをアンタングルする新しい機械推論フレームワークが提案されている。 特に、データ上でインスタンスとクラスタの識別を行う新しいコントラスト学習フレームワークが提案されている。 信頼度の高い深いセマンティッククラスタは、学習可能でセマンティックリッチなデータだと考えられている。 シミュレーションの結果は, セマンティック・インパクトとミニマリズムの観点から, コントラスト学習アプローチの優位性を示した。
  論文  参考訳（メタデータ） (2022-12-18T12:00:12Z)
• Synonym Detection Using Syntactic Dependency And Neural Embeddings [3.0770051635103974]
  ベクトル空間モデルを用いた分布意味論の導出における構文依存の役割について検討する。 本研究は,ニューラルネットワークへの人間のコンパイルした意味知識の注入が分散分布の類似性に及ぼす影響について検討する。 この結果から,構文的条件付きコンテキストは,非条件付きコンテキストよりも語彙的意味論の解釈が優れていることが示唆された。
  論文  参考訳（メタデータ） (2022-09-30T03:16:41Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• Multi-Scale Feature and Metric Learning for Relation Extraction [15.045539169021092]
  関係抽出のためのマルチスケール特徴量学習フレームワークを提案する。 具体的には、まず、語彙列の非不要な主構造を集約するマルチスケール畳み込みニューラルネットワークを開発する。 また,特定の構文的役割に対する受容場を増大させるマルチスケールグラフ畳み込みネットワークを設計する。
  論文  参考訳（メタデータ） (2021-07-28T15:14:36Z)
• Preliminary study on using vector quantization latent spaces for TTS/VC systems with consistent performance [55.10864476206503]
  本稿では,潜在言語埋め込みをモデル化するための量子化ベクトルの利用について検討する。 トレーニングにおいて、潜伏空間上の異なるポリシーを強制することにより、潜伏言語埋め込みを得ることができる。 実験の結果,ベクトル量子化法で構築した音声クローニングシステムは,知覚的評価の点でわずかに劣化していることがわかった。
  論文  参考訳（メタデータ） (2021-06-25T07:51:35Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)
• Distributional semantic modeling: a revised technique to train term/word vector space models applying the ontology-related approach [36.248702416150124]
  ニューラルネットワークを用いた分散項表現(あるいは項埋め込み)学習による分布意味モデリングのための新しい手法を設計する。 Vec2graphは、動的かつインタラクティブなグラフとして単語埋め込み(私たちの場合の長期埋め込み)を視覚化するためのPythonライブラリである。
  論文  参考訳（メタデータ） (2020-03-06T18:27:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。