論文の概要: Multi-Relational Hyperbolic Word Embeddings from Natural Language
Definitions
- arxiv url: http://arxiv.org/abs/2305.07303v1
- Date: Fri, 12 May 2023 08:16:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-15 13:47:37.147798
- Title: Multi-Relational Hyperbolic Word Embeddings from Natural Language
Definitions
- Title(参考訳): 自然言語定義からの多関係双曲語埋め込み
- Authors: Marco Valentino, Danilo S. Carvalho, Andr\'e Freitas
- Abstract要約: 本稿では,自然言語定義からのみ単語埋め込みを学習するための,ニューロシンボリックな多関係フレームワークを提案する。
経験的分析により、フレームワークは、制御可能で解釈可能なセマンティックナビゲーションに必要なマッピングを保持しながら、望ましい構造的制約を課すのに役立つことが示される。
- 参考スコア(独自算出の注目度): 2.363388546004777
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural-based word embeddings using solely distributional information have
consistently produced useful meaning representations for downstream tasks.
However, existing approaches often result in representations that are hard to
interpret and control. Natural language definitions, on the other side, possess
a recursive, self-explanatory semantic structure that can support novel
representation learning paradigms able to preserve explicit conceptual
relations and constraints in the vector space.
This paper proposes a neuro-symbolic, multi-relational framework to learn
word embeddings exclusively from natural language definitions by jointly
mapping defined and defining terms along with their corresponding semantic
relations. By automatically extracting the relations from definitions corpora
and formalising the learning problem via a translational objective, we
specialise the framework in hyperbolic space to capture the hierarchical and
multi-resolution structure induced by the definitions. An extensive empirical
analysis demonstrates that the framework can help impose the desired structural
constraints while preserving the mapping required for controllable and
interpretable semantic navigation. Moreover, the experiments reveal the
superiority of the hyperbolic word embeddings over the euclidean counterparts
and demonstrate that the multi-relational framework can obtain competitive
results when compared to state-of-the-art neural approaches (including
Transformers), with the advantage of being significantly more efficient and
intrinsically interpretable.
- Abstract(参考訳): 分散情報のみを用いたニューラルネットワークによる単語埋め込みは、下流タスクに有用な意味表現を一貫して作り出している。
しかし、既存のアプローチはしばしば解釈や制御が難しい表現をもたらす。
一方、自然言語の定義は再帰的で自己説明的な意味構造を持ち、ベクトル空間における明示的な概念的関係と制約を保存できる新しい表現学習パラダイムをサポートすることができる。
本稿では,言語定義からのみ単語の埋め込みを学習する,ニューロシンボリック・マルチリレーショナルなフレームワークを提案する。
定義コーパスから自動的に関係を抽出し,翻訳目的によって学習問題を定式化することにより,定義によって引き起こされる階層構造とマルチレゾリューション構造を捉えるために,双曲空間の枠組みを専門化する。
広範な経験的分析により、フレームワークは、制御可能で解釈可能なセマンティックナビゲーションに必要なマッピングを保持しながら、望ましい構造的制約を課すのに役立つことが示される。
さらに, この実験により, ユークリッド語に対する双曲語埋め込みの優位性が明らかになり, 多関係フレームワークは, 最先端のニューラルネットワーク(トランスフォーマーを含む)と比較して, より効率的かつ本質的に解釈可能な利点を享受できることを示した。
関連論文リスト
- An Encoding of Abstract Dialectical Frameworks into Higher-Order Logic [57.24311218570012]
このアプローチは抽象弁証法フレームワークのコンピュータ支援分析を可能にする。
応用例としては、メタ理論的性質の形式的解析と検証がある。
論文 参考訳(メタデータ) (2023-12-08T09:32:26Z) - How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。
その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。
多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
論文 参考訳(メタデータ) (2023-11-14T08:51:00Z) - Prompt-based Logical Semantics Enhancement for Implicit Discourse
Relation Recognition [4.7938839332508945]
Inlicit Discourse Relation Recognition (IDRR) のための Prompt-based Logical Semantics Enhancement (PLSE) 法を提案する。
提案手法は,事前学習した言語モデルに対する対話関係に関する知識を,素早い接続予測によってシームレスに注入する。
PDTB 2.0 と CoNLL16 データセットによる実験結果から,本手法は現状の最先端モデルに対して優れた一貫した性能を発揮することが示された。
論文 参考訳(メタデータ) (2023-11-01T08:38:08Z) - Constructing Word-Context-Coupled Space Aligned with Associative
Knowledge Relations for Interpretable Language Modeling [0.0]
事前訓練された言語モデルにおけるディープニューラルネットワークのブラックボックス構造は、言語モデリングプロセスの解釈可能性を大幅に制限する。
解釈不能なニューラル表現と解釈不能な統計論理のアライメント処理を導入することで,ワードコンテキスト結合空間(W2CSpace)を提案する。
我々の言語モデルは,関連する最先端手法と比較して,優れた性能と信頼性の高い解釈能力を実現することができる。
論文 参考訳(メタデータ) (2023-05-19T09:26:02Z) - A Comprehensive Empirical Evaluation of Existing Word Embedding
Approaches [5.065947993017158]
既存の単語埋め込み手法の特徴を概説し,多くの分類タスクについて解析する。
伝統的なアプローチでは、主に単語表現を生成するために行列分解を使い、言語の意味的および構文的規則性をうまく捉えることができない。
一方、ニューラルネットワークに基づくアプローチは、言語の洗練された規則性を捕捉し、生成した単語表現における単語関係を保存することができる。
論文 参考訳(メタデータ) (2023-03-13T15:34:19Z) - Variational Cross-Graph Reasoning and Adaptive Structured Semantics
Learning for Compositional Temporal Grounding [143.5927158318524]
テンポラルグラウンドティング(Temporal grounding)とは、クエリ文に従って、未編集のビデオから特定のセグメントを特定するタスクである。
新たに構成時間グラウンドタスクを導入し,2つの新しいデータセット分割を構築した。
ビデオや言語に内在する構造的意味論は、構成的一般化を実現する上で重要な要素である、と我々は主張する。
論文 参考訳(メタデータ) (2023-01-22T08:02:23Z) - Neural Abstructions: Abstractions that Support Construction for Grounded
Language Learning [69.1137074774244]
言語の相互作用を効果的に活用するには、言語基底に対する2つの最も一般的なアプローチの制限に対処する必要がある。
本稿では,ラベル条件付き生成モデルの推論手順に対する制約のセットであるニューラル・アブストラクションの考え方を紹介する。
この手法により,マインクラフトにおけるオープンエンドハウスタスクのセマンティックな変更をユーザ人口が構築できることが示される。
論文 参考訳(メタデータ) (2021-07-20T07:01:15Z) - Modelling Compositionality and Structure Dependence in Natural Language [0.12183405753834563]
言語学と集合論に基づいて、これらの概念の形式化がこの論文の前半で述べられている。
言語処理を行う認知システムは,特定の機能的制約を持つ必要がある。
単語埋め込み技術の進歩を利用して、関係学習のモデルがシミュレートされる。
論文 参考訳(メタデータ) (2020-11-22T17:28:50Z) - Emergence of Syntax Needs Minimal Supervision [0.0]
本論は,構文特異的ガイダンスを含まないコーパスからの構文の学習性に関する議論に理論的に寄与する。
提案手法は,文法的情報(シンタクティック情報)と意味・実践的情報を定義するために用いられるコーパスの可観測構造から導かれる。
論文 参考訳(メタデータ) (2020-05-03T15:38:33Z) - A Dependency Syntactic Knowledge Augmented Interactive Architecture for
End-to-End Aspect-based Sentiment Analysis [73.74885246830611]
エンドツーエンドABSAのためのマルチタスク学習を用いた対話型アーキテクチャを新たに提案する。
このモデルは、よく設計された依存性関係埋め込みグラフ畳み込みネットワーク(DreGcn)を活用することで、構文知識(依存性関係と型)を完全に活用することができる。
3つのベンチマークデータセットの大規模な実験結果から,本手法の有効性が示された。
論文 参考訳(メタデータ) (2020-04-04T14:59:32Z) - Multiplex Word Embeddings for Selectional Preference Acquisition [70.33531759861111]
単語間の様々な関係に応じて容易に拡張できる多重単語埋め込みモデルを提案する。
本モデルでは,不必要なスパース性を導入することなく,関係の異なる単語を効果的に識別することができる。
論文 参考訳(メタデータ) (2020-01-09T04:47:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。