論文の概要: Multi-Relational Hyperbolic Word Embeddings from Natural Language Definitions

• arxiv url: http://arxiv.org/abs/2305.07303v1
• Date: Fri, 12 May 2023 08:16:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-15 13:47:37.147798
• Title: Multi-Relational Hyperbolic Word Embeddings from Natural Language Definitions
• Title（参考訳）: 自然言語定義からの多関係双曲語埋め込み
• Authors: Marco Valentino, Danilo S. Carvalho, Andr\'e Freitas
• Abstract要約: 本稿では,自然言語定義からのみ単語埋め込みを学習するための,ニューロシンボリックな多関係フレームワークを提案する。 経験的分析により、フレームワークは、制御可能で解釈可能なセマンティックナビゲーションに必要なマッピングを保持しながら、望ましい構造的制約を課すのに役立つことが示される。
• 参考スコア（独自算出の注目度）: 2.363388546004777
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural-based word embeddings using solely distributional information have consistently produced useful meaning representations for downstream tasks. However, existing approaches often result in representations that are hard to interpret and control. Natural language definitions, on the other side, possess a recursive, self-explanatory semantic structure that can support novel representation learning paradigms able to preserve explicit conceptual relations and constraints in the vector space. This paper proposes a neuro-symbolic, multi-relational framework to learn word embeddings exclusively from natural language definitions by jointly mapping defined and defining terms along with their corresponding semantic relations. By automatically extracting the relations from definitions corpora and formalising the learning problem via a translational objective, we specialise the framework in hyperbolic space to capture the hierarchical and multi-resolution structure induced by the definitions. An extensive empirical analysis demonstrates that the framework can help impose the desired structural constraints while preserving the mapping required for controllable and interpretable semantic navigation. Moreover, the experiments reveal the superiority of the hyperbolic word embeddings over the euclidean counterparts and demonstrate that the multi-relational framework can obtain competitive results when compared to state-of-the-art neural approaches (including Transformers), with the advantage of being significantly more efficient and intrinsically interpretable.
• Abstract（参考訳）: 分散情報のみを用いたニューラルネットワークによる単語埋め込みは、下流タスクに有用な意味表現を一貫して作り出している。 しかし、既存のアプローチはしばしば解釈や制御が難しい表現をもたらす。 一方、自然言語の定義は再帰的で自己説明的な意味構造を持ち、ベクトル空間における明示的な概念的関係と制約を保存できる新しい表現学習パラダイムをサポートすることができる。 本稿では,言語定義からのみ単語の埋め込みを学習する,ニューロシンボリック・マルチリレーショナルなフレームワークを提案する。 定義コーパスから自動的に関係を抽出し,翻訳目的によって学習問題を定式化することにより,定義によって引き起こされる階層構造とマルチレゾリューション構造を捉えるために,双曲空間の枠組みを専門化する。 広範な経験的分析により、フレームワークは、制御可能で解釈可能なセマンティックナビゲーションに必要なマッピングを保持しながら、望ましい構造的制約を課すのに役立つことが示される。 さらに, この実験により, ユークリッド語に対する双曲語埋め込みの優位性が明らかになり, 多関係フレームワークは, 最先端のニューラルネットワーク(トランスフォーマーを含む)と比較して, より効率的かつ本質的に解釈可能な利点を享受できることを示した。

関連論文リスト

• Probabilistic Lexical Manifold Construction in Large Language Models via Hierarchical Vector Field Interpolation [0.0]
  提案手法は,単語表現が位相的整合性に従属する確率関数空間を構築する。 確率制約は、文脈関係を洗練することによって語彙コヒーレンスを高め、複数の言語分布における意味的安定性を改善する。 計算効率の評価では、表現は小さな処理オーバーヘッドをもたらすが、構造化された表現学習アプローチは実用的展開にはスケーラブルである。
  論文  参考訳（メタデータ） (2025-02-14T08:47:10Z)
• Lexical Manifold Reconfiguration in Large Language Models: A Novel Architectural Approach for Contextual Modulation [0.0]
  連続的な幾何学的変換を通じてトークン埋め込みを動的に再構成するための構造化手法を開発した。 多様体をベースとした変換機構は、語彙的位置決めを規制するために統合され、埋め込みは制御されたシフトを受けることができる。 経験的評価により, 組込み再構成は難易度低減, 語彙コヒーレンスの改善, 文レベルの連続性の向上に寄与した。
  論文  参考訳（メタデータ） (2025-02-12T22:11:07Z)
• Hierarchical Lexical Manifold Projection in Large Language Models: A Novel Mechanism for Multi-Scale Semantic Representation [0.0]
  構造的階層的埋め込みをトランスフォーマーベースのアーキテクチャに統合することで、語彙表現に対する洗練されたアプローチが導入された。 トークンを構造化多様体にマッピングする射影機構は、改善された語彙アライメントを提供する。 埋め込みの洗練された階層構造は、語彙モデリングにおいてより大きな解釈可能性をもたらす。
  論文  参考訳（メタデータ） (2025-02-08T00:49:32Z)
• An Encoding of Abstract Dialectical Frameworks into Higher-Order Logic [57.24311218570012]
  このアプローチは抽象弁証法フレームワークのコンピュータ支援分析を可能にする。 応用例としては、メタ理論的性質の形式的解析と検証がある。
  論文  参考訳（メタデータ） (2023-12-08T09:32:26Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• Prompt-based Logical Semantics Enhancement for Implicit Discourse Relation Recognition [4.7938839332508945]
  Inlicit Discourse Relation Recognition (IDRR) のための Prompt-based Logical Semantics Enhancement (PLSE) 法を提案する。 提案手法は,事前学習した言語モデルに対する対話関係に関する知識を,素早い接続予測によってシームレスに注入する。 PDTB 2.0 と CoNLL16 データセットによる実験結果から,本手法は現状の最先端モデルに対して優れた一貫した性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-11-01T08:38:08Z)
• Variational Cross-Graph Reasoning and Adaptive Structured Semantics Learning for Compositional Temporal Grounding [143.5927158318524]
  テンポラルグラウンドティング(Temporal grounding)とは、クエリ文に従って、未編集のビデオから特定のセグメントを特定するタスクである。 新たに構成時間グラウンドタスクを導入し,2つの新しいデータセット分割を構築した。 ビデオや言語に内在する構造的意味論は、構成的一般化を実現する上で重要な要素である、と我々は主張する。
  論文  参考訳（メタデータ） (2023-01-22T08:02:23Z)
• Neural Abstructions: Abstractions that Support Construction for Grounded Language Learning [69.1137074774244]
  言語の相互作用を効果的に活用するには、言語基底に対する2つの最も一般的なアプローチの制限に対処する必要がある。 本稿では,ラベル条件付き生成モデルの推論手順に対する制約のセットであるニューラル・アブストラクションの考え方を紹介する。 この手法により,マインクラフトにおけるオープンエンドハウスタスクのセマンティックな変更をユーザ人口が構築できることが示される。
  論文  参考訳（メタデータ） (2021-07-20T07:01:15Z)
• Modelling Compositionality and Structure Dependence in Natural Language [0.12183405753834563]
  言語学と集合論に基づいて、これらの概念の形式化がこの論文の前半で述べられている。 言語処理を行う認知システムは,特定の機能的制約を持つ必要がある。 単語埋め込み技術の進歩を利用して、関係学習のモデルがシミュレートされる。
  論文  参考訳（メタデータ） (2020-11-22T17:28:50Z)
• A Dependency Syntactic Knowledge Augmented Interactive Architecture for End-to-End Aspect-based Sentiment Analysis [73.74885246830611]
  エンドツーエンドABSAのためのマルチタスク学習を用いた対話型アーキテクチャを新たに提案する。 このモデルは、よく設計された依存性関係埋め込みグラフ畳み込みネットワーク(DreGcn)を活用することで、構文知識(依存性関係と型)を完全に活用することができる。 3つのベンチマークデータセットの大規模な実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-04-04T14:59:32Z)
• Multiplex Word Embeddings for Selectional Preference Acquisition [70.33531759861111]
  単語間の様々な関係に応じて容易に拡張できる多重単語埋め込みモデルを提案する。 本モデルでは,不必要なスパース性を導入することなく,関係の異なる単語を効果的に識別することができる。
  論文  参考訳（メタデータ） (2020-01-09T04:47:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。