論文の概要: Cats climb entails mammals move: preserving hyponymy in compositional distributional semantics

• arxiv url: http://arxiv.org/abs/2005.14134v2
• Date: Fri, 29 May 2020 06:44:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-27 05:37:55.312089
• Title: Cats climb entails mammals move: preserving hyponymy in compositional distributional semantics
• Title（参考訳）: 猫の登頂は哺乳動物の動きを伴います:構成的分布意味論における低調の保存
• Authors: Gemma De las Cuevas and Andreas Klingler and Martha Lewis and Tim Netzer
• Abstract要約: 我々は、正半定値(psd)行列を用いて単語の類似性をモデル化し、偽名やis-a関係をモデル化する。 本稿では,より広い空間において行列を$Motimes M*$で構成する一般的な方法を提案する。 我々はこれらのルールを小文包含データセット上でテストし、Fuzz と Phaser の性能よりもいくつかの改善が見られた。
• 参考スコア（独自算出の注目度）: 1.8447697408534176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To give vector-based representations of meaning more structure, one approach is to use positive semidefinite (psd) matrices. These allow us to model similarity of words as well as the hyponymy or is-a relationship. Psd matrices can be learnt relatively easily in a given vector space $M\otimes M^*$, but to compose words to form phrases and sentences, we need representations in larger spaces. In this paper, we introduce a generic way of composing the psd matrices corresponding to words. We propose that psd matrices for verbs, adjectives, and other functional words be lifted to completely positive (CP) maps that match their grammatical type. This lifting is carried out by our composition rule called Compression, Compr. In contrast to previous composition rules like Fuzz and Phaser (a.k.a. KMult and BMult), Compr preserves hyponymy. Mathematically, Compr is itself a CP map, and is therefore linear and generally non-commutative. We give a number of proposals for the structure of Compr, based on spiders, cups and caps, and generate a range of composition rules. We test these rules on a small sentence entailment dataset, and see some improvements over the performance of Fuzz and Phaser.
• Abstract（参考訳）: より多くの構造を意味するベクトルベースの表現を与えるために、正の半定値(psd)行列を使う方法がある。 これにより、単語の類似性と偽善やis-aの関係をモデル化することができる。 Psd行列は与えられたベクトル空間$M\otimes M^*$で比較的容易に学習できるが、句や文を形成するために単語を構成するためには、より大きな空間での表現が必要である。 本稿では,単語に対応するpsd行列を構成する一般的な方法を紹介する。 本稿では,動詞,形容詞,その他の機能的単語に対するpsd行列を,その文法型に一致する正の(CP)マップに引き上げることを提案する。 このリフティングはCompression, Comprと呼ばれる私たちのコンポジションルールによって実行されます。 Fuzz や Phaser(別名 KMult や BMult)のような以前の構成規則とは対照的に、Compr は偽名を保存する。 数学的には、Compr はそれ自体 CP 写像であり、したがって線型で一般には非可換である。 我々は、クモ、カップ、キャップに基づくComprの構造に関するいくつかの提案を行い、様々な構成規則を生成する。 我々はこれらのルールを小文包含データセット上でテストし、Fuzz と Phaser の性能よりもいくつかの改善が見られた。

関連論文リスト

• Topological Interpretations of GPT-3 [0.0]
  本研究では,文ベクトルと文の意味的意味の相関関係を導出する一貫した手法について検討した。 我々はまず,GPT-3,Word2Vec,Sentence-BERTの3つの最先端単語/文埋め込み手法を用いた。 異なる埋め込み空間における同じ文の相関と,同じ埋め込み空間における異なる文の相関を観察した。
  論文  参考訳（メタデータ） (2023-08-07T13:16:42Z)
• Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
  事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。 まず,幾何学的観点から構成構造を理解するための枠組みを提案する。 次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
  論文  参考訳（メタデータ） (2023-02-28T08:11:56Z)
• Tsetlin Machine Embedding: Representing Words Using Logical Expressions [10.825099126920028]
  本稿では,論理節を自己教師する自動エンコーダについて紹介する。 節は、"black"、"cup"、"hot"のような文脈的な単語からなり、"coffee"のような他の単語を定義する。 我々は,GLoVeを6つの分類タスクで上回り,いくつかの内在的および外在的ベンチマークに対する埋め込み手法の評価を行った。
  論文  参考訳（メタデータ） (2023-01-02T15:02:45Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• Non-PSD Matrix Sketching with Applications to Regression and Optimization [56.730993511802865]
  非PSDおよび2乗根行列の次元削減法を提案する。 複数のダウンストリームタスクにこれらのテクニックをどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2021-06-16T04:07:48Z)
• On the Expressive Power of Self-Attention Matrices [41.72598286888797]
  固定自己アテンションモジュールは入力に応じて任意のスパースパターンを近似することができることを示す。 行列を近似するために適応的な入力と固定された自己アテンションパラメータを求めるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T16:30:28Z)
• Learning-Augmented Sketches for Hessians [54.97773807211337]
  第二次手法の文脈でヘッセンの学習スケッチを設計する方法を紹介します。 学習したスケッチは,「学習されていない」スケッチと比較して,重要な問題に対する近似精度が向上することを示す。
  論文  参考訳（メタデータ） (2021-02-24T14:50:59Z)
• On embedding Lambek calculus into commutative categorial grammars [0.0]
  我々は、古典的(直観主義的ではなく)線形論理に基づく「可換」文法の例であるテンソル文法を考える。 基本的な要素はテンソル項であり、証明ネットの符号化と一般化と見なすことができる。
  論文  参考訳（メタデータ） (2020-05-20T14:08:56Z)
• Anchor & Transform: Learning Sparse Embeddings for Large Vocabularies [60.285091454321055]
  我々は,アンカー埋め込みとスパース変換行列の小さな組を学習する,単純で効率的な埋め込みアルゴリズムを設計する。 テキスト分類、言語モデリング、映画レコメンデーションのベンチマークでは、ANTは大きな語彙サイズに特に適していることが示されている。
  論文  参考訳（メタデータ） (2020-03-18T13:07:51Z)
• Sketching Transformed Matrices with Applications to Natural Language Processing [76.6222695417524]
  本稿では, 変換行列を用いて, 与えられた小さな行列の積を計算するための空間効率のよいスケッチアルゴリズムを提案する。 提案手法は誤差が小さく,空間と時間の両方で効率がよいことを示す。
  論文  参考訳（メタデータ） (2020-02-23T03:07:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。