論文の概要: Uncovering Meanings of Embeddings via Partial Orthogonality
- arxiv url: http://arxiv.org/abs/2310.17611v1
- Date: Thu, 26 Oct 2023 17:34:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-27 18:37:31.576937
- Title: Uncovering Meanings of Embeddings via Partial Orthogonality
- Title(参考訳): 部分直交による埋め込みの意味の解明
- Authors: Yibo Jiang, Bryon Aragam, Victor Veitch
- Abstract要約: 機械学習ツールは、しばしば実数のベクトルとしてテキストを埋め込むことに依存している。
このような埋め込みの代数構造において,言語の意味構造がどのように符号化されているかを検討する。
- 参考スコア(独自算出の注目度): 29.190972879474526
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning tools often rely on embedding text as vectors of real
numbers. In this paper, we study how the semantic structure of language is
encoded in the algebraic structure of such embeddings. Specifically, we look at
a notion of ``semantic independence'' capturing the idea that, e.g.,
``eggplant'' and ``tomato'' are independent given ``vegetable''. Although such
examples are intuitive, it is difficult to formalize such a notion of semantic
independence. The key observation here is that any sensible formalization
should obey a set of so-called independence axioms, and thus any algebraic
encoding of this structure should also obey these axioms. This leads us
naturally to use partial orthogonality as the relevant algebraic structure. We
develop theory and methods that allow us to demonstrate that partial
orthogonality does indeed capture semantic independence. Complementary to this,
we also introduce the concept of independence preserving embeddings where
embeddings preserve the conditional independence structures of a distribution,
and we prove the existence of such embeddings and approximations to them.
- Abstract(参考訳): 機械学習ツールは、多くの場合、テキストを実数のベクトルとして埋め込む。
本稿では,そのような埋め込みの代数構造において,言語の意味構造がどのように符号化されているかを検討する。
具体的には、例えば、'eggplant'' と 'tomato'' は ``vegetable'' に対して独立であるという考えを捉えた `semantic independence'' の概念を考察する。
このような例は直感的であるが、そのような意味的独立の概念を形式化するのは難しい。
ここでの重要な観察は、任意の有理形式化はいわゆる独立公理の集合に従うべきであり、したがってこの構造の代数的符号化もこれらの公理に従うべきであるということである。
これにより自然に部分直交を関連する代数構造として用いることができる。
我々は、部分直交が意味的独立を実際に捉えることを証明できる理論と方法を開発した。
これと相補的に、埋め込みが分布の条件付き独立構造を保存するような埋め込みを保存する独立性保存の概念を導入し、そのような埋め込みの存在とそれらの近似を証明する。
関連論文リスト
- Evaluating the Robustness of Interpretability Methods through
Explanation Invariance and Equivariance [72.50214227616728]
解釈可能性法は、それらの説明が説明されたモデルを忠実に記述した場合にのみ有用である。
特定の対称性群の下で予測が不変であるニューラルネットワークを考える。
論文 参考訳(メタデータ) (2023-04-13T17:59:03Z) - Similarity [0.0]
この方法で定義される類似性は、数学的性質に訴えるものであることを示す。
類似性はモデル理論型によって自然に一階述語論理に組み込むことができることを示す。
論文 参考訳(メタデータ) (2023-02-13T14:48:59Z) - On the Complexity of Representation Learning in Contextual Linear
Bandits [110.84649234726442]
表現学習は線形帯域よりも根本的に複雑であることを示す。
特に、与えられた表現の集合で学ぶことは、その集合の中で最悪の実現可能な表現で学ぶことよりも決して単純ではない。
論文 参考訳(メタデータ) (2022-12-19T13:08:58Z) - A substructural logic for quantum measurements [1.8782750537161614]
本稿では、非常に制限された交換規則と弱化規則を持つシーケントのサブ構造論理について述べる。
量子系の測定のシーケンスに関して、これは健全である。
論文 参考訳(メタデータ) (2022-12-06T09:11:42Z) - Formalizing the presumption of independence [2.658812114255374]
このような推論の重要な要素は、$mathbbE[XY] = mathbbE[X] mathbbE[Y]$の"デフォルト"推定値を使用することである。
これに基づく推論は一般的な場所であり、直感的に説得力があり、しばしば非常に成功しますが、完全に非公式です。
独立の前提の直感的に有効な適用を、素早い議論を受け入れることなく公式化する推定器があるのだろうか?
論文 参考訳(メタデータ) (2022-11-12T20:28:19Z) - Provable Limitations of Acquiring Meaning from Ungrounded Form: What
will Future Language Models Understand? [87.20342701232869]
未知のシステムが意味を習得する能力について検討する。
アサーションによってシステムが等価性のような意味関係を保存する表現をエミュレートできるかどうか検討する。
言語内のすべての表現が参照的に透明であれば,アサーションによってセマンティックエミュレーションが可能になる。
しかし、言語が変数バインディングのような非透過的なパターンを使用する場合、エミュレーションは計算不能な問題になる可能性がある。
論文 参考訳(メタデータ) (2021-04-22T01:00:17Z) - Reply to Comment on "Strong Quantum Darwinism and Strong Independence
are Equivalent to Spectrum Broadcast Structure" [77.34726150561087]
Feller et. al. arXiv:2101.09186] on our Letter [Phys. Lett. 122, 010403], Feller et. al identified a mistake in our mathematical expression of "strong independent" for states that satisfy Spectrum Broadcast Structure。
我々は、必要だが十分ではない数学的条件を記述したと信じている。しかし、我々は論文全体と証明において「強い独立性」のオリジナルかつ正しい定性的な定義を用いていたので、上記の数学的表現とは別に、証明とステートメントは正しいままである。
論文 参考訳(メタデータ) (2021-01-26T12:55:49Z) - Comment on "Strong Quantum Darwinism and Strong Independence are
Equivalent to Spectrum Broadcast Structure" [62.997667081978825]
条件 (b) の数学的定式化は必要であるが同値性を保証するには不十分であることを示す。
我々は、条件の強化された定式化とともに、単純な反例を提案する(b)。
論文 参考訳(メタデータ) (2021-01-21T16:06:25Z) - Unsupervised Distillation of Syntactic Information from Contextualized
Word Representations [62.230491683411536]
我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。
この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。
我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
論文 参考訳(メタデータ) (2020-10-11T15:13:18Z) - Context-theoretic Semantics for Natural Language: an Algebraic Framework [0.0]
本稿では,単語,句,文がすべてベクトルとして表現される自然言語意味論の枠組みを提案する。
単語のベクトル表現は、体上の代数の要素とみなすことができる。
論文 参考訳(メタデータ) (2020-09-22T13:31:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。