論文の概要: Uncovering Meanings of Embeddings via Partial Orthogonality

• arxiv url: http://arxiv.org/abs/2310.17611v1
• Date: Thu, 26 Oct 2023 17:34:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-27 18:37:31.576937
• Title: Uncovering Meanings of Embeddings via Partial Orthogonality
• Title（参考訳）: 部分直交による埋め込みの意味の解明
• Authors: Yibo Jiang, Bryon Aragam, Victor Veitch
• Abstract要約: 機械学習ツールは、しばしば実数のベクトルとしてテキストを埋め込むことに依存している。 このような埋め込みの代数構造において,言語の意味構造がどのように符号化されているかを検討する。
• 参考スコア（独自算出の注目度）: 29.190972879474526
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning tools often rely on embedding text as vectors of real numbers. In this paper, we study how the semantic structure of language is encoded in the algebraic structure of such embeddings. Specifically, we look at a notion of ``semantic independence'' capturing the idea that, e.g., ``eggplant'' and ``tomato'' are independent given ``vegetable''. Although such examples are intuitive, it is difficult to formalize such a notion of semantic independence. The key observation here is that any sensible formalization should obey a set of so-called independence axioms, and thus any algebraic encoding of this structure should also obey these axioms. This leads us naturally to use partial orthogonality as the relevant algebraic structure. We develop theory and methods that allow us to demonstrate that partial orthogonality does indeed capture semantic independence. Complementary to this, we also introduce the concept of independence preserving embeddings where embeddings preserve the conditional independence structures of a distribution, and we prove the existence of such embeddings and approximations to them.
• Abstract（参考訳）: 機械学習ツールは、多くの場合、テキストを実数のベクトルとして埋め込む。 本稿では,そのような埋め込みの代数構造において,言語の意味構造がどのように符号化されているかを検討する。 具体的には、例えば、'eggplant'' と 'tomato'' は ``vegetable'' に対して独立であるという考えを捉えた `semantic independence'' の概念を考察する。 このような例は直感的であるが、そのような意味的独立の概念を形式化するのは難しい。 ここでの重要な観察は、任意の有理形式化はいわゆる独立公理の集合に従うべきであり、したがってこの構造の代数的符号化もこれらの公理に従うべきであるということである。 これにより自然に部分直交を関連する代数構造として用いることができる。 我々は、部分直交が意味的独立を実際に捉えることを証明できる理論と方法を開発した。 これと相補的に、埋め込みが分布の条件付き独立構造を保存するような埋め込みを保存する独立性保存の概念を導入し、そのような埋め込みの存在とそれらの近似を証明する。

関連論文リスト

• A Complexity-Based Theory of Compositionality [53.025566128892066]
  AIでは、構成表現は配布外一般化の強力な形式を可能にすることができる。 ここでは、構成性に関する直観を考慮し、拡張する構成性の公式な定義を提案する。 この定義は概念的には単純で量的であり、アルゴリズム情報理論に基礎を置いており、あらゆる表現に適用できる。
  論文  参考訳（メタデータ） (2024-10-18T18:37:27Z)
• Transport of Algebraic Structure to Latent Embeddings [8.693845596949892]
  機械学習はしばしば、より大きく抽象的な数学的空間にある入力の潜在的な埋め込みを生成することを目的としている。 アソシエーションを尊重しながら、その潜在埋め込みだけを使って2つの集合を「統一」する方法をどうやって学べるか。 本稿では、入力空間上の法則と確実に一致した潜在空間演算をパラメータ化するための一般的な手順を提案する。
  論文  参考訳（メタデータ） (2024-05-27T02:24:57Z)
• On Separation Logic, Computational Independence, and Pseudorandomness (Extended Version) [1.024113475677323]
  本研究は,暗号シナリオにおける計算独立性について考察する。 分離論理のセマンティクスは,複雑性に縛られた敵を考慮に入れれば適用可能であることを示す。 注目すべきは、これは独立性と疑似ランダム性の間の実りある相互作用を可能にすることだ。
  論文  参考訳（メタデータ） (2024-05-20T12:39:28Z)
• Evaluating the Robustness of Interpretability Methods through Explanation Invariance and Equivariance [72.50214227616728]
  解釈可能性法は、それらの説明が説明されたモデルを忠実に記述した場合にのみ有用である。 特定の対称性群の下で予測が不変であるニューラルネットワークを考える。
  論文  参考訳（メタデータ） (2023-04-13T17:59:03Z)
• On the Complexity of Representation Learning in Contextual Linear Bandits [110.84649234726442]
  表現学習は線形帯域よりも根本的に複雑であることを示す。 特に、与えられた表現の集合で学ぶことは、その集合の中で最悪の実現可能な表現で学ぶことよりも決して単純ではない。
  論文  参考訳（メタデータ） (2022-12-19T13:08:58Z)
• A substructural logic for quantum measurements [1.8782750537161614]
  本稿では、非常に制限された交換規則と弱化規則を持つシーケントのサブ構造論理について述べる。 量子系の測定のシーケンスに関して、これは健全である。
  論文  参考訳（メタデータ） (2022-12-06T09:11:42Z)
• Formalizing the presumption of independence [2.658812114255374]
  このような推論の重要な要素は、$mathbbE[XY] = mathbbE[X] mathbbE[Y]$の"デフォルト"推定値を使用することである。 これに基づく推論は一般的な場所であり、直感的に説得力があり、しばしば非常に成功しますが、完全に非公式です。 独立の前提の直感的に有効な適用を、素早い議論を受け入れることなく公式化する推定器があるのだろうか?
  論文  参考訳（メタデータ） (2022-11-12T20:28:19Z)
• Reply to Comment on "Strong Quantum Darwinism and Strong Independence are Equivalent to Spectrum Broadcast Structure" [77.34726150561087]
  Feller et. al. arXiv:2101.09186] on our Letter [Phys. Lett. 122, 010403], Feller et. al identified a mistake in our mathematical expression of "strong independent" for states that satisfy Spectrum Broadcast Structure。 我々は、必要だが十分ではない数学的条件を記述したと信じている。しかし、我々は論文全体と証明において「強い独立性」のオリジナルかつ正しい定性的な定義を用いていたので、上記の数学的表現とは別に、証明とステートメントは正しいままである。
  論文  参考訳（メタデータ） (2021-01-26T12:55:49Z)
• Comment on "Strong Quantum Darwinism and Strong Independence are Equivalent to Spectrum Broadcast Structure" [62.997667081978825]
  条件 (b) の数学的定式化は必要であるが同値性を保証するには不十分であることを示す。 我々は、条件の強化された定式化とともに、単純な反例を提案する(b)。
  論文  参考訳（メタデータ） (2021-01-21T16:06:25Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)
• Context-theoretic Semantics for Natural Language: an Algebraic Framework [0.0]
  本稿では,単語,句,文がすべてベクトルとして表現される自然言語意味論の枠組みを提案する。 単語のベクトル表現は、体上の代数の要素とみなすことができる。
  論文  参考訳（メタデータ） (2020-09-22T13:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。