論文の概要: Native Logical and Hierarchical Representations with Subspace Embeddings

• arxiv url: http://arxiv.org/abs/2508.16687v1
• Date: Thu, 21 Aug 2025 18:29:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.123643
• Title: Native Logical and Hierarchical Representations with Subspace Embeddings
• Title（参考訳）: 部分空間埋め込みを用いたネイティブ論理的および階層的表現
• Authors: Gabriel Moreira, Zita Marinho, Manuel Marques, João Paulo Costeira, Chenyan Xiong,
• Abstract要約: 線形部分空間として概念を埋め込むという新しいパラダイムを導入する。 交叉(接点)や線形和(接点)のような集合論的な操作を自然にサポートする 提案手法は,WordNet上での再構築とリンク予測の最先端化を実現する。
• 参考スコア（独自算出の注目度）: 25.274936769664098
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditional neural embeddings represent concepts as points, excelling at similarity but struggling with higher-level reasoning and asymmetric relationships. We introduce a novel paradigm: embedding concepts as linear subspaces. This framework inherently models generality via subspace dimensionality and hierarchy through subspace inclusion. It naturally supports set-theoretic operations like intersection (conjunction), linear sum (disjunction) and orthogonal complements (negations), aligning with classical formal semantics. To enable differentiable learning, we propose a smooth relaxation of orthogonal projection operators, allowing for the learning of both subspace orientation and dimension. Our method achieves state-of-the-art results in reconstruction and link prediction on WordNet. Furthermore, on natural language inference benchmarks, our subspace embeddings surpass bi-encoder baselines, offering an interpretable formulation of entailment that is both geometrically grounded and amenable to logical operations.
• Abstract（参考訳）: 伝統的な神経埋め込みは、概念をポイントとして表現し、類似性に優れ、高いレベルの推論と非対称な関係に苦しむ。 線形部分空間として概念を埋め込むという新しいパラダイムを導入する。 このフレームワークは本質的に、部分空間の次元と階層を部分空間の包含を通してモデル化する。 交叉 (conjunction)、線型和 (disjunction)、直交補数 (negations) のような集合論的な操作を自然にサポートし、古典的な形式的意味論と整合する。 微分可能学習を実現するために,直交射影演算子の円滑な緩和を提案し,部分空間方向と次元の両方の学習を可能にする。 提案手法は,WordNet上での再構築とリンク予測の最先端化を実現する。 さらに、自然言語推論ベンチマークでは、部分空間の埋め込みがバイエンコーダベースラインを超え、幾何学的に接地し論理演算に適するエンテーメントの解釈可能な定式化を提供する。

関連論文リスト

• Manifold-Constrained Sentence Embeddings via Triplet Loss: Projecting Semantics onto Spheres, Tori, and Möbius Strips [0.0]
  連続多様体上の文埋め込みを制約する新しい枠組みを導入する。 出力空間上の微分幾何学的制約を強制することにより、我々のアプローチは、識別的かつ位相的に構造化された埋め込みの学習を促進する。 以上の結果から,特に球面やM "obius stripsに射影された多様体制約埋め込みは,クラスタリング品質と分類性能の両方において従来の手法よりも著しく優れていた。
  論文  参考訳（メタデータ） (2025-04-22T19:20:53Z)
• Learning Visual-Semantic Subspace Representations [49.17165360280794]
  我々は,自己教師型学習に有効な情報理論の原理を基礎として,核ノルムに基づく損失関数を導入する。 この損失の理論的特徴として、クラス性の促進に加えて、部分空間格子内のデータのスペクトル幾何学を符号化していることを示す。
  論文  参考訳（メタデータ） (2024-05-25T12:51:38Z)
• A Geometric Notion of Causal Probing [85.49839090913515]
  線形部分空間仮説は、言語モデルの表現空間において、動詞数のような概念に関するすべての情報が線形部分空間に符号化されていることを述べる。 理想線型概念部分空間を特徴づける内在的基準のセットを与える。 2つの言語モデルにまたがる少なくとも1つの概念に対して、この概念のサブスペースは、生成された単語の概念値を精度良く操作することができる。
  論文  参考訳（メタデータ） (2023-07-27T17:57:57Z)
• Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
  事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。 まず,幾何学的観点から構成構造を理解するための枠組みを提案する。 次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
  論文  参考訳（メタデータ） (2023-02-28T08:11:56Z)
• Cross-Lingual BERT Contextual Embedding Space Mapping with Isotropic and Isometric Conditions [7.615096161060399]
  並列コーパスを利用した文脈認識・辞書フリーマッピング手法について検討する。 本研究は, 正規化文脈埋め込み空間における等方性, 等方性, 等方性の間の密接な関係を解明するものである。
  論文  参考訳（メタデータ） (2021-07-19T22:57:36Z)
• The Low-Dimensional Linear Geometry of Contextualized Word Representations [27.50785941238007]
  ELMOおよびBERTにおける文脈化単語表現の線形幾何学について検討する。 様々な言語特徴が低次元部分空間に符号化されていることを示す。
  論文  参考訳（メタデータ） (2021-05-15T00:58:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。