論文の概要: Native Logical and Hierarchical Representations with Subspace Embeddings

• arxiv url: http://arxiv.org/abs/2508.16687v1
• Date: Thu, 21 Aug 2025 18:29:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.123643
• Title: Native Logical and Hierarchical Representations with Subspace Embeddings
• Title（参考訳）: 部分空間埋め込みを用いたネイティブ論理的および階層的表現
• Authors: Gabriel Moreira, Zita Marinho, Manuel Marques, João Paulo Costeira, Chenyan Xiong,
• Abstract要約: 線形部分空間として概念を埋め込むという新しいパラダイムを導入する。 交叉(接点)や線形和(接点)のような集合論的な操作を自然にサポートする 提案手法は,WordNet上での再構築とリンク予測の最先端化を実現する。
• 参考スコア（独自算出の注目度）: 25.274936769664098
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditional neural embeddings represent concepts as points, excelling at similarity but struggling with higher-level reasoning and asymmetric relationships. We introduce a novel paradigm: embedding concepts as linear subspaces. This framework inherently models generality via subspace dimensionality and hierarchy through subspace inclusion. It naturally supports set-theoretic operations like intersection (conjunction), linear sum (disjunction) and orthogonal complements (negations), aligning with classical formal semantics. To enable differentiable learning, we propose a smooth relaxation of orthogonal projection operators, allowing for the learning of both subspace orientation and dimension. Our method achieves state-of-the-art results in reconstruction and link prediction on WordNet. Furthermore, on natural language inference benchmarks, our subspace embeddings surpass bi-encoder baselines, offering an interpretable formulation of entailment that is both geometrically grounded and amenable to logical operations.
• Abstract（参考訳）: 伝統的な神経埋め込みは、概念をポイントとして表現し、類似性に優れ、高いレベルの推論と非対称な関係に苦しむ。 線形部分空間として概念を埋め込むという新しいパラダイムを導入する。 このフレームワークは本質的に、部分空間の次元と階層を部分空間の包含を通してモデル化する。 交叉 (conjunction)、線型和 (disjunction)、直交補数 (negations) のような集合論的な操作を自然にサポートし、古典的な形式的意味論と整合する。 微分可能学習を実現するために,直交射影演算子の円滑な緩和を提案し,部分空間方向と次元の両方の学習を可能にする。 提案手法は,WordNet上での再構築とリンク予測の最先端化を実現する。 さらに、自然言語推論ベンチマークでは、部分空間の埋め込みがバイエンコーダベースラインを超え、幾何学的に接地し論理演算に適するエンテーメントの解釈可能な定式化を提供する。

関連論文リスト

• The Lattice Representation Hypothesis of Large Language Models [18.00499182102749]
  分離しきい値を持つ線形属性方向は、半空間交叉を通じて概念格子を誘導することを示す。 この幾何学は、幾何学的交叉 (intersection) と結合 (union) 演算による記号的推論を可能にする。
  論文  参考訳（メタデータ） (2026-03-01T18:42:59Z)
• The Representational Geometry of Number [1.5994376682356057]
  数値表現はタスク間の安定な関係構造を保っていることを示す。 タスク固有の表現は、分離可能な線形方向に沿ってエンコードされた等級のような低レベルな特徴を持つ、異なる部分空間に埋め込まれている。 このことは、タスク固有の変換が概念表現の共通基盤関係構造に適用されたときに、理解が生じることを示唆している。
  論文  参考訳（メタデータ） (2026-02-06T16:35:22Z)
• Bhargava Cube--Inspired Quadratic Regularization for Structured Neural Embeddings [0.0]
  本稿では,Bhargava立方体に着想を得た代数的制約を数論から取り入れたニューラル表現学習手法を提案する。 本フレームワークは,学習された二次関係を満たすために埋め込みを正規化する制約付き3次元潜在空間に入力データをマッピングする。 我々はMNISTの評価を行い、99.46%の精度を達成しつつ、自然に1桁ずつクラスタリングする解釈可能な3D埋め込みを生成した。
  論文  参考訳（メタデータ） (2025-12-12T09:05:11Z)
• The Origins of Representation Manifolds in Large Language Models [52.68554895844062]
  表現空間におけるコサイン類似性は、最短のオンマンフォールド経路を通して特徴の内在幾何学を符号化することができることを示す。 理論の臨界仮定と予測は、大きな言語モデルのテキスト埋め込みとトークンアクティベーションに基づいて検証される。
  論文  参考訳（メタデータ） (2025-05-23T13:31:22Z)
• Manifold-Constrained Sentence Embeddings via Triplet Loss: Projecting Semantics onto Spheres, Tori, and Möbius Strips [0.0]
  連続多様体上の文埋め込みを制約する新しい枠組みを導入する。 出力空間上の微分幾何学的制約を強制することにより、我々のアプローチは、識別的かつ位相的に構造化された埋め込みの学習を促進する。 以上の結果から,特に球面やM "obius stripsに射影された多様体制約埋め込みは,クラスタリング品質と分類性能の両方において従来の手法よりも著しく優れていた。
  論文  参考訳（メタデータ） (2025-04-22T19:20:53Z)
• Learning Visual-Semantic Subspace Representations [49.17165360280794]
  我々は,自己教師型学習に有効な情報理論の原理を基礎として,核ノルムに基づく損失関数を導入する。 この損失の理論的特徴として、クラス性の促進に加えて、部分空間格子内のデータのスペクトル幾何学を符号化していることを示す。
  論文  参考訳（メタデータ） (2024-05-25T12:51:38Z)
• A Geometric Notion of Causal Probing [85.49839090913515]
  線形部分空間仮説は、言語モデルの表現空間において、動詞数のような概念に関するすべての情報が線形部分空間に符号化されていることを述べる。 理想線型概念部分空間を特徴づける内在的基準のセットを与える。 2つの言語モデルにまたがる少なくとも1つの概念に対して、この概念のサブスペースは、生成された単語の概念値を精度良く操作することができる。
  論文  参考訳（メタデータ） (2023-07-27T17:57:57Z)
• Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
  事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。 まず,幾何学的観点から構成構造を理解するための枠組みを提案する。 次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
  論文  参考訳（メタデータ） (2023-02-28T08:11:56Z)
• HyperMiner: Topic Taxonomy Mining with Hyperbolic Embedding [54.52651110749165]
  本稿では,単語や話題を表現するために,メタボリック埋め込みを導入した新しいフレームワークを提案する。 双曲空間のツリー様性により、下層のセマンティック階層はより解釈可能なトピックをマイニングするためによりうまく利用することができる。
  論文  参考訳（メタデータ） (2022-10-16T02:54:17Z)
• Cross-Lingual BERT Contextual Embedding Space Mapping with Isotropic and Isometric Conditions [7.615096161060399]
  並列コーパスを利用した文脈認識・辞書フリーマッピング手法について検討する。 本研究は, 正規化文脈埋め込み空間における等方性, 等方性, 等方性の間の密接な関係を解明するものである。
  論文  参考訳（メタデータ） (2021-07-19T22:57:36Z)
• The Low-Dimensional Linear Geometry of Contextualized Word Representations [27.50785941238007]
  ELMOおよびBERTにおける文脈化単語表現の線形幾何学について検討する。 様々な言語特徴が低次元部分空間に符号化されていることを示す。
  論文  参考訳（メタデータ） (2021-05-15T00:58:08Z)
• Neural Operator: Graph Kernel Network for Partial Differential Equations [57.90284928158383]
  この作業はニューラルネットワークを一般化し、無限次元空間(演算子)間の写像を学習できるようにすることである。 非線形活性化関数と積分作用素のクラスを構成することにより、無限次元写像の近似を定式化する。 実験により,提案したグラフカーネルネットワークには所望の特性があり,最先端技術と比較した場合の競合性能を示すことが確認された。
  論文  参考訳（メタデータ） (2020-03-07T01:56:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。