論文の概要: Manifold-Constrained Sentence Embeddings via Triplet Loss: Projecting Semantics onto Spheres, Tori, and Möbius Strips

• arxiv url: http://arxiv.org/abs/2505.00014v1
• Date: Tue, 22 Apr 2025 19:20:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:55.091008
• Title: Manifold-Constrained Sentence Embeddings via Triplet Loss: Projecting Semantics onto Spheres, Tori, and Möbius Strips
• Title（参考訳）: 三重項損失によるマニフォールド制約文埋め込み:球面,トーリ,メビウス帯に意味論を投影する
• Authors: Vinit K. Chavan,
• Abstract要約: 連続多様体上の文埋め込みを制約する新しい枠組みを導入する。 出力空間上の微分幾何学的制約を強制することにより、我々のアプローチは、識別的かつ位相的に構造化された埋め込みの学習を促進する。 以上の結果から,特に球面やM "obius stripsに射影された多様体制約埋め込みは,クラスタリング品質と分類性能の両方において従来の手法よりも著しく優れていた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in representation learning have emphasized the role of embedding geometry in capturing semantic structure. Traditional sentence embeddings typically reside in unconstrained Euclidean spaces, which may limit their ability to reflect complex relationships in language. In this work, we introduce a novel framework that constrains sentence embeddings to lie on continuous manifolds -- specifically the unit sphere, torus, and M\"obius strip -- using triplet loss as the core training objective. By enforcing differential geometric constraints on the output space, our approach encourages the learning of embeddings that are both discriminative and topologically structured. We evaluate our method on benchmark datasets (AG News and MBTI) and compare it to classical baselines including TF-IDF, Word2Vec, and unconstrained Keras-derived embeddings. Our results demonstrate that manifold-constrained embeddings, particularly those projected onto spheres and M\"obius strips, significantly outperform traditional approaches in both clustering quality (Silhouette Score) and classification performance (Accuracy). These findings highlight the value of embedding in manifold space -- where topological structure complements semantic separation -- offering a new and mathematically grounded direction for geometric representation learning in NLP.
• Abstract（参考訳）: 表現学習の最近の進歩は、意味構造をキャプチャする上での埋め込み幾何学の役割を強調している。 伝統的な文の埋め込みは通常、制約のないユークリッド空間に存在し、言語における複雑な関係を反映する能力を制限する可能性がある。 本研究では, 文の埋め込みを連続多様体(特に単位球面, トーラス, および M\"オビウスストリップ)に限定する新しい枠組みを導入する。 出力空間上の微分幾何学的制約を強制することにより、我々のアプローチは、識別的かつ位相的に構造化された埋め込みの学習を促進する。 ベンチマークデータセット(AG News と MBTI)で評価し,TF-IDF,Word2Vec,非拘束Keras由来の埋め込みなどの古典的ベースラインと比較した。 以上の結果から,特に球面やM\オビウスストリップに射影された多様体制約埋め込みは,クラスタリング品質(シルエットスコア)と分類性能(精度)の両方において従来の手法よりも著しく優れていた。 これらの知見は、位相構造が意味的分離を補完する多様体空間への埋め込みの価値を強調し、NLPにおける幾何学的表現学習のための新しい数学的基礎的な方向を提供する。

関連論文リスト

• Unraveling the Localized Latents: Learning Stratified Manifold Structures in LLM Embedding Space with Sparse Mixture-of-Experts [3.9426000822656224]
  大規模な言語モデルでは、埋め込みは入力データの難易度や領域によって異なる次元の局所多様体構造に存在していると推測する。 注意に基づくソフトゲーティングネットワークを組み込むことで,我々のモデルは入力データソースのアンサンブルのために,特別なサブマニフォールドを学習することを確認した。
  論文  参考訳（メタデータ） (2025-02-19T09:33:16Z)
• Understanding and Mitigating Hyperbolic Dimensional Collapse in Graph Contrastive Learning [70.0681902472251]
  双曲空間における高品質グラフ埋め込みを学習するための新しいコントラスト学習フレームワークを提案する。 具体的には、階層的なデータ不変情報を効果的にキャプチャするアライメントメトリックを設計する。 双曲空間において、木の性質に関連する葉と高さの均一性に対処する必要があることを示す。
  論文  参考訳（メタデータ） (2023-10-27T15:31:42Z)
• Supervised Manifold Learning via Random Forest Geometry-Preserving Proximities [0.0]
  クラス条件付き多様体学習手法の弱点を定量的かつ視覚的に示す。 本稿では,ランダムな森の近さをデータジオメトリ保存した変種を用いて,教師付き次元減少のためのカーネルの代替選択を提案する。
  論文  参考訳（メタデータ） (2023-07-03T14:55:11Z)
• Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
  事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。 まず,幾何学的観点から構成構造を理解するための枠組みを提案する。 次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
  論文  参考訳（メタデータ） (2023-02-28T08:11:56Z)
• Curved Geometric Networks for Visual Anomaly Recognition [39.91252195360767]
  データ分布の根底にある性質を理解するために潜伏埋め込みを学ぶことは、曲率ゼロのユークリッド空間でしばしば定式化される。 本研究では,データ中の異常やアウト・オブ・ディストリビューション・オブジェクトを解析するための曲線空間の利点について検討する。
  論文  参考訳（メタデータ） (2022-08-02T01:15:39Z)
• Cross-Lingual BERT Contextual Embedding Space Mapping with Isotropic and Isometric Conditions [7.615096161060399]
  並列コーパスを利用した文脈認識・辞書フリーマッピング手法について検討する。 本研究は, 正規化文脈埋め込み空間における等方性, 等方性, 等方性の間の密接な関係を解明するものである。
  論文  参考訳（メタデータ） (2021-07-19T22:57:36Z)
• Deep Clustering by Semantic Contrastive Learning [67.28140787010447]
  Semantic Contrastive Learning (SCL) と呼ばれる新しい変種を紹介します。 従来のコントラスト学習とディープクラスタリングの両方の特徴を探求する。 コントラスト学習と深層クラスタリングの強みを統一的なアプローチで増幅することができる。
  論文  参考訳（メタデータ） (2021-03-03T20:20:48Z)
• Unsupervised Embedding of Hierarchical Structure in Euclidean Space [30.507049058838025]
  我々は、集約アルゴリズムによって生成される階層的クラスタリングを改善する方法として、ユークリッド空間にデータの非線形埋め込みを学習することを検討する。 遅延空間埋め込みの再スケーリングはデンドログラムの純度とモーゼリー・ワングのコスト関数の改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-10-30T03:57:09Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)
• APo-VAE: Text Generation in Hyperbolic Space [116.11974607497986]
  本稿では,双曲型潜在空間におけるテキスト生成について検討し,連続的な階層表現を学習する。 適応型ポインケア可変オートエンコーダ (APo-VAE) を提示し, ポインケア球上における潜伏変数の事前および変動後部の両方を包み込み正規分布により定義する。 言語モデリングと対話応答生成における実験は,提案したAPo-VAEモデルの有効性を示す。
  論文  参考訳（メタデータ） (2020-04-30T19:05:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。