論文の概要: Hierarchical Mamba Meets Hyperbolic Geometry: A New Paradigm for Structured Language Embeddings

• arxiv url: http://arxiv.org/abs/2505.18973v2
• Date: Tue, 27 May 2025 01:24:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 12:08:55.082355
• Title: Hierarchical Mamba Meets Hyperbolic Geometry: A New Paradigm for Structured Language Embeddings
• Title（参考訳）: 階層型マンバと双曲幾何学:構造化言語埋め込みの新しいパラダイム
• Authors: Sarang Patil, Ashish Parmanand Pandey, Ioannis Koutis, Mengjia Xu,
• Abstract要約: 階層型マンバ (HiM) を用いて階層型言語埋め込みを学習する。 HiMは効率的なMamba2と指数関数的な成長と双曲幾何学の曲線の性質を統合している。 両モデルが4つの存在論的データセットの階層的関係を効果的に捉えていることを示す。
• 参考スコア（独自算出の注目度）: 1.4183971140167244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Selective state-space models have achieved great success in long-sequence modeling. However, their capacity for language representation, especially in complex hierarchical reasoning tasks, remains underexplored. Most large language models rely on flat Euclidean embeddings, limiting their ability to capture latent hierarchies. To address this limitation, we propose Hierarchical Mamba (HiM), integrating efficient Mamba2 with exponential growth and curved nature of hyperbolic geometry to learn hierarchy-aware language embeddings for deeper linguistic understanding. Mamba2-processed sequences are projected to the Poincare ball (via tangent-based mapping) or Lorentzian manifold (via cosine and sine-based mapping) with "learnable" curvature, optimized with a combined hyperbolic loss. Our HiM model facilitates the capture of relational distances across varying hierarchical levels, enabling effective long-range reasoning. This makes it well-suited for tasks like mixed-hop prediction and multi-hop inference in hierarchical classification. We evaluated our HiM with four linguistic and medical datasets for mixed-hop prediction and multi-hop inference tasks. Experimental results demonstrated that: 1) Both HiM models effectively capture hierarchical relationships for four ontological datasets, surpassing Euclidean baselines. 2) HiM-Poincare captures fine-grained semantic distinctions with higher h-norms, while HiM-Lorentz provides more stable, compact, and hierarchy-preserving embeddings favoring robustness over detail.
• Abstract（参考訳）: 選択的な状態空間モデルは、ロングシーケンスモデリングにおいて大きな成功を収めた。 しかし、言語表現の能力、特に複雑な階層的推論タスクは、まだ未解明のままである。 ほとんどの大きな言語モデルは、フラットなユークリッド埋め込みに依存しており、潜在階層をキャプチャする能力を制限する。 この制限に対処するため,ヒエラルキ的マンバ (HiM) を提案する。 マンバ2プロセッシング列は(タンジェントベースの写像によって)ポインケア球やローレンツ多様体に(コサインとシインベースの写像を介して)「学習可能な」曲率で投影され、双曲的損失と組み合わせて最適化される。 我々のHiMモデルは、様々な階層レベルにわたる関係距離の捕捉を容易にし、効果的な長距離推論を可能にする。 これにより、階層分類における混合ホップ予測や多重ホップ推論といったタスクに適している。 混合ホップ予測とマルチホップ推論のための4つの言語および医療データセットを用いて、HiMを評価した。 実験の結果、 1) 2つのHiMモデルは、4つの存在論的データセットの階層的関係を効果的に捉え、ユークリッドベースラインを超えた。 2) HiM-Poincareは高いh-ノルムを持つ細粒なセマンティックな区別を捉える一方、HiM-Lorentzはより安定でコンパクトで、階層保存の埋め込みを提供する。

関連論文リスト

• Hyperbolic Residual Quantization: Discrete Representations for Data with Latent Hierarchies [48.72319569157807]
  残留量子化(Residual Quantization, RQ)は階層データに対する離散的マルチトークン表現を生成するために広く用いられている。 本稿では,双曲多様体にデータを埋め込むハイパーボリック残留量子化(HRQ)を提案する。 HRQは、自然に階層的な分岐と整合する帰納的バイアスを与える。
  論文  参考訳（メタデータ） (2025-05-18T13:14:07Z)
• From Semantics to Hierarchy: A Hybrid Euclidean-Tangent-Hyperbolic Space Model for Temporal Knowledge Graph Reasoning [1.1372536310854844]
  時間的知識グラフ(TKG)推論は、過去のデータに基づいて将来の出来事を予測する。 既存のユークリッドモデルはセマンティクスを捉えるのに優れているが、階層構造に苦しむ。 ユークリッドモデルと双曲モデルの両方の強みを利用する新しいハイブリッド幾何空間アプローチを提案する。
  論文  参考訳（メタデータ） (2024-08-30T10:33:08Z)
• GrootVL: Tree Topology is All You Need in State Space Model [66.36757400689281]
  GrootVLは、視覚的タスクとテキストタスクの両方に適用できる多目的マルチモーダルフレームワークである。 本手法は, 画像分類, オブジェクト検出, セグメンテーションにおいて, 既存の構造化状態空間モデルよりも大幅に優れる。 大規模言語モデルの微調整により,本手法は訓練コストの少ない複数のテキストタスクにおいて一貫した改善を実現する。
  論文  参考訳（メタデータ） (2024-06-04T15:09:29Z)
• Fantastic Semantics and Where to Find Them: Investigating Which Layers of Generative LLMs Reflect Lexical Semantics [50.982315553104975]
  本稿では,Llama2という人気言語モデルに対する語彙意味論のボトムアップ進化について検討する。 実験の結果,下位層の表現は語彙的意味論を符号化しているが,上位層はより弱い意味帰納的帰納的帰納的帰納的帰納的帰納的帰納的帰属的帰属的帰属的帰属的存在であることがわかった。 これは、高層層がより良い語彙意味論を得るマスク言語モデリングのような差別的な目的を持つモデルとは対照的である。
  論文  参考訳（メタデータ） (2024-03-03T13:14:47Z)
• MGDoc: Pre-training with Multi-granular Hierarchy for Document Image Understanding [53.03978356918377]
  異なるレベルの粒度のコンテンツ間の空間的階層的関係は、文書画像理解タスクに不可欠である。 既存の方法は単語レベルか地域レベルから特徴を学習するが、両方を同時に考えることができない。 MGDocは,ページレベル,領域レベル,単語レベル情報を同時にエンコードするマルチモーダル・マルチグラニュラ事前学習フレームワークである。
  論文  参考訳（メタデータ） (2022-11-27T22:47:37Z)
• Bringing motion taxonomies to continuous domains via GPLVM on hyperbolic manifolds [8.385386712928785]
  人間の動きは、人間の動きと環境との相互作用の仕方を分類する高レベルの階層的抽象化として機能する。 本稿では,関連する階層構造を捉えるハイパーボリック埋め込みを用いて分類データをモデル化することを提案する。 本モデルでは,既存の分類群や新分類群の未確認データを適切にエンコードし,EuclideanおよびVAEベースの分類群よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-04T15:19:24Z)
• Modeling Heterogeneous Hierarchies with Relation-specific Hyperbolic Cones [64.75766944882389]
  知識グラフにおける複数の階層的および非階層的関係を同時にモデル化できるKG埋め込みモデルであるConE(Cone Embedding)を提案する。 特に、ConEは双曲埋め込み空間の異なる部分空間における円錐包含制約を用いて、複数の異種階層をキャプチャする。 我々のアプローチでは、WN18RRで45.3%、DDB14で16.1%の新しい最先端hits@1が得られる(0.231 MRR)。
  論文  参考訳（メタデータ） (2021-10-28T07:16:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。