論文の概要: Hyperbolic Large Language Models

• arxiv url: http://arxiv.org/abs/2509.05757v1
• Date: Sat, 06 Sep 2025 15:56:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:03.696082
• Title: Hyperbolic Large Language Models
• Title（参考訳）: 双曲型大言語モデル
• Authors: Sarang Patil, Zeyong Zhang, Yiran Huang, Tengfei Ma, Mengjia Xu,
• Abstract要約: 大規模言語モデル(LLM)は目覚ましい成功を収め、様々なタスクで優れた性能を示した。 しかし、現実の多くのデータは、タンパク質ネットワーク、輸送ネットワーク、金融ネットワーク、脳ネットワーク、言語構造や構文木など、非ユークリッドの潜在階層構造を示す。 本稿では,表現空間として双曲幾何学を活用し,意味表現学習とマルチスケール推論を強化するLLMの最近の進歩を包括的かつ文脈的に表現する。
• 参考スコア（独自算出の注目度）: 7.483401973996036
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have achieved remarkable success and demonstrated superior performance across various tasks, including natural language processing (NLP), weather forecasting, biological protein folding, text generation, and solving mathematical problems. However, many real-world data exhibit highly non-Euclidean latent hierarchical anatomy, such as protein networks, transportation networks, financial networks, brain networks, and linguistic structures or syntactic trees in natural languages. Effectively learning intrinsic semantic entailment and hierarchical relationships from these raw, unstructured input data using LLMs remains an underexplored area. Due to its effectiveness in modeling tree-like hierarchical structures, hyperbolic geometry -- a non-Euclidean space -- has rapidly gained popularity as an expressive latent representation space for complex data modeling across domains such as graphs, images, languages, and multi-modal data. Here, we provide a comprehensive and contextual exposition of recent advancements in LLMs that leverage hyperbolic geometry as a representation space to enhance semantic representation learning and multi-scale reasoning. Specifically, the paper presents a taxonomy of the principal techniques of Hyperbolic LLMs (HypLLMs) in terms of four main categories: (1) hyperbolic LLMs through exp/log maps; (2) hyperbolic fine-tuned models; (3) fully hyperbolic LLMs, and (4) hyperbolic state-space models. We also explore crucial potential applications and outline future research directions. A repository of key papers, models, datasets, and code implementations is available at https://github.com/sarangp2402/Hyperbolic-LLM-Models/tree/main.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語処理(NLP)、天気予報、生物学的タンパク質の折り畳み、テキスト生成、数学的問題の解法など、様々なタスクにおいて優れた性能を示した。 しかし、現実の多くのデータは、タンパク質ネットワーク、輸送ネットワーク、金融ネットワーク、脳ネットワーク、言語構造や構文木など、非ユークリッドの潜在階層構造を示す。 LLMを用いたこれらの生の非構造化入力データから、本質的な意味的包含と階層的関係を効果的に学習することは、まだ未探索領域である。 木のような階層構造をモデル化する効果により、非ユークリッド空間である双曲幾何学は、グラフ、画像、言語、マルチモーダルデータといった領域にわたる複雑なデータモデリングのための表現的潜在表現空間として急速に人気を集めている。 本稿では,多元的幾何学を表現空間として活用し,意味的表現学習とマルチスケール推論を強化するLLMの最近の進歩を包括的かつ文脈的に表現する。 具体的には,(1) exp/log マップによる双曲型 LLM ,(2) 双曲型微細チューニングモデル,(3) 完全双曲型 LLM ,(4) 双曲型状態空間モデル,の4つの主要なカテゴリで,双曲型 LLM (HypLLMs) の主要手法の分類について述べる。 我々はまた、重要な潜在的な応用を探求し、今後の研究の方向性について概説する。 主要な論文、モデル、データセット、コード実装のリポジトリはhttps://github.com/sarangp2402/Hyperbolic-LLM-Models/tree/mainで入手できる。

関連論文リスト

• Language Models as Ontology Encoders [32.148744398729896]
  オントロジー埋め込みは、妥当な新しい知識と近似的な複雑な推論を推測することができる。 OnTは、幾何空間に双曲的モデリングを組み込むことにより、事前訓練されたモデル言語(PLM)をチューニングする。 OnTは、予測と推論の両方のタスクにおいて、ベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-18T19:26:16Z)
• HELM: Hyperbolic Large Language Models via Mixture-of-Curvature Experts [23.011684464345294]
  我々はHypErbolic Large Language ModelsのファミリーであるHELMを紹介する。 HELM-MICEでは,双曲型マルチヘッド潜在注意法を開発した。 両方のモデルに対して、回転位置符号化と RMS 正規化の本質的な双曲的等価性を開発する。
  論文  参考訳（メタデータ） (2025-05-30T15:42:42Z)
• Hierarchical Mamba Meets Hyperbolic Geometry: A New Paradigm for Structured Language Embeddings [1.4183971140167244]
  階層型マンバ (HiM) を用いて階層型言語埋め込みを学習する。 HiMは効率的なMamba2と指数関数的な成長と双曲幾何学の曲線の性質を統合している。 両モデルが4つの存在論的データセットの階層的関係を効果的に捉えていることを示す。
  論文  参考訳（メタデータ） (2025-05-25T04:45:06Z)
• Large Language Models on Graphs: A Comprehensive Survey [77.16803297418201]
  グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。 まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。 本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
  論文  参考訳（メタデータ） (2023-12-05T14:14:27Z)
• Language is All a Graph Needs [33.9836278881785]
  InstructGLM (Instruction-finetuned Graph Language Model) を提案する。 我々の手法は、ogbn-arxiv, Cora, PubMedデータセット上のすべてのGNNベースラインを超える。
  論文  参考訳（メタデータ） (2023-08-14T13:41:09Z)
• Hyperbolic Graph Neural Networks: A Review of Methods and Applications [61.49208407567829]
  本稿では,ハイパボリックグラフ学習(HGL)の急速な発展分野を概観する。 我々は,(1)ハイパーボリックグラフ埋め込みに基づく手法,(2)グラフニューラルネットワークに基づくハイパーボリックモデル,(3)新興パラダイムに分割した既存手法を体系的に分類し,解析した。 我々は、推薦システム、知識グラフ、バイオインフォマティクス、その他の関連するシナリオを含む、複数のドメインにわたるHGLの多様な応用について幅広く論じる。
  論文  参考訳（メタデータ） (2022-02-28T15:08:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。