論文の概要: HyperCore: The Core Framework for Building Hyperbolic Foundation Models with Comprehensive Modules

• arxiv url: http://arxiv.org/abs/2504.08912v1
• Date: Fri, 11 Apr 2025 18:35:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:54:37.138299
• Title: HyperCore: The Core Framework for Building Hyperbolic Foundation Models with Comprehensive Modules
• Title（参考訳）: HyperCore: 包括的モジュールによるハイパーボリックファンデーションモデル構築のためのコアフレームワーク
• Authors: Neil He, Menglin Yang, Rex Ying,
• Abstract要約: ハイパーボリック基盤モデルを構築するためのコアモジュールを提供する,包括的なオープンソースフレームワークであるHyperCoreを紹介します。 その汎用性を示すために、我々は、完全な双曲型視覚変換器(LViT)を微調整パイプラインで構築し、テストする。 我々の実験は、LViTがユークリッドよりも優れていることを示した。
• 参考スコア（独自算出の注目度）: 15.257990326035694
• License:
• Abstract: Hyperbolic neural networks have emerged as a powerful tool for modeling hierarchical data across diverse modalities. Recent studies show that token distributions in foundation models exhibit scale-free properties, suggesting that hyperbolic space is a more suitable ambient space than Euclidean space for many pre-training and downstream tasks. However, existing tools lack essential components for building hyperbolic foundation models, making it difficult to leverage recent advancements. We introduce HyperCore, a comprehensive open-source framework that provides core modules for constructing hyperbolic foundation models across multiple modalities. HyperCore's modules can be effortlessly combined to develop novel hyperbolic foundation models, eliminating the need to extensively modify Euclidean modules from scratch and possible redundant research efforts. To demonstrate its versatility, we build and test the first fully hyperbolic vision transformers (LViT) with a fine-tuning pipeline, the first fully hyperbolic multimodal CLIP model (L-CLIP), and a hybrid Graph RAG with a hyperbolic graph encoder. Our experiments demonstrate that LViT outperforms its Euclidean counterpart. Additionally, we benchmark and reproduce experiments across hyperbolic GNNs, CNNs, Transformers, and vision Transformers to highlight HyperCore's advantages.
• Abstract（参考訳）: 双曲型ニューラルネットワークは、多様なモダリティをまたいだ階層データモデリングの強力なツールとして登場した。 近年の研究では、基礎モデルのトークン分布はスケールのない性質を示しており、多くの事前学習や下流タスクにおいて、双曲空間はユークリッド空間よりも適切な環境空間であることを示唆している。 しかし、既存のツールには双曲的基礎モデル構築に必要なコンポーネントが欠如しており、最近の進歩を活用することは困難である。 ハイパーボリック基盤モデルを構築するためのコアモジュールを複数のモダリティにわたって提供する,包括的なオープンソースフレームワークであるHyperCoreを紹介します。 HyperCoreのモジュールは、エクリッドモジュールをスクラッチから広範囲に修正する必要がなくなり、冗長な研究作業の可能性を排除し、新しい双曲的基盤モデルを開発するために、懸命に結合することができる。 その汎用性を示すために、我々は、ファインチューニングパイプラインによる最初の完全双曲型ビジョントランスフォーマー(LViT)、最初の完全双曲型マルチモーダルCLIPモデル(L-CLIP)、および双曲型グラフエンコーダを用いたハイブリッドグラフRAGを構築し、テストする。 我々の実験は、LViTがユークリッドよりも優れていることを示した。 さらに、ハイパーボリックなGNN、CNN、トランスフォーマー、ビジョントランスフォーマーにまたがる実験をベンチマークし、再現して、HyperCoreの利点を強調します。

関連論文リスト

• Hypformer: Exploring Efficient Hyperbolic Transformer Fully in Hyperbolic Space [47.4014545166959]
  双曲幾何学のローレンツモデルに基づく新しい双曲変換器Hypformerを導入する。 我々は,双曲空間における線形自己保持機構を開発し,双曲変換器が数十億のグラフデータと時系列入力を初めて処理できるようにする。
  論文  参考訳（メタデータ） (2024-07-01T13:44:38Z)
• Hyperbolic Delaunay Geometric Alignment [52.835250875177756]
  双曲空間におけるデータセットの比較のための類似度スコアを提案する。 中心となる考え方は、与えられた集合をまたいだデータポイントを接続する双曲デラウネーグラフのエッジを数えることである。 人工および実生活の生物学的データに関する実証的研究を行い、HyperDGAが集合間の古典的距離の双曲バージョンより優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-12T17:14:58Z)
• Dynamic Hyperbolic Attention Network for Fine Hand-object Reconstruction [76.5549647815413]
  ハイパボリック空間,すなわち動的ハイパボリック注意ネットワーク(DHANet)における最初の正確な手オブジェクト再構成手法を提案する。 本手法は,マルチモーダル情報によりメッシュ特性を学習し,手動物体の相互作用をより良くモデル化する。
  論文  参考訳（メタデータ） (2023-09-06T13:00:10Z)
• Fully Hyperbolic Convolutional Neural Networks for Computer Vision [3.3964154468907486]
  コンピュータビジョンタスク用に設計された完全双曲型畳み込みニューラルネットワーク(CNN)であるHCNNを紹介する。 ローレンツモデルに基づいて、畳み込み層の新規な定式化、バッチ正規化、多項ロジスティック回帰を提案する。 標準的なビジョンタスクの実験は、HCNNフレームワークをハイブリッドと完全に双曲的な設定の両方で有望な性能を示す。
  論文  参考訳（メタデータ） (2023-03-28T12:20:52Z)
• A Unification Framework for Euclidean and Hyperbolic Graph Neural Networks [8.080621697426997]
  ハイパーボリックニューラルネットワークは、グラフデータセット固有の階層を効果的にキャプチャする。 層内の複数の非連続(ジャイロ-)ベクトル空間を絡み合わせることで、一般化と拡張性の観点から制限される。 検索空間としてPoincareディスクモデルを提案し,ディスク上にすべての近似を適用する。 我々のモデルは、解釈可能性や様々なモデルコンポーネントの効率的な実行といったユークリッドネットワークのパワーを利用するだけでなく、様々なベンチマークにおいてユークリッドと双曲の双方よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-09T05:33:02Z)
• HRCF: Enhancing Collaborative Filtering via Hyperbolic Geometric Regularization [52.369435664689995]
  HRCF (textitHyperbolic Regularization powered Collaborative Filtering) を導入し,幾何認識型双曲正規化器を設計する。 具体的には、ルートアライメントとオリジン認識ペナルティによる最適化手順を強化する。 提案手法は,双曲的凝集による過度な平滑化問題に対処でき,モデルの識別能力も向上する。
  論文  参考訳（メタデータ） (2022-04-18T06:11:44Z)
• Enhancing Hyperbolic Graph Embeddings via Contrastive Learning [7.901082408569372]
  複数の双曲空間を通してノード表現を学習する新しいハイパーボリックグラフコントラスト学習(HGCL)フレームワークを提案する。 複数の実世界のデータセットに対する実験結果は、提案したHGCLの優位性を示している。
  論文  参考訳（メタデータ） (2022-01-21T06:10:05Z)
• Fully Hyperbolic Neural Networks [63.22521652077353]
  ローレンツモデルに基づく双曲型ネットワークを構築するための,完全双曲型フレームワークを提案する。 提案手法は,浅層ネットワークと深層ネットワークの両方を構築する上で,優れた性能を示す。
  論文  参考訳（メタデータ） (2021-05-31T03:36:49Z)
• Hyperbolic Variational Graph Neural Network for Modeling Dynamic Graphs [77.33781731432163]
  我々は,ノード表現の推論を目的とした双曲空間における動的グラフ表現を初めて学習する。 本稿では,HVGNNと呼ばれる新しいハイパーボリック変動グラフネットワークを提案する。 特に,動力学をモデル化するために,理論的に接地した時間符号化手法に基づく時間gnn(tgnn)を導入する。
  論文  参考訳（メタデータ） (2021-04-06T01:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。