論文の概要: Hyperbolic Deep Learning for Foundation Models: A Survey

• arxiv url: http://arxiv.org/abs/2507.17787v1
• Date: Wed, 23 Jul 2025 09:50:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-25 15:10:42.233108
• Title: Hyperbolic Deep Learning for Foundation Models: A Survey
• Title（参考訳）: 基礎モデルのための双曲型ディープラーニング:サーベイ
• Authors: Neil He, Hiren Madhu, Ngoc Bui, Menglin Yang, Rex Ying,
• Abstract要約: 大量のデータセットに事前トレーニングされたファンデーションモデルは、さまざまな下流タスクで顕著な成功を収めた。 最近の進歩は、基礎モデルを強化するために双曲型ニューラルネットワークを活用している。 本稿では,双曲型ニューラルネットワークとその基盤モデルの開発について概観する。
• 参考スコア（独自算出の注目度）: 16.14776172953206
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Foundation models pre-trained on massive datasets, including large language models (LLMs), vision-language models (VLMs), and large multimodal models, have demonstrated remarkable success in diverse downstream tasks. However, recent studies have shown fundamental limitations of these models: (1) limited representational capacity, (2) lower adaptability, and (3) diminishing scalability. These shortcomings raise a critical question: is Euclidean geometry truly the optimal inductive bias for all foundation models, or could incorporating alternative geometric spaces enable models to better align with the intrinsic structure of real-world data and improve reasoning processes? Hyperbolic spaces, a class of non-Euclidean manifolds characterized by exponential volume growth with respect to distance, offer a mathematically grounded solution. These spaces enable low-distortion embeddings of hierarchical structures (e.g., trees, taxonomies) and power-law distributions with substantially fewer dimensions compared to Euclidean counterparts. Recent advances have leveraged these properties to enhance foundation models, including improving LLMs' complex reasoning ability, VLMs' zero-shot generalization, and cross-modal semantic alignment, while maintaining parameter efficiency. This paper provides a comprehensive review of hyperbolic neural networks and their recent development for foundation models. We further outline key challenges and research directions to advance the field.
• Abstract（参考訳）: 大規模言語モデル(LLM)、視覚言語モデル(VLM)、大規模マルチモーダルモデルなど、大規模なデータセット上で事前訓練された基礎モデルは、多様な下流タスクにおいて顕著な成功を収めている。 しかし、近年の研究では、(1)表現能力の制限、(2)適応性の低下、(3)スケーラビリティの低下など、これらのモデルの基本的限界が示されている。 これらの欠点は、真にユークリッド幾何学がすべての基礎モデルの最適帰納バイアスなのか、それとも代替幾何学空間を取り入れることで、モデルが現実世界のデータ固有の構造と整合し、推論プロセスを改善することができるのか、という批判的な疑問を提起する。 双曲空間(英: Hyperbolic space)とは、非ユークリッド多様体のクラスであり、距離に関して指数的体積成長によって特徴づけられる。 これらの空間は、ユークリッド的構造(例えば、木、分類学)の低歪み埋め込みと、ユークリッド的構造に比べてかなり少ない次元の法則分布を可能にする。 近年の進歩は、LLMの複雑な推論能力の向上、VLMのゼロショット一般化、パラメータ効率を維持しつつ、モーダルなセマンティックアライメントなど、基礎モデルを改善するためにこれらの特性を活用している。 本稿では,双曲型ニューラルネットワークとその基盤モデルの開発について概観する。 我々はさらに、この分野を進めるための重要な課題と研究の方向性を概説する。

関連論文リスト

• HELM: Hyperbolic Large Language Models via Mixture-of-Curvature Experts [23.011684464345294]
  我々はHypErbolic Large Language ModelsのファミリーであるHELMを紹介する。 HELM-MICEでは,双曲型マルチヘッド潜在注意法を開発した。 両方のモデルに対して、回転位置符号化と RMS 正規化の本質的な双曲的等価性を開発する。
  論文  参考訳（メタデータ） (2025-05-30T15:42:42Z)
• Position: Beyond Euclidean -- Foundation Models Should Embrace Non-Euclidean Geometries [42.83280708842304]
  ユークリッド空間は、機械学習アーキテクチャの事実上の幾何学的設定である。 大規模では、実世界のデータは、多方向関係、階層、対称性、非等方スケーリングなど、本質的に非ユークリッド構造を示すことが多い。 本稿では,ユークリッド幾何学を超越した移動は,単なる任意の拡張ではなく,次世代基礎モデルのスケーリング法則を維持することの必要性を論じる。
  論文  参考訳（メタデータ） (2025-04-11T18:07:33Z)
• Low-Rank Adaptation for Foundation Models: A Comprehensive Review [42.23155921954156]
  Low-Rank Adaptation (LoRA)は、これらの課題を緩和するための非常に有望なアプローチとして登場した。 この調査は、大規模な言語モデルから一般的な基礎モデルまで、LoRAテクニックの包括的なレビューを初めて提供する。
  論文  参考訳（メタデータ） (2024-12-31T09:38:55Z)
• RADIOv2.5: Improved Baselines for Agglomerative Vision Foundation Models [60.596005921295806]
  集約モデルは、ビジョンファウンデーションモデルをトレーニングするための強力なアプローチとして現れています。 我々は、解像度モードシフト、教師の不均衡、慣用的教師アーティファクト、過剰な出力トークンなど、重要な課題を識別する。 本稿では,マルチレゾリューショントレーニング,モザイク強化,教師の損失関数のバランスの改善など,いくつかの新しいソリューションを提案する。
  論文  参考訳（メタデータ） (2024-12-10T17:06:41Z)
• From Semantics to Hierarchy: A Hybrid Euclidean-Tangent-Hyperbolic Space Model for Temporal Knowledge Graph Reasoning [1.1372536310854844]
  時間的知識グラフ(TKG)推論は、過去のデータに基づいて将来の出来事を予測する。 既存のユークリッドモデルはセマンティクスを捉えるのに優れているが、階層構造に苦しむ。 ユークリッドモデルと双曲モデルの両方の強みを利用する新しいハイブリッド幾何空間アプローチを提案する。
  論文  参考訳（メタデータ） (2024-08-30T10:33:08Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Understanding the differences in Foundation Models: Attention, State Space Models, and Recurrent Neural Networks [50.29356570858905]
  本稿では,これらすべてのアーキテクチャの共通表現に関する原則的な調査を可能にする動的システムフレームワーク(DSF)について紹介する。 ソフトマックスアテンションと他のモデルクラスとの原理的比較を行い、ソフトマックスアテンションを近似できる理論条件について議論する。 このことは、DSFが将来のより効率的でスケーラブルな基盤モデルの体系的な開発を導く可能性を示している。
  論文  参考訳（メタデータ） (2024-05-24T17:19:57Z)
• Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
  我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。 LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。 LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
  論文  参考訳（メタデータ） (2024-03-11T05:35:38Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Hyperbolic Neural Networks++ [66.16106727715061]
  ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。 実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
  論文  参考訳（メタデータ） (2020-06-15T08:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。