論文の概要: Position: Beyond Euclidean -- Foundation Models Should Embrace Non-Euclidean Geometries

• arxiv url: http://arxiv.org/abs/2504.08896v1
• Date: Fri, 11 Apr 2025 18:07:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:54:37.778522
• Title: Position: Beyond Euclidean -- Foundation Models Should Embrace Non-Euclidean Geometries
• Title（参考訳）: ユークリッドの超越 - 基礎モデルでは非ユークリッドのジオメトリを強調すべき
• Authors: Neil He, Jiahong Liu, Buze Zhang, Ngoc Bui, Ali Maatouk, Menglin Yang, Irwin King, Melanie Weber, Rex Ying,
• Abstract要約: ユークリッド空間は、機械学習アーキテクチャの事実上の幾何学的設定である。 大規模では、実世界のデータは、多方向関係、階層、対称性、非等方スケーリングなど、本質的に非ユークリッド構造を示すことが多い。 本稿では,ユークリッド幾何学を超越した移動は,単なる任意の拡張ではなく,次世代基礎モデルのスケーリング法則を維持することの必要性を論じる。
• 参考スコア（独自算出の注目度）: 42.83280708842304
• License:
• Abstract: In the era of foundation models and Large Language Models (LLMs), Euclidean space has been the de facto geometric setting for machine learning architectures. However, recent literature has demonstrated that this choice comes with fundamental limitations. At a large scale, real-world data often exhibit inherently non-Euclidean structures, such as multi-way relationships, hierarchies, symmetries, and non-isotropic scaling, in a variety of domains, such as languages, vision, and the natural sciences. It is challenging to effectively capture these structures within the constraints of Euclidean spaces. This position paper argues that moving beyond Euclidean geometry is not merely an optional enhancement but a necessity to maintain the scaling law for the next-generation of foundation models. By adopting these geometries, foundation models could more efficiently leverage the aforementioned structures. Task-aware adaptability that dynamically reconfigures embeddings to match the geometry of downstream applications could further enhance efficiency and expressivity. Our position is supported by a series of theoretical and empirical investigations of prevalent foundation models.Finally, we outline a roadmap for integrating non-Euclidean geometries into foundation models, including strategies for building geometric foundation models via fine-tuning, training from scratch, and hybrid approaches.
• Abstract（参考訳）: 基礎モデルと大規模言語モデル(LLM)の時代、ユークリッド空間は機械学習アーキテクチャのデファクト幾何学的設定であった。 しかし、近年の文献では、この選択には根本的な制限が伴っていることが示されている。 大規模な実世界のデータは、言語、ビジョン、自然科学などの様々な領域において、多方向関係、階層、対称性、非等方スケーリングのような本質的に非ユークリッド構造を示すことが多い。 ユークリッド空間の制約の中でこれらの構造を効果的に捉えることは困難である。 このポジションペーパーは、ユークリッド幾何学を超えて動くことは単なる任意の拡張ではなく、次世代の基礎モデルのスケーリング法則を維持する必要性であると主張している。 これらのジオメトリを採用することで、基礎モデルは上記の構造をより効率的に活用することができる。 下流アプリケーションの幾何学に合わせて埋め込みを動的に再構成するタスク認識適応性は、効率性と表現性をさらに向上させる可能性がある。 本研究は, 基礎モデルに非ユークリッド測地を組み込むための計画について, 微調整, スクラッチからのトレーニング, ハイブリッドアプローチによる幾何学的基礎モデル構築の戦略など, 一連の理論的, 実証的研究によって支持されている。

関連論文リスト

• Geometry Distributions [51.4061133324376]
  本稿では,分布として幾何学をモデル化する新しい幾何学的データ表現を提案する。 提案手法では,新しいネットワークアーキテクチャを用いた拡散モデルを用いて表面点分布の学習を行う。 本研究では,多種多様な対象に対して質的かつ定量的に表現を評価し,その有効性を実証した。
  論文  参考訳（メタデータ） (2024-11-25T04:06:48Z)
• Bridging Geometric States via Geometric Diffusion Bridge [79.60212414973002]
  本稿では,初期および対象の幾何状態を正確にブリッジする新しい生成モデリングフレームワークであるGeometric Diffusion Bridge (GDB)を紹介する。 GDBは、幾何学的状態の接続のためにDoobの$h$-transformの修正版から派生した同変拡散ブリッジを使用している。 我々はGDBが既存の最先端のアプローチを超越し、幾何学的状態を正確にブリッジするための新しい経路を開くことを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:59:53Z)
• Score-based pullback Riemannian geometry [10.649159213723106]
  本稿では,データ駆動型リーマン幾何学のフレームワークを提案する。 データサポートを通して高品質な測地学を作成し、データ多様体の固有次元を確実に推定する。 我々のフレームワークは、訓練中に等方性正規化を採用することで、自然に異方性正規化フローで使用することができる。
  論文  参考訳（メタデータ） (2024-10-02T18:52:12Z)
• Beyond Euclid: An Illustrated Guide to Modern Machine Learning with Geometric, Topological, and Algebraic Structures [3.5357133304100326]
  現代の機械学習は、本質的に非ユークリッド的なリッチな構造化されたデータに遭遇する。 そのような非ユークリッドデータから知識を抽出するには、より広範な数学的視点が必要である。 我々は最近の進歩を直感的な統合フレームワークに統合するグラフィカルな分類法を提案する。
  論文  参考訳（メタデータ） (2024-07-12T17:48:36Z)
• Deep Learning of Multivariate Extremes via a Geometric Representation [0.0]
  本研究では, スケールした試料雲の極限形状から極端依存特性を推定する幾何学的極端の研究を行う。 本稿では,幾何学的極端フレームワークの実装を支援するための新しい理論結果を提案する。 本稿では,ディープラーニングニューラルネットワークを用いた制限セットのモデル化について紹介する。
  論文  参考訳（メタデータ） (2024-06-28T14:05:47Z)
• Generalizing Knowledge Graph Embedding with Universal Orthogonal Parameterization [22.86465452511445]
  GoldEは知識グラフの埋め込みのための強力なフレームワークです。 世帯反射の一般化形式に基づく普遍的直交パラメータ化を特徴とする。 3つの標準ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-05-14T12:26:19Z)
• Adaptive Surface Normal Constraint for Geometric Estimation from Monocular Images [56.86175251327466]
  本稿では,幾何学的文脈を取り入れつつ,画像から深度や表面正規度などの測地を学習するための新しい手法を提案する。 提案手法は,入力画像に存在する幾何学的変動を符号化した幾何学的文脈を抽出し,幾何的制約と深度推定を相関付ける。 本手法は,画像から高品質な3次元形状を生成可能な密着型フレームワーク内での深度と表面の正規分布推定を統一する。
  論文  参考訳（メタデータ） (2024-02-08T17:57:59Z)
• Geometric Neural Diffusion Processes [55.891428654434634]
  拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。 これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
  論文  参考訳（メタデータ） (2023-07-11T16:51:38Z)
• Exploring Data Geometry for Continual Learning [64.4358878435983]
  非定常データストリームのデータ幾何を探索することにより,新しい視点から連続学習を研究する。 提案手法は,新しいデータによって引き起こされる幾何構造に対応するために,基底空間の幾何学を動的に拡張する。 実験により,本手法はユークリッド空間で設計したベースライン法よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-04-08T06:35:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。