論文の概要: Fast hyperboloid decision tree algorithms
- arxiv url: http://arxiv.org/abs/2310.13841v2
- Date: Mon, 4 Mar 2024 20:02:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 01:59:45.710759
- Title: Fast hyperboloid decision tree algorithms
- Title(参考訳): 高速双曲型決定木アルゴリズム
- Authors: Philippe Chlenski, Ethan Turok, Antonio Moretti, Itsik Pe'er
- Abstract要約: 我々は、決定木アルゴリズムの新たな拡張であるHyperDTを双曲空間に提示する。
私たちのアプローチは概念的には単純で、一定時間の意思決定の複雑さを維持します。
HyperDTの上に構築されたハイパーRFは、双曲的ランダムフォレストモデルである。
- 参考スコア(独自算出の注目度): 0.6656737591902598
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hyperbolic geometry is gaining traction in machine learning for its
effectiveness at capturing hierarchical structures in real-world data.
Hyperbolic spaces, where neighborhoods grow exponentially, offer substantial
advantages and consistently deliver state-of-the-art results across diverse
applications. However, hyperbolic classifiers often grapple with computational
challenges. Methods reliant on Riemannian optimization frequently exhibit
sluggishness, stemming from the increased computational demands of operations
on Riemannian manifolds. In response to these challenges, we present hyperDT, a
novel extension of decision tree algorithms into hyperbolic space. Crucially,
hyperDT eliminates the need for computationally intensive Riemannian
optimization, numerically unstable exponential and logarithmic maps, or
pairwise comparisons between points by leveraging inner products to adapt
Euclidean decision tree algorithms to hyperbolic space. Our approach is
conceptually straightforward and maintains constant-time decision complexity
while mitigating the scalability issues inherent in high-dimensional Euclidean
spaces. Building upon hyperDT we introduce hyperRF, a hyperbolic random forest
model. Extensive benchmarking across diverse datasets underscores the superior
performance of these models, providing a swift, precise, accurate, and
user-friendly toolkit for hyperbolic data analysis.
- Abstract(参考訳): 双曲幾何学は、実世界のデータの階層構造を捉えることに効果があるため、機械学習で注目を集めている。
近隣が指数関数的に成長する双曲空間は、大きな利点をもたらし、様々なアプリケーションに対して常に最先端の結果をもたらす。
しかし、双曲型分類器はしばしば計算問題に悩まされる。
リーマン最適化に依拠する手法は、リーマン多様体上の演算の演算の計算要求の増加から引き起こされる、しばしば緩みを示す。
これらの課題に対応するために,決定木アルゴリズムを双曲空間に拡張したHyperDTを提案する。
重要なのは、ハイパーDTは計算集約的なリーマン最適化、数値的に不安定な指数と対数写像、あるいは内部積を利用してユークリッド決定木アルゴリズムを双曲空間に適応させることで点間のペア比較の必要性を排除している。
提案手法は概念的に単純であり,高次元ユークリッド空間に固有のスケーラビリティ問題を緩和しつつ,一定時間決定複雑性を維持する。
hyperdtを基盤として,双曲的ランダムフォレストモデルhyperrfを導入する。
多様なデータセットにわたる広範なベンチマークは、これらのモデルの優れたパフォーマンスを強調し、ハイパボリックデータ分析のための素早く、正確で、正確で、ユーザフレンドリなツールキットを提供する。
関連論文リスト
- Hyperbolic Fine-tuning for Large Language Models [56.54715487997674]
本研究では,大規模言語モデル(LLM)の非ユークリッド的特徴について検討する。
トークン埋め込みは高い双曲性を示し,埋め込み空間に木のような構造が潜んでいることを示す。
双曲的低ランク効率微調整法HypLoRAを導入し, 双曲的多様体上で直接低ランク適応を行う。
論文 参考訳(メタデータ) (2024-10-05T02:58:25Z) - From Semantics to Hierarchy: A Hybrid Euclidean-Tangent-Hyperbolic Space Model for Temporal Knowledge Graph Reasoning [1.1372536310854844]
時間的知識グラフ(TKG)推論は、過去のデータに基づいて将来の出来事を予測する。
既存のユークリッドモデルはセマンティクスを捉えるのに優れているが、階層構造に苦しむ。
ユークリッドモデルと双曲モデルの両方の強みを利用する新しいハイブリッド幾何空間アプローチを提案する。
論文 参考訳(メタデータ) (2024-08-30T10:33:08Z) - Discovering symbolic expressions with parallelized tree search [59.92040079807524]
記号回帰は、データから簡潔で解釈可能な数学的表現を発見する能力のおかげで、科学研究において重要な役割を果たす。
既存のアルゴリズムは、複雑性の問題に対処する際の精度と効率の重要なボトルネックに直面してきた。
本稿では,限定データから汎用数学的表現を効率的に抽出する並列木探索(PTS)モデルを提案する。
論文 参考訳(メタデータ) (2024-07-05T10:41:15Z) - Convex Relaxation for Solving Large-Margin Classifiers in Hyperbolic Space [29.564717407207528]
双曲空間はデータ処理における優れた性能で認識されている。
勾配降下法を用いてこの問題を解こうとする以前の試みは失敗に終わった。
本稿では,緩やかな緩和モーメントを用いて最適解を効果的に近似する方法を示す。
論文 参考訳(メタデータ) (2024-05-27T14:19:53Z) - Hyperbolic Delaunay Geometric Alignment [52.835250875177756]
双曲空間におけるデータセットの比較のための類似度スコアを提案する。
中心となる考え方は、与えられた集合をまたいだデータポイントを接続する双曲デラウネーグラフのエッジを数えることである。
人工および実生活の生物学的データに関する実証的研究を行い、HyperDGAが集合間の古典的距離の双曲バージョンより優れていることを示す。
論文 参考訳(メタデータ) (2024-04-12T17:14:58Z) - Accelerating hyperbolic t-SNE [7.411478341945197]
本稿では,極性クアッドツリー上に構築された双曲埋め込みの最初の加速構造について紹介する。
同様の品質の埋め込みを、はるかに少ない時間で計算できることを示します。
論文 参考訳(メタデータ) (2024-01-23T12:59:40Z) - Scaling Riemannian Diffusion Models [68.52820280448991]
非自明な多様体上の高次元タスクにスケールできることを示す。
我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
論文 参考訳(メタデータ) (2023-10-30T21:27:53Z) - HRCF: Enhancing Collaborative Filtering via Hyperbolic Geometric
Regularization [52.369435664689995]
HRCF (textitHyperbolic Regularization powered Collaborative Filtering) を導入し,幾何認識型双曲正規化器を設計する。
具体的には、ルートアライメントとオリジン認識ペナルティによる最適化手順を強化する。
提案手法は,双曲的凝集による過度な平滑化問題に対処でき,モデルの識別能力も向上する。
論文 参考訳(メタデータ) (2022-04-18T06:11:44Z) - Provably Accurate and Scalable Linear Classifiers in Hyperbolic Spaces [39.71927912296049]
スケーラブルで単純な双曲型線形分類器を学習するための統一的なフレームワークを提案する。
我々のアプローチの要点は、ポアンカーの球体モデルに焦点を合わせ、接空間形式を用いて分類問題を定式化することである。
Poincarの2階と戦略的パーセプトロンの優れた性能は、提案フレームワークが双曲空間における一般的な機械学習問題にまで拡張可能であることを示している。
論文 参考訳(メタデータ) (2022-03-07T21:36:21Z) - Highly Scalable and Provably Accurate Classification in Poincare Balls [40.82908295137667]
我々は、スケーラブルで単純な双曲型線形分類器を証明可能な性能保証で学習するための統一的なフレームワークを構築した。
提案手法は,新しい双曲型および二階型パーセプトロンアルゴリズムと,双曲型サポートベクトルマシン分類器の効率的かつ高精度な凸最適化設定を含む。
数百万の点からなる合成データセットと、シングルセルRNA-seq式測定、CIFAR10、Fashion-MNIST、mini-ImageNetのような複雑な実世界のデータセットの性能評価を行う。
論文 参考訳(メタデータ) (2021-09-08T16:59:39Z) - Augmented Sliced Wasserstein Distances [55.028065567756066]
拡張スライスされたワッサーシュタイン距離(ASWD)と呼ばれる新しい距離測定法を提案する。
ASWDは、ニューラルネットワークによってパラメータ化された高次元超曲面への最初のマッピングサンプルによって構成される。
数値的な結果から、ASWDは、合成問題と実世界の問題の両方において、他のワッサーシュタイン変種を著しく上回っていることが示されている。
論文 参考訳(メタデータ) (2020-06-15T23:00:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。