論文の概要: Provably Accurate and Scalable Linear Classifiers in Hyperbolic Spaces
- arxiv url: http://arxiv.org/abs/2203.03730v1
- Date: Mon, 7 Mar 2022 21:36:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-09 15:17:02.332709
- Title: Provably Accurate and Scalable Linear Classifiers in Hyperbolic Spaces
- Title（参考訳）: 双曲空間における高精度でスケーラブルな線形分類器
- Authors: Chao Pan, Eli Chien, Puoya Tabaghi, Jianhao Peng, Olgica Milenkovic
- Abstract要約: スケーラブルで単純な双曲型線形分類器を学習するための統一的なフレームワークを提案する。
我々のアプローチの要点は、ポアンカーの球体モデルに焦点を合わせ、接空間形式を用いて分類問題を定式化することである。
Poincarの2階と戦略的パーセプトロンの優れた性能は、提案フレームワークが双曲空間における一般的な機械学習問題にまで拡張可能であることを示している。
- 参考スコア（独自算出の注目度）: 39.71927912296049
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Many high-dimensional practical data sets have hierarchical structures
induced by graphs or time series. Such data sets are hard to process in
Euclidean spaces and one often seeks low-dimensional embeddings in other space
forms to perform the required learning tasks. For hierarchical data, the space
of choice is a hyperbolic space because it guarantees low-distortion embeddings
for tree-like structures. The geometry of hyperbolic spaces has properties not
encountered in Euclidean spaces that pose challenges when trying to rigorously
analyze algorithmic solutions. We propose a unified framework for learning
scalable and simple hyperbolic linear classifiers with provable performance
guarantees. The gist of our approach is to focus on Poincar\'e ball models and
formulate the classification problems using tangent space formalisms. Our
results include a new hyperbolic perceptron algorithm as well as an efficient
and highly accurate convex optimization setup for hyperbolic support vector
machine classifiers. Furthermore, we adapt our approach to accommodate
second-order perceptrons, where data is preprocessed based on second-order
information (correlation) to accelerate convergence, and strategic perceptrons,
where potentially manipulated data arrives in an online manner and decisions
are made sequentially. The excellent performance of the Poincar\'e second-order
and strategic perceptrons shows that the proposed framework can be extended to
general machine learning problems in hyperbolic spaces. Our experimental
results, pertaining to synthetic, single-cell RNA-seq expression measurements,
CIFAR10, Fashion-MNIST and mini-ImageNet, establish that all algorithms
provably converge and have complexity comparable to those of their Euclidean
counterparts. Accompanying codes can be found at:
https://github.com/thupchnsky/PoincareLinearClassification.
- Abstract（参考訳）: 多くの高次元実用データセットは、グラフや時系列によって誘導される階層構造を持つ。
そのようなデータセットはユークリッド空間では処理が困難であり、必要となる学習タスクを実行するために、しばしば他の空間に低次元の埋め込みを求める。
階層データの場合、選択空間は双曲空間であり、木のような構造に対する低歪埋め込みが保証される。
双曲空間の幾何学はユークリッド空間では見られない性質を持ち、アルゴリズム解を厳密に解析しようとすると問題となる。
本稿では,スケーラブルで単純な双曲型線形分類器を学習するための統一フレームワークを提案する。
提案手法の要点は,ポアンカーの球モデルに着目し,接空間形式を用いた分類問題を定式化することである。
その結果、新しい双曲型パーセプトロンアルゴリズムと、双曲支持ベクトル分類器の効率良く高精度な凸最適化設定が得られた。
さらに,2次インフォメーション(相関)に基づいてデータを前処理して収束を加速する2次パーセプトロンと,潜在的に操作可能なデータがオンラインに届き,決定が順次行われる戦略的パーセプトロンに適応する。
Poincar\'e 2階と戦略パーセプトロンの優れた性能は、提案フレームワークが双曲空間における一般的な機械学習問題にまで拡張可能であることを示している。
CIFAR10, Fashion-MNIST, mini-ImageNetの合成, 単細胞RNA-seq発現測定に関する実験結果から, 全てのアルゴリズムがユークリッドと同等に収束し, 複雑であることを確認した。
関連するコードは、https://github.com/thupchnsky/poincarelinearclassificationにある。
関連論文リスト
- From Semantics to Hierarchy: A Hybrid Euclidean-Tangent-Hyperbolic Space Model for Temporal Knowledge Graph Reasoning [1.1372536310854844]
時間的知識グラフ(TKG)推論は、過去のデータに基づいて将来の出来事を予測する。
既存のユークリッドモデルはセマンティクスを捉えるのに優れているが、階層構造に苦しむ。
ユークリッドモデルと双曲モデルの両方の強みを利用する新しいハイブリッド幾何空間アプローチを提案する。
論文 参考訳（メタデータ） (2024-08-30T10:33:08Z) - Accelerating hyperbolic t-SNE [7.411478341945197]
本稿では,極性クアッドツリー上に構築された双曲埋め込みの最初の加速構造について紹介する。
同様の品質の埋め込みを、はるかに少ない時間で計算できることを示します。
論文 参考訳（メタデータ） (2024-01-23T12:59:40Z) - Fast hyperboloid decision tree algorithms [0.6656737591902598]
我々は、決定木アルゴリズムの新たな拡張であるHyperDTを双曲空間に提示する。
私たちのアプローチは概念的には単純で、一定時間の意思決定の複雑さを維持します。
HyperDTの上に構築されたハイパーRFは、双曲的ランダムフォレストモデルである。
論文 参考訳（メタデータ） (2023-10-20T22:31:10Z) - Tight and fast generalization error bound of graph embedding in metric
space [54.279425319381374]
非ユークリッド計量空間へのグラフ埋め込みは、既存の有界よりもはるかに少ない訓練データを持つユークリッド空間におけるグラフ埋め込みよりも優れていることを示す。
我々の新しい上限は、既存の上限よりもかなり強く速く、最大で$R$と$O(frac1S)$に指数関数できる。
論文 参考訳（メタデータ） (2023-05-13T17:29:18Z) - HRCF: Enhancing Collaborative Filtering via Hyperbolic Geometric
Regularization [52.369435664689995]
HRCF (textitHyperbolic Regularization powered Collaborative Filtering) を導入し,幾何認識型双曲正規化器を設計する。
具体的には、ルートアライメントとオリジン認識ペナルティによる最適化手順を強化する。
提案手法は,双曲的凝集による過度な平滑化問題に対処でき,モデルの識別能力も向上する。
論文 参考訳（メタデータ） (2022-04-18T06:11:44Z) - Highly Scalable and Provably Accurate Classification in Poincare Balls [40.82908295137667]
我々は、スケーラブルで単純な双曲型線形分類器を証明可能な性能保証で学習するための統一的なフレームワークを構築した。
提案手法は,新しい双曲型および二階型パーセプトロンアルゴリズムと,双曲型サポートベクトルマシン分類器の効率的かつ高精度な凸最適化設定を含む。
数百万の点からなる合成データセットと、シングルセルRNA-seq式測定、CIFAR10、Fashion-MNIST、mini-ImageNetのような複雑な実世界のデータセットの性能評価を行う。
論文 参考訳（メタデータ） (2021-09-08T16:59:39Z) - Linear Classifiers in Mixed Constant Curvature Spaces [40.82908295137667]
我々は、ユークリッド空間、球面空間、双曲空間の混合である積空間形式の線形分類の問題に対処する。
我々は、$d$-次元定数曲率空間の線形分類子が正確に$d+1$点を粉砕できることを証明した。
新規なパーセプトロン分類アルゴリズムを記述し、厳密な収束結果を確立する。
論文 参考訳（メタデータ） (2021-02-19T23:29:03Z) - Switch Spaces: Learning Product Spaces with Sparse Gating [48.591045282317424]
製品空間における表現を学習するためのデータ駆動アプローチであるswitch spacesを提案する。
我々は空間の選択、結合、切り替えを学習するスパースゲーティング機構を導入する。
知識グラフの補完と項目レコメンデーションの実験により,提案したスイッチ空間が新たな最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2021-02-17T11:06:59Z) - Robust Large-Margin Learning in Hyperbolic Space [64.42251583239347]
ユークリッド空間ではなく双曲型で分類器を学ぶための最初の理論的保証を示す。
本研究では, 対向例の慎重な注入に頼って, 大面積超平面を効率よく学習するアルゴリズムを提案する。
双曲空間によく埋め込まれる階層的データに対して、低埋め込み次元は優れた保証を保証することを証明している。
論文 参考訳（メタデータ） (2020-04-11T19:11:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。