論文の概要: The Numerical Stability of Hyperbolic Representation Learning
- arxiv url: http://arxiv.org/abs/2211.00181v1
- Date: Mon, 31 Oct 2022 22:51:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-02 15:13:28.829100
- Title: The Numerical Stability of Hyperbolic Representation Learning
- Title(参考訳): 双曲表現学習の数値的安定性
- Authors: Gal Mishne, Zhengchao Wan, Yusu Wang, Sheng Yang
- Abstract要約: 双曲空間に対する2つの一般的なモデル、すなわちポアンカーの球とローレンツ模型の極限を解析する。
我々は、このユークリッドパラメトリゼーションを双曲型超平面に拡張し、双曲型SVMの性能を向上させる能力を示す。
- 参考スコア(独自算出の注目度): 36.32817250000654
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Given the exponential growth of the volume of the ball w.r.t. its radius, the
hyperbolic space is capable of embedding trees with arbitrarily small
distortion and hence has received wide attention for representing hierarchical
datasets. However, this exponential growth property comes at a price of
numerical instability such that training hyperbolic learning models will
sometimes lead to catastrophic NaN problems, encountering unrepresentable
values in floating point arithmetic. In this work, we carefully analyze the
limitation of two popular models for the hyperbolic space, namely, the
Poincar\'e ball and the Lorentz model. We first show that, under the 64 bit
arithmetic system, the Poincar\'e ball has a relatively larger capacity than
the Lorentz model for correctly representing points. Then, we theoretically
validate the superiority of the Lorentz model over the Poincar\'e ball from the
perspective of optimization. Given the numerical limitations of both models, we
identify one Euclidean parametrization of the hyperbolic space which can
alleviate these limitations. We further extend this Euclidean parametrization
to hyperbolic hyperplanes and exhibits its ability in improving the performance
of hyperbolic SVM.
- Abstract(参考訳): 球の半径が指数関数的に増加すると、双曲空間は任意に小さな歪みで木を埋め込むことができ、したがって階層的なデータセットを表現するために広く注目を集めている。
しかし、この指数的成長特性は数値的な不安定さの代償となり、双曲型学習モデルの訓練は時に破滅的なnan問題を引き起こし、浮動小数点演算において表現不能な値に遭遇する。
本研究では,双曲空間に対する2つの人気モデルの極限,すなわちポアンカーの球とローレンツ模型を慎重に解析する。
まず,64ビットの算術システムにおいて,ポアンカルの球は点を正しく表現するためのローレンツモデルよりも比較的大きな容量を持つことを示す。
そして,最適化の観点から,ポアンカーの球に対するローレンツモデルの優位性を理論的に検証する。
両方のモデルの数値的な制限を考えると、これらの制限を緩和できる双曲空間のユークリッドパラメトリゼーションを1つ特定する。
さらに、このユークリッドパラメトリゼーションを双曲型超平面に拡張し、双曲型SVMの性能を向上させる能力を示す。
関連論文リスト
- Hyperbolic vs Euclidean Embeddings in Few-Shot Learning: Two Sides of
the Same Coin [49.12496652756007]
この結果から, 共通の双曲半径での双曲埋め込みが達成できることが示唆された。
従来のベンチマーク結果とは対照的に、ユークリッド計量を備えた固定半径エンコーダにより、より良い性能が得られることを示す。
論文 参考訳(メタデータ) (2023-09-18T14:51:46Z) - Modeling the space-time correlation of pulsed twin beams [68.8204255655161]
パラメトリックダウンコンバージョンによって生成される絡み合ったツインビームは、画像指向アプリケーションで好まれるソースである。
本研究では,時間消費数値シミュレーションと非現実的な平面波ポンプ理論のギャップを埋めることを目的とした半解析モデルを提案する。
論文 参考訳(メタデータ) (2023-01-18T11:29:49Z) - High-dimensional limit theorems for SGD: Effective dynamics and critical
scaling [6.950316788263433]
我々は、勾配降下(SGD)の要約統計の軌跡に対する極限定理を証明する。
下記の有効弾道力学が人口減少の勾配流と一致するステップサイズにおける重要なスケーリング体制を示す。
この実効力学の固定点について、対応する拡散極限は極めて複雑であり、さらに退化することもある。
論文 参考訳(メタデータ) (2022-06-08T17:42:18Z) - HRCF: Enhancing Collaborative Filtering via Hyperbolic Geometric
Regularization [52.369435664689995]
HRCF (textitHyperbolic Regularization powered Collaborative Filtering) を導入し,幾何認識型双曲正規化器を設計する。
具体的には、ルートアライメントとオリジン認識ペナルティによる最適化手順を強化する。
提案手法は,双曲的凝集による過度な平滑化問題に対処でき,モデルの識別能力も向上する。
論文 参考訳(メタデータ) (2022-04-18T06:11:44Z) - Nested Hyperbolic Spaces for Dimensionality Reduction and Hyperbolic NN
Design [8.250374560598493]
ハイパーボリックニューラルネットワークは、階層的なデータセットを効率的かつ効率的に表現できることから、近年人気がある。
これらのネットワークを開発する際の課題は、埋め込み空間、すなわち双曲空間の非線形性にある。
本稿では, 射影(埋め込み)の概念と, 内在的な凝集, 双曲空間内の非線形性を併用した, 完全双曲型ニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-12-03T03:20:27Z) - Fully Hyperbolic Neural Networks [63.22521652077353]
ローレンツモデルに基づく双曲型ネットワークを構築するための,完全双曲型フレームワークを提案する。
提案手法は,浅層ネットワークと深層ネットワークの両方を構築する上で,優れた性能を示す。
論文 参考訳(メタデータ) (2021-05-31T03:36:49Z) - Hyperbolic Variational Graph Neural Network for Modeling Dynamic Graphs [77.33781731432163]
我々は,ノード表現の推論を目的とした双曲空間における動的グラフ表現を初めて学習する。
本稿では,HVGNNと呼ばれる新しいハイパーボリック変動グラフネットワークを提案する。
特に,動力学をモデル化するために,理論的に接地した時間符号化手法に基づく時間gnn(tgnn)を導入する。
論文 参考訳(メタデータ) (2021-04-06T01:44:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。