論文の概要: The Numerical Stability of Hyperbolic Representation Learning
- arxiv url: http://arxiv.org/abs/2211.00181v3
- Date: Wed, 28 Jun 2023 02:54:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-29 18:28:50.183777
- Title: The Numerical Stability of Hyperbolic Representation Learning
- Title（参考訳）: 双曲表現学習の数値的安定性
- Authors: Gal Mishne, Zhengchao Wan, Yusu Wang, Sheng Yang
- Abstract要約: 双曲空間に対する2つの一般的なモデル、すなわちポアンカーの球とローレンツ模型の極限を解析する。
我々は、このユークリッドパラメトリゼーションを双曲型超平面に拡張し、双曲型SVMの性能を向上させる能力を示す。
- 参考スコア（独自算出の注目度）: 36.32817250000654
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Given the exponential growth of the volume of the ball w.r.t. its radius, the
hyperbolic space is capable of embedding trees with arbitrarily small
distortion and hence has received wide attention for representing hierarchical
datasets. However, this exponential growth property comes at a price of
numerical instability such that training hyperbolic learning models will
sometimes lead to catastrophic NaN problems, encountering unrepresentable
values in floating point arithmetic. In this work, we carefully analyze the
limitation of two popular models for the hyperbolic space, namely, the
Poincar\'e ball and the Lorentz model. We first show that, under the 64 bit
arithmetic system, the Poincar\'e ball has a relatively larger capacity than
the Lorentz model for correctly representing points. Then, we theoretically
validate the superiority of the Lorentz model over the Poincar\'e ball from the
perspective of optimization. Given the numerical limitations of both models, we
identify one Euclidean parametrization of the hyperbolic space which can
alleviate these limitations. We further extend this Euclidean parametrization
to hyperbolic hyperplanes and exhibits its ability in improving the performance
of hyperbolic SVM.
- Abstract（参考訳）: 球の半径が指数関数的に増加すると、双曲空間は任意に小さな歪みで木を埋め込むことができ、したがって階層的なデータセットを表現するために広く注目を集めている。
しかし、この指数的成長特性は数値的な不安定さの代償となり、双曲型学習モデルの訓練は時に破滅的なnan問題を引き起こし、浮動小数点演算において表現不能な値に遭遇する。
本研究では,双曲空間に対する2つの人気モデルの極限,すなわちポアンカーの球とローレンツ模型を慎重に解析する。
まず,64ビットの算術システムにおいて,ポアンカルの球は点を正しく表現するためのローレンツモデルよりも比較的大きな容量を持つことを示す。
そして,最適化の観点から,ポアンカーの球に対するローレンツモデルの優位性を理論的に検証する。
両方のモデルの数値的な制限を考えると、これらの制限を緩和できる双曲空間のユークリッドパラメトリゼーションを1つ特定する。
さらに、このユークリッドパラメトリゼーションを双曲型超平面に拡張し、双曲型SVMの性能を向上させる能力を示す。
関連論文リスト
- Fully Hyperbolic Rotation for Knowledge Graph Embedding [12.69417276887153]
知識グラフの埋め込みのために設計された,新しい完全双曲モデルを提案する。
我々のモデルは、知識グラフにおける各関係を、ヘッドエンティティからテールエンティティへのローレンツ回転とみなす。
我々のモデルはより少ないパラメータで競合する結果を得る。
論文 参考訳（メタデータ） (2024-11-06T02:41:26Z) - Enhance Hyperbolic Representation Learning via Second-order Pooling [8.798965454017988]
双曲表現学習に二階プーリングを導入する。
入力特徴の一般化能力を損なうことなく、サンプル間の距離を自然に増加させる。
低次元の双線形特徴を低次元空間でよく近似できるカーネル近似正則化を提案する。
論文 参考訳（メタデータ） (2024-10-29T13:17:43Z) - Hyperbolic Fine-tuning for Large Language Models [56.54715487997674]
本研究では,大規模言語モデル(LLM)の非ユークリッド的特徴について検討する。
トークン埋め込みは高い双曲性を示し,埋め込み空間に木のような構造が潜んでいることを示す。
双曲的低ランク効率微調整法HypLoRAを導入し, 双曲的多様体上で直接低ランク適応を行う。
論文 参考訳（メタデータ） (2024-10-05T02:58:25Z) - Hyperbolic vs Euclidean Embeddings in Few-Shot Learning: Two Sides of
the Same Coin [49.12496652756007]
この結果から, 共通の双曲半径での双曲埋め込みが達成できることが示唆された。
従来のベンチマーク結果とは対照的に、ユークリッド計量を備えた固定半径エンコーダにより、より良い性能が得られることを示す。
論文 参考訳（メタデータ） (2023-09-18T14:51:46Z) - Modeling the space-time correlation of pulsed twin beams [68.8204255655161]
パラメトリックダウンコンバージョンによって生成される絡み合ったツインビームは、画像指向アプリケーションで好まれるソースである。
本研究では,時間消費数値シミュレーションと非現実的な平面波ポンプ理論のギャップを埋めることを目的とした半解析モデルを提案する。
論文 参考訳（メタデータ） (2023-01-18T11:29:49Z) - HRCF: Enhancing Collaborative Filtering via Hyperbolic Geometric
Regularization [52.369435664689995]
HRCF (textitHyperbolic Regularization powered Collaborative Filtering) を導入し,幾何認識型双曲正規化器を設計する。
具体的には、ルートアライメントとオリジン認識ペナルティによる最適化手順を強化する。
提案手法は,双曲的凝集による過度な平滑化問題に対処でき,モデルの識別能力も向上する。
論文 参考訳（メタデータ） (2022-04-18T06:11:44Z) - Fully Hyperbolic Neural Networks [63.22521652077353]
ローレンツモデルに基づく双曲型ネットワークを構築するための,完全双曲型フレームワークを提案する。
提案手法は,浅層ネットワークと深層ネットワークの両方を構築する上で,優れた性能を示す。
論文 参考訳（メタデータ） (2021-05-31T03:36:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。