論文の概要: Low-distortion and GPU-compatible Tree Embeddings in Hyperbolic Space

• arxiv url: http://arxiv.org/abs/2502.17130v1
• Date: Mon, 24 Feb 2025 13:19:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:56:57.453305
• Title: Low-distortion and GPU-compatible Tree Embeddings in Hyperbolic Space
• Title（参考訳）: 双曲空間における低歪み・GPU対応ツリー埋め込み
• Authors: Max van Spengler, Pascal Mettes,
• Abstract要約: 双曲幾何学は、ユークリッド埋め込みよりもはるかに優れた性能を持つ木を埋め込む自然な解を提供する。 近年の文献では、ニューラルネットワーク上にハイパーボリックツリーの埋め込みを配置することで、ディープラーニング環境における階層的な知識統合が可能になることが示されている。
• 参考スコア（独自算出の注目度）: 14.760891078342166
• License:
• Abstract: Embedding tree-like data, from hierarchies to ontologies and taxonomies, forms a well-studied problem for representing knowledge across many domains. Hyperbolic geometry provides a natural solution for embedding trees, with vastly superior performance over Euclidean embeddings. Recent literature has shown that hyperbolic tree embeddings can even be placed on top of neural networks for hierarchical knowledge integration in deep learning settings. For all applications, a faithful embedding of trees is needed, with combinatorial constructions emerging as the most effective direction. This paper identifies and solves two key limitations of existing works. First, the combinatorial construction hinges on finding highly separated points on a hypersphere, a notoriously difficult problem. Current approaches achieve poor separation, degrading the quality of the corresponding hyperbolic embedding. We propose highly separated Delaunay tree embeddings (HS-DTE), which integrates angular separation in a generalized formulation of Delaunay embeddings, leading to lower embedding distortion. Second, low-distortion requires additional precision. The current approach for increasing precision is to use multiple precision arithmetic, which renders the embeddings useless on GPUs in deep learning settings. We reformulate the combinatorial construction using floating point expansion arithmetic, leading to superior embedding quality while retaining utility on accelerated hardware.
• Abstract（参考訳）: 木のようなデータを階層構造からオントロジーや分類学に組み込むことは、多くの領域にまたがる知識を表現するためのよく研究された問題となっている。 双曲幾何学は、ユークリッド埋め込みよりもはるかに優れた性能を持つ木を埋め込む自然な解を提供する。 近年の文献では、ニューラルネットワーク上にハイパーボリックツリーの埋め込みを配置することで、ディープラーニング環境における階層的な知識統合が可能になることが示されている。 すべての応用において、木を忠実に埋め込む必要があり、組合せ構造が最も効果的な方向として現れる。 本稿では,既存の作業の2つの重要な限界を特定し,解決する。 まず、組み合わせの構成は、超球面上の高度に分離された点を見つけることに集中する。 現在のアプローチでは分離が悪く、対応する双曲的埋め込みの品質が低下している。 そこで我々は,高度に分離されたデラウネー木埋め込み (HS-DTE) を提案する。 第二に、低歪みはさらなる精度を必要とする。 精度を高めるための現在のアプローチは、深層学習環境でGPUに不要な埋め込みをレンダリングする、多重精度演算を使用することである。 本研究では,浮動小数点展開算術を用いて組合せ構成を再構成し,高速化ハードウェアの実用性を維持しつつ,組込み品質を向上する。

関連論文リスト

• Robust Hyperbolic Learning with Curvature-Aware Optimization [7.89323764547292]
  現在の双曲型学習アプローチは、過度に適合し、計算コストが高く、不安定になりがちである。 本稿では,双曲的埋め込みを制限し,近似誤差を低減するために,新しい微調整可能な双曲的スケーリング手法を提案する。 提案手法は,コンピュータビジョン,脳波分類,階層的メトリック学習タスクにおける一貫した改善を示す。
  論文  参考訳（メタデータ） (2024-05-22T20:30:14Z)
• On Characterizing the Evolution of Embedding Space of Neural Networks using Algebraic Topology [9.537910170141467]
  特徴埋め込み空間のトポロジがベッチ数を介してよく訓練されたディープニューラルネットワーク(DNN)の層を通過するとき、どのように変化するかを検討する。 深度が増加するにつれて、トポロジカルに複雑なデータセットが単純なデータセットに変換され、ベッチ数はその最小値に達することが示される。
  論文  参考訳（メタデータ） (2023-11-08T10:45:12Z)
• Fast hyperboloid decision tree algorithms [0.6656737591902598]
  我々は、決定木アルゴリズムの新たな拡張であるHyperDTを双曲空間に提示する。 私たちのアプローチは概念的には単純で、一定時間の意思決定の複雑さを維持します。 HyperDTの上に構築されたハイパーRFは、双曲的ランダムフォレストモデルである。
  論文  参考訳（メタデータ） (2023-10-20T22:31:10Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Level-Set Curvature Neural Networks: A Hybrid Approach [0.0]
  レベルセット法で平均曲率を計算するための深層学習に基づくハイブリッド戦略を提案する。 提案手法は,改良回帰モデルの辞書と標準数値スキームを組み合わせて,曲率をより正確に推定する。 機械学習は、レベルセット手法の数値的欠点に対する実行可能な解決策を考案する有望な場であることを確認した。
  論文  参考訳（メタデータ） (2021-04-07T06:51:52Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Hyperbolic Neural Networks++ [66.16106727715061]
  ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。 実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
  論文  参考訳（メタデータ） (2020-06-15T08:23:20Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。