論文の概要: Towards Scalable Hyperbolic Neural Networks using Taylor Series Approximations

• arxiv url: http://arxiv.org/abs/2206.03610v1
• Date: Tue, 7 Jun 2022 22:31:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-10 03:53:28.433991
• Title: Towards Scalable Hyperbolic Neural Networks using Taylor Series Approximations
• Title（参考訳）: Taylor シリーズ近似を用いたスケーラブルハイパーボリックニューラルネットワークの実現に向けて
• Authors: Nurendra Choudhary, Chandan K. Reddy
• Abstract要約: ハイパーボリックネットワークは、階層的データセットを含むいくつかの領域において、ユークリッドネットワークよりも顕著に改善されている。 それらの実践における採用は、(i)高速化されたディープラーニングハードウェアの非スケーリング性、(ii)双曲空間の閉鎖による消滅、(iii)情報損失により制限されている。 テイラー級数展開を用いた双曲作用素の近似を提案し、双曲函数の接勾配を同変に再構成する。
• 参考スコア（独自算出の注目度）: 10.056167107654089
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hyperbolic networks have shown prominent improvements over their Euclidean counterparts in several areas involving hierarchical datasets in various domains such as computer vision, graph analysis, and natural language processing. However, their adoption in practice remains restricted due to (i) non-scalability on accelerated deep learning hardware, (ii) vanishing gradients due to the closure of hyperbolic space, and (iii) information loss due to frequent mapping between local tangent space and fully hyperbolic space. To tackle these issues, we propose the approximation of hyperbolic operators using Taylor series expansions, which allows us to reformulate the computationally expensive tangent and cosine hyperbolic functions into their polynomial equivariants which are more efficient. This allows us to retain the benefits of preserving the hierarchical anatomy of the hyperbolic space, while maintaining the scalability over current accelerated deep learning infrastructure. The polynomial formulation also enables us to utilize the advancements in Euclidean networks such as gradient clipping and ReLU activation to avoid vanishing gradients and remove errors due to frequent switching between tangent space and hyperbolic space. Our empirical evaluation on standard benchmarks in the domain of graph analysis and computer vision shows that our polynomial formulation is as scalable as Euclidean architectures, both in terms of memory and time complexity, while providing results as effective as hyperbolic models. Moreover, our formulation also shows a considerable improvement over its baselines due to our solution to vanishing gradients and information loss.
• Abstract（参考訳）: ハイパーボリックネットワークは、コンピュータビジョン、グラフ解析、自然言語処理など、さまざまな領域における階層的データセットを含むいくつかの領域において、ユークリッド対応よりも顕著に改善されている。 しかし、実際には採用が制限されている。 (i)ディープラーニングハードウェアの高速化に関する非scalability (ii)双曲空間の閉包による勾配の消失、及び (iii)局所接空間と完全双曲空間との頻繁なマッピングによる情報損失。 これらの問題に対処するため、Taylor級数展開を用いた双曲作用素の近似を提案し、計算に高価な接と余弦双曲関数をより効率的な多項式同変に再構成することができる。 これにより、現在の高速化されたディープラーニングインフラストラクチャのスケーラビリティを維持しながら、双曲空間の階層的解剖を保存するというメリットを維持できます。 この多項式の定式化により,勾配クリッピングやreluアクティベーションなどのユークリッドネットワークの進歩を活かし,勾配の消失を回避し,接空間と双曲空間の頻繁な切り替えによる誤差を除去できる。 グラフ分析とコンピュータビジョンの領域における標準ベンチマークに関する経験的評価から, 多項式式はユークリッド型アーキテクチャと同様に, メモリと時間複雑性の両面でスケーラブルであり, 双曲型モデルと同等の効果も得られていることがわかった。 さらに, この定式化は, 勾配の消失と情報損失に対する解法により, ベースラインの大幅な改善を示す。

関連論文リスト

• Lorentzian Residual Neural Networks [15.257990326035694]
  双曲幾何学のローレンツモデルにおいて、重み付けされたローレンツ中心体に基づく新しいローレンツ残留ニューラルネットワークであるLResNetを導入する。 本手法は,階層的表現能力を保ちながら,双曲型ニューラルネットワークにおける残差接続の効率的な統合を可能にする。 ハイパーボリックな埋め込み空間において、より表現力のあるニューラルネットワークを構築するためのLResNetの可能性を強調した。
  論文  参考訳（メタデータ） (2024-12-19T09:56:01Z)
• Robust Hyperbolic Learning with Curvature-Aware Optimization [7.89323764547292]
  現在の双曲型学習アプローチは、過度に適合し、計算コストが高く、不安定になりがちである。 本稿では,双曲的埋め込みを制限し,近似誤差を低減するために,新しい微調整可能な双曲的スケーリング手法を提案する。 提案手法は,コンピュータビジョン,脳波分類,階層的メトリック学習タスクにおける一貫した改善を示す。
  論文  参考訳（メタデータ） (2024-05-22T20:30:14Z)
• DUDF: Differentiable Unsigned Distance Fields with Hyperbolic Scaling [0.20287200280084108]
  我々は符号のない距離場の双曲的スケーリングを学習し、異なる境界条件を持つ新しいアイコン問題を定義する。 提案手法は,オープンサーフェス表現の課題に対処するだけでなく,再構築品質とトレーニング性能の大幅な向上を示す。
  論文  参考訳（メタデータ） (2024-02-14T00:42:19Z)
• Improving embedding of graphs with missing data by soft manifolds [51.425411400683565]
  グラフ埋め込みの信頼性は、連続空間の幾何がグラフ構造とどの程度一致しているかに依存する。 我々は、この問題を解決することができる、ソフト多様体と呼ばれる新しい多様体のクラスを導入する。 グラフ埋め込みにソフト多様体を用いることで、複雑なデータセット上のデータ解析における任意のタスクを追求するための連続空間を提供できる。
  論文  参考訳（メタデータ） (2023-11-29T12:48:33Z)
• Fast hyperboloid decision tree algorithms [0.6656737591902598]
  我々は、決定木アルゴリズムの新たな拡張であるHyperDTを双曲空間に提示する。 私たちのアプローチは概念的には単純で、一定時間の意思決定の複雑さを維持します。 HyperDTの上に構築されたハイパーRFは、双曲的ランダムフォレストモデルである。
  論文  参考訳（メタデータ） (2023-10-20T22:31:10Z)
• Hyperbolic Graph Neural Networks: A Review of Methods and Applications [55.5502008501764]
  グラフニューラルネットワークは、従来のニューラルネットワークをグラフ構造化データに一般化する。 グラフ関連学習におけるユークリッドモデルの性能は、ユークリッド幾何学の表現能力によって依然として制限されている。 近年,木のような構造を持つグラフデータ処理や,ゆるい分布の処理において,双曲空間が人気が高まっている。
  論文  参考訳（メタデータ） (2022-02-28T15:08:48Z)
• Enhancing Hyperbolic Graph Embeddings via Contrastive Learning [7.901082408569372]
  複数の双曲空間を通してノード表現を学習する新しいハイパーボリックグラフコントラスト学習(HGCL)フレームワークを提案する。 複数の実世界のデータセットに対する実験結果は、提案したHGCLの優位性を示している。
  論文  参考訳（メタデータ） (2022-01-21T06:10:05Z)
• Cogradient Descent for Dependable Learning [64.02052988844301]
  双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。 CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。 また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
  論文  参考訳（メタデータ） (2021-06-20T04:28:20Z)
• Fully Hyperbolic Neural Networks [63.22521652077353]
  ローレンツモデルに基づく双曲型ネットワークを構築するための,完全双曲型フレームワークを提案する。 提案手法は,浅層ネットワークと深層ネットワークの両方を構築する上で,優れた性能を示す。
  論文  参考訳（メタデータ） (2021-05-31T03:36:49Z)
• InverseForm: A Loss Function for Structured Boundary-Aware Segmentation [80.39674800972182]
  逆変換ネットワークを用いたセマンティックセグメンテーションのための新しい境界認識損失項を提案する。 このプラグイン損失項は境界変換の捕捉におけるクロスエントロピー損失を補完する。 室内および屋外のセグメンテーションベンチマークにおける損失関数の定量的および定性的効果を解析した。
  論文  参考訳（メタデータ） (2021-04-06T18:52:45Z)
• Hyperbolic Graph Embedding with Enhanced Semi-Implicit Variational Inference [48.63194907060615]
  半単純グラフ変分自動エンコーダを用いて,低次元グラフ潜在表現における高次統計量を取得する。 我々は、階層構造を示すグラフを効率的に表現するために、ポインケア埋め込みを通して潜在空間に双曲幾何学を組み込む。
  論文  参考訳（メタデータ） (2020-10-31T05:48:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。