論文の概要: Differentiating through the Fr\'echet Mean
- arxiv url: http://arxiv.org/abs/2003.00335v4
- Date: Mon, 5 Jul 2021 23:47:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-27 20:17:31.520500
- Title: Differentiating through the Fr\'echet Mean
- Title（参考訳）: Fr'echet 平均による微分
- Authors: Aaron Lou, Isay Katsman, Qingxuan Jiang, Serge Belongie, Ser-Nam Lim,
Christopher De Sa
- Abstract要約: フレット平均(Fr'echet mean)はユークリッド平均の一般化である。
任意のリーマン多様体に対して Fr'echet 平均を微分する方法を示す。
これにより、Fr'echet平均を双曲型ニューラルネットワークパイプラインに完全に統合する。
- 参考スコア（独自算出の注目度）: 51.32291896926807
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in deep representation learning on Riemannian manifolds
extend classical deep learning operations to better capture the geometry of the
manifold. One possible extension is the Fr\'echet mean, the generalization of
the Euclidean mean; however, it has been difficult to apply because it lacks a
closed form with an easily computable derivative. In this paper, we show how to
differentiate through the Fr\'echet mean for arbitrary Riemannian manifolds.
Then, focusing on hyperbolic space, we derive explicit gradient expressions and
a fast, accurate, and hyperparameter-free Fr\'echet mean solver. This fully
integrates the Fr\'echet mean into the hyperbolic neural network pipeline. To
demonstrate this integration, we present two case studies. First, we apply our
Fr\'echet mean to the existing Hyperbolic Graph Convolutional Network,
replacing its projected aggregation to obtain state-of-the-art results on
datasets with high hyperbolicity. Second, to demonstrate the Fr\'echet mean's
capacity to generalize Euclidean neural network operations, we develop a
hyperbolic batch normalization method that gives an improvement parallel to the
one observed in the Euclidean setting.
- Abstract（参考訳）: リーマン多様体上の深層表現学習の最近の進歩は、多様体の幾何学をよりよく捉えるために古典的深層学習演算を拡張する。
1つの拡張は Fr\'echet 平均であり、ユークリッド平均の一般化であるが、容易に計算可能な微分を持つ閉形式が存在しないため、適用は困難である。
本稿では、任意のリーマン多様体に対して Fr\'echet 平均を微分する方法を示す。
そして,双曲空間に着目して,明示的勾配表現と高速かつ高精度かつ超パラメータフリーなFr'echet平均解法を導出する。
これはFr\'echet平均を双曲型ニューラルネットワークパイプラインに完全に統合する。
この統合を実証するために、2つのケーススタディを提示する。
まず、Fr'echetを既存のHyperbolic Graph Convolutional Networkに適用し、その予測集約を置き換え、高双曲性データセットの最先端結果を得る。
次に、ユークリッドニューラルネットワークの演算を一般化するfr\echet平均の能力を示すために、ユークリッド設定で観測されるものと平行な改善を与える双曲的バッチ正規化法を開発した。
関連論文リスト
- Scaling Riemannian Diffusion Models [68.52820280448991]
非自明な多様体上の高次元タスクにスケールできることを示す。
我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
論文 参考訳（メタデータ） (2023-10-30T21:27:53Z) - Alignment and Outer Shell Isotropy for Hyperbolic Graph Contrastive
Learning [69.6810940330906]
高品質なグラフ埋め込みを学習するための新しいコントラスト学習フレームワークを提案する。
具体的には、階層的なデータ不変情報を効果的にキャプチャするアライメントメトリックを設計する。
双曲空間において、木の性質に関連する葉と高さの均一性に対処する必要があることを示す。
論文 参考訳（メタデータ） (2023-10-27T15:31:42Z) - Hyperbolic vs Euclidean Embeddings in Few-Shot Learning: Two Sides of
the Same Coin [49.12496652756007]
この結果から, 共通の双曲半径での双曲埋め込みが達成できることが示唆された。
従来のベンチマーク結果とは対照的に、ユークリッド計量を備えた固定半径エンコーダにより、より良い性能が得られることを示す。
論文 参考訳（メタデータ） (2023-09-18T14:51:46Z) - Hyperbolic Representation Learning: Revisiting and Advancing [43.1661098138936]
本稿では,現在普及しているhlmを精査する位置追跡機構を導入し,学習された表現が準最適で不満足であることを明らかにする。
本稿では,ノードの双曲的距離から推定されるコストフリーな階層的情報を原点に組み込むことにより,シンプルで効果的な情報埋め込み手法であるハイボリックインフォメーション(HIE)を提案する。
提案手法は, 競合するベースラインに比べて最大21.4%向上した。
論文 参考訳（メタデータ） (2023-06-15T13:25:39Z) - FFHR: Fully and Flexible Hyperbolic Representation for Knowledge Graph
Completion [45.470475498688344]
双曲空間におけるいくつかの重要な操作は、まだ良い定義を欠いているため、既存の方法では双曲空間の利点を十分に活用できない。
我々は,近年のユークリッド対応の進歩を双曲空間に転送できるtextbfFully と textbfFlexible textbfHyperbolic textbfRepresentation フレームワーク (textbfFFHR) を開発した。
論文 参考訳（メタデータ） (2023-02-07T14:50:28Z) - HRCF: Enhancing Collaborative Filtering via Hyperbolic Geometric
Regularization [52.369435664689995]
HRCF (textitHyperbolic Regularization powered Collaborative Filtering) を導入し,幾何認識型双曲正規化器を設計する。
具体的には、ルートアライメントとオリジン認識ペナルティによる最適化手順を強化する。
提案手法は,双曲的凝集による過度な平滑化問題に対処でき,モデルの識別能力も向上する。
論文 参考訳（メタデータ） (2022-04-18T06:11:44Z) - Fully Hyperbolic Neural Networks [63.22521652077353]
ローレンツモデルに基づく双曲型ネットワークを構築するための,完全双曲型フレームワークを提案する。
提案手法は,浅層ネットワークと深層ネットワークの両方を構築する上で,優れた性能を示す。
論文 参考訳（メタデータ） (2021-05-31T03:36:49Z) - Hyperbolic Manifold Regression [33.40757136529844]
本稿では,多くの機械学習応用の中間要素として,双曲空間上で多様体値回帰を行うという問題を考察する。
本稿では,1)ラベル埋め込みによる階層的分類,2)双曲表現の分類的拡張の2つの課題に対する新しい視点を提案する。
実験の結果,双曲幾何学の活用戦略は有望であることが示唆された。
論文 参考訳（メタデータ） (2020-05-28T10:16:30Z) - Latent Variable Modelling with Hyperbolic Normalizing Flows [35.1659722563025]
双曲型VAEとユークリッド正規化流に新しい正規化フローを導入する。
提案手法は,実世界のグラフデータの再構成とともに,密度推定の性能向上を実現する。
論文 参考訳（メタデータ） (2020-02-15T07:44:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。