論文の概要: Alignment and Outer Shell Isotropy for Hyperbolic Graph Contrastive Learning

• arxiv url: http://arxiv.org/abs/2310.18209v1
• Date: Fri, 27 Oct 2023 15:31:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-30 13:20:16.544795
• Title: Alignment and Outer Shell Isotropy for Hyperbolic Graph Contrastive Learning
• Title（参考訳）: 双曲グラフコントラスト学習のためのアライメントと外殻等方性
• Authors: Yifei Zhang, Hao Zhu, Jiahong Liu, Piotr Koniusz, Irwin King
• Abstract要約: 高品質なグラフ埋め込みを学習するための新しいコントラスト学習フレームワークを提案する。 具体的には、階層的なデータ不変情報を効果的にキャプチャするアライメントメトリックを設計する。 双曲空間において、木の性質に関連する葉と高さの均一性に対処する必要があることを示す。
• 参考スコア（独自算出の注目度）: 69.6810940330906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning good self-supervised graph representations that are beneficial to downstream tasks is challenging. Among a variety of methods, contrastive learning enjoys competitive performance. The embeddings of contrastive learning are arranged on a hypersphere that enables the Cosine distance measurement in the Euclidean space. However, the underlying structure of many domains such as graphs exhibits highly non-Euclidean latent geometry. To this end, we propose a novel contrastive learning framework to learn high-quality graph embedding. Specifically, we design the alignment metric that effectively captures the hierarchical data-invariant information, as well as we propose a substitute of uniformity metric to prevent the so-called dimensional collapse. We show that in the hyperbolic space one has to address the leaf- and height-level uniformity which are related to properties of trees, whereas in the ambient space of the hyperbolic manifold, these notions translate into imposing an isotropic ring density towards boundaries of Poincar\'e ball. This ring density can be easily imposed by promoting the isotropic feature distribution on the tangent space of manifold. In the experiments, we demonstrate the efficacy of our proposed method across different hyperbolic graph embedding techniques in both supervised and self-supervised learning settings.
• Abstract（参考訳）: 下流のタスクに有益な、優れた自己教師付きグラフ表現を学ぶことは難しい。 様々な方法の中で、コントラスト学習は競争力のあるパフォーマンスを享受する。 対比学習の埋め込みは、ユークリッド空間におけるコサイン距離測定を可能にする超球面上に配置される。 しかし、グラフのような多くの領域の基盤構造は、非常に非ユークリッド潜在幾何学を示している。 そこで本稿では,高品質なグラフ埋め込みを学習するための新しいコントラスト学習フレームワークを提案する。 具体的には,階層的データ不変情報を効果的にキャプチャするアライメントメトリックを設計するとともに,いわゆる次元崩壊を防止する一様性メトリックの代用を提案する。 双曲空間では、木の性質に関連した葉と高さレベルの一様性に対処しなければならないが、双曲多様体の周囲空間では、これらの概念はポアンカル(poincar\'e)ボールの境界に向かって等方環密度を与える。 この環密度は、多様体の接空間上の等方的特徴分布を推し進めることにより容易に課すことができる。 実験では,教師付き学習と自己教師付き学習の両方において,異なる双曲グラフ埋め込み手法を用いた提案手法の有効性を示す。

関連論文リスト

• Improving embedding of graphs with missing data by soft manifolds [51.425411400683565]
  グラフ埋め込みの信頼性は、連続空間の幾何がグラフ構造とどの程度一致しているかに依存する。 我々は、この問題を解決することができる、ソフト多様体と呼ばれる新しい多様体のクラスを導入する。 グラフ埋め込みにソフト多様体を用いることで、複雑なデータセット上のデータ解析における任意のタスクを追求するための連続空間を提供できる。
  論文  参考訳（メタデータ） (2023-11-29T12:48:33Z)
• Hyperbolic vs Euclidean Embeddings in Few-Shot Learning: Two Sides of the Same Coin [49.12496652756007]
  この結果から, 共通の双曲半径での双曲埋め込みが達成できることが示唆された。 従来のベンチマーク結果とは対照的に、ユークリッド計量を備えた固定半径エンコーダにより、より良い性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-18T14:51:46Z)
• Hyperbolic Contrastive Learning [12.170564544949308]
  本稿では,双曲空間における意味的関係を学習するための新しいコントラスト学習フレームワークを提案する。 提案手法は, 自己教師付き事前学習, 教師付き分類, ベースライン法よりも頑健な精度において, より良い結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-02-02T20:47:45Z)
• Geometry Contrastive Learning on Heterogeneous Graphs [50.58523799455101]
  本稿では,幾何学コントラスト学習(Geometry Contrastive Learning, GCL)と呼ばれる,新しい自己指導型学習手法を提案する。 GCLはユークリッドと双曲的な視点からヘテロジニアスグラフを同時に見ることができ、リッチな意味論と複雑な構造をモデル化する能力の強い融合を目指している。 4つのベンチマークデータセットの大規模な実験は、提案手法が強いベースラインよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-25T03:54:53Z)
• HRCF: Enhancing Collaborative Filtering via Hyperbolic Geometric Regularization [52.369435664689995]
  HRCF (textitHyperbolic Regularization powered Collaborative Filtering) を導入し,幾何認識型双曲正規化器を設計する。 具体的には、ルートアライメントとオリジン認識ペナルティによる最適化手順を強化する。 提案手法は,双曲的凝集による過度な平滑化問題に対処でき,モデルの識別能力も向上する。
  論文  参考訳（メタデータ） (2022-04-18T06:11:44Z)
• Enhancing Hyperbolic Graph Embeddings via Contrastive Learning [7.901082408569372]
  複数の双曲空間を通してノード表現を学習する新しいハイパーボリックグラフコントラスト学習(HGCL)フレームワークを提案する。 複数の実世界のデータセットに対する実験結果は、提案したHGCLの優位性を示している。
  論文  参考訳（メタデータ） (2022-01-21T06:10:05Z)
• Hyperbolic Graph Embedding with Enhanced Semi-Implicit Variational Inference [48.63194907060615]
  半単純グラフ変分自動エンコーダを用いて,低次元グラフ潜在表現における高次統計量を取得する。 我々は、階層構造を示すグラフを効率的に表現するために、ポインケア埋め込みを通して潜在空間に双曲幾何学を組み込む。
  論文  参考訳（メタデータ） (2020-10-31T05:48:34Z)
• Graph Geometry Interaction Learning [41.10468385822182]
  本研究では,グラフにおける豊富な幾何学的特性を学習するための,グラフの幾何学的相互作用学習(GIL)手法を開発した。 提案手法は,各ノードに,フレキシブルな二重特徴量相互作用学習と確率組立機構を通じて,各幾何学空間の重要性を決定する自由を与える。 ノード分類とリンク予測タスクに関する5つのベンチマークデータセットについて,実験結果を示す。
  論文  参考訳（メタデータ） (2020-10-23T02:40:28Z)
• Ultrahyperbolic Representation Learning [13.828165530602224]
  機械学習では、データは通常、点間の距離が直線に沿っているユークリッド空間で表現される。 定数非零曲率の擬リーマン多様体上に存在する表現を提案する。 この幾何学において必要な学習ツールを提供し、勾配に基づく最適化手法を拡張した。
  論文  参考訳（メタデータ） (2020-07-01T03:49:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。