論文の概要: Understanding and Mitigating Hyperbolic Dimensional Collapse in Graph Contrastive Learning

• arxiv url: http://arxiv.org/abs/2310.18209v2
• Date: Sat, 22 Feb 2025 18:33:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:49:33.994316
• Title: Understanding and Mitigating Hyperbolic Dimensional Collapse in Graph Contrastive Learning
• Title（参考訳）: グラフコントラスト学習における双曲的次元の崩壊の理解と緩和
• Authors: Yifei Zhang, Hao Zhu, Menglin Yang, Jiahong Liu, Rex Ying, Irwin King, Piotr Koniusz,
• Abstract要約: 双曲空間における高品質グラフ埋め込みを学習するための新しいコントラスト学習フレームワークを提案する。 具体的には、階層的なデータ不変情報を効果的にキャプチャするアライメントメトリックを設計する。 双曲空間において、木の性質に関連する葉と高さの均一性に対処する必要があることを示す。
• 参考スコア（独自算出の注目度）: 70.0681902472251
• License:
• Abstract: Learning generalizable self-supervised graph representations for downstream tasks is challenging. To this end, Contrastive Learning (CL) has emerged as a leading approach. The embeddings of CL are arranged on a hypersphere where similarity is measured by the cosine distance. However, many real-world graphs, especially of hierarchical nature, cannot be embedded well in the Euclidean space. Although the hyperbolic embedding is suitable for hierarchical representation learning, naively applying CL to the hyperbolic space may result in the so-called dimension collapse, i.e., features will concentrate mostly within few density regions, leading to poor utilization of the whole feature space. Thus, we propose a novel contrastive learning framework to learn high-quality graph embeddings in hyperbolic space. Specifically, we design the alignment metric that effectively captures the hierarchical data-invariant information, as well as we propose a substitute of the uniformity metric to prevent the so-called dimensional collapse. We show that in the hyperbolic space one has to address the leaf- and height-level uniformity related to properties of trees. In the ambient space of the hyperbolic manifold these notions translate into imposing an isotropic ring density towards boundaries of Poincar\'e ball. Our experiments support the efficacy of our method.
• Abstract（参考訳）: 下流タスクのための一般化可能な自己教師付きグラフ表現の学習は難しい。 この目的のために、Contrastive Learning (CL) が主要なアプローチとして登場した。 CLの埋め込みは、コサイン距離によって類似度を測定する超球面に配置される。 しかし、多くの実世界のグラフ、特に階層的な性質はユークリッド空間にうまく埋め込まれない。 双曲埋め込みは階層的表現学習に適しているが、双曲空間に内在的にCLを適用すると、いわゆる次元崩壊が起こる。 そこで本稿では,ハイクオリティなグラフ埋め込みをハイパーボリック空間に組み込むための,新しいコントラスト学習フレームワークを提案する。 具体的には、階層的なデータ不変情報を効果的にキャプチャするアライメントメトリックを設計し、また、いわゆる次元崩壊を防止するために一様度メトリックの代用を提案する。 双曲空間において、木の性質に関連する葉と高さの均一性に対処する必要があることを示す。 双曲多様体の周囲空間において、これらの概念はポアンカルボールの境界に対して等方環密度を与える。 我々の実験は我々の方法の有効性を支持する。

関連論文リスト

• Improving embedding of graphs with missing data by soft manifolds [51.425411400683565]
  グラフ埋め込みの信頼性は、連続空間の幾何がグラフ構造とどの程度一致しているかに依存する。 我々は、この問題を解決することができる、ソフト多様体と呼ばれる新しい多様体のクラスを導入する。 グラフ埋め込みにソフト多様体を用いることで、複雑なデータセット上のデータ解析における任意のタスクを追求するための連続空間を提供できる。
  論文  参考訳（メタデータ） (2023-11-29T12:48:33Z)
• Hyperbolic vs Euclidean Embeddings in Few-Shot Learning: Two Sides of the Same Coin [49.12496652756007]
  この結果から, 共通の双曲半径での双曲埋め込みが達成できることが示唆された。 従来のベンチマーク結果とは対照的に、ユークリッド計量を備えた固定半径エンコーダにより、より良い性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-18T14:51:46Z)
• Hyperbolic Contrastive Learning [12.170564544949308]
  本稿では,双曲空間における意味的関係を学習するための新しいコントラスト学習フレームワークを提案する。 提案手法は, 自己教師付き事前学習, 教師付き分類, ベースライン法よりも頑健な精度において, より良い結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-02-02T20:47:45Z)
• Geometry Contrastive Learning on Heterogeneous Graphs [50.58523799455101]
  本稿では,幾何学コントラスト学習(Geometry Contrastive Learning, GCL)と呼ばれる,新しい自己指導型学習手法を提案する。 GCLはユークリッドと双曲的な視点からヘテロジニアスグラフを同時に見ることができ、リッチな意味論と複雑な構造をモデル化する能力の強い融合を目指している。 4つのベンチマークデータセットの大規模な実験は、提案手法が強いベースラインよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-25T03:54:53Z)
• HRCF: Enhancing Collaborative Filtering via Hyperbolic Geometric Regularization [52.369435664689995]
  HRCF (textitHyperbolic Regularization powered Collaborative Filtering) を導入し,幾何認識型双曲正規化器を設計する。 具体的には、ルートアライメントとオリジン認識ペナルティによる最適化手順を強化する。 提案手法は,双曲的凝集による過度な平滑化問題に対処でき,モデルの識別能力も向上する。
  論文  参考訳（メタデータ） (2022-04-18T06:11:44Z)
• Enhancing Hyperbolic Graph Embeddings via Contrastive Learning [7.901082408569372]
  複数の双曲空間を通してノード表現を学習する新しいハイパーボリックグラフコントラスト学習(HGCL)フレームワークを提案する。 複数の実世界のデータセットに対する実験結果は、提案したHGCLの優位性を示している。
  論文  参考訳（メタデータ） (2022-01-21T06:10:05Z)
• Hyperbolic Graph Embedding with Enhanced Semi-Implicit Variational Inference [48.63194907060615]
  半単純グラフ変分自動エンコーダを用いて,低次元グラフ潜在表現における高次統計量を取得する。 我々は、階層構造を示すグラフを効率的に表現するために、ポインケア埋め込みを通して潜在空間に双曲幾何学を組み込む。
  論文  参考訳（メタデータ） (2020-10-31T05:48:34Z)
• Graph Geometry Interaction Learning [41.10468385822182]
  本研究では,グラフにおける豊富な幾何学的特性を学習するための,グラフの幾何学的相互作用学習(GIL)手法を開発した。 提案手法は,各ノードに,フレキシブルな二重特徴量相互作用学習と確率組立機構を通じて,各幾何学空間の重要性を決定する自由を与える。 ノード分類とリンク予測タスクに関する5つのベンチマークデータセットについて,実験結果を示す。
  論文  参考訳（メタデータ） (2020-10-23T02:40:28Z)
• Ultrahyperbolic Representation Learning [13.828165530602224]
  機械学習では、データは通常、点間の距離が直線に沿っているユークリッド空間で表現される。 定数非零曲率の擬リーマン多様体上に存在する表現を提案する。 この幾何学において必要な学習ツールを提供し、勾配に基づく最適化手法を拡張した。
  論文  参考訳（メタデータ） (2020-07-01T03:49:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。