論文の概要: Understanding and Mitigating Hyperbolic Dimensional Collapse in Graph Contrastive Learning

• arxiv url: http://arxiv.org/abs/2310.18209v2
• Date: Sat, 22 Feb 2025 18:33:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 22:36:55.153587
• Title: Understanding and Mitigating Hyperbolic Dimensional Collapse in Graph Contrastive Learning
• Title（参考訳）: グラフコントラスト学習における双曲的次元の崩壊の理解と緩和
• Authors: Yifei Zhang, Hao Zhu, Menglin Yang, Jiahong Liu, Rex Ying, Irwin King, Piotr Koniusz,
• Abstract要約: 双曲空間における高品質グラフ埋め込みを学習するための新しいコントラスト学習フレームワークを提案する。 具体的には、階層的なデータ不変情報を効果的にキャプチャするアライメントメトリックを設計する。 双曲空間において、木の性質に関連する葉と高さの均一性に対処する必要があることを示す。
• 参考スコア（独自算出の注目度）: 70.0681902472251
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning generalizable self-supervised graph representations for downstream tasks is challenging. To this end, Contrastive Learning (CL) has emerged as a leading approach. The embeddings of CL are arranged on a hypersphere where similarity is measured by the cosine distance. However, many real-world graphs, especially of hierarchical nature, cannot be embedded well in the Euclidean space. Although the hyperbolic embedding is suitable for hierarchical representation learning, naively applying CL to the hyperbolic space may result in the so-called dimension collapse, i.e., features will concentrate mostly within few density regions, leading to poor utilization of the whole feature space. Thus, we propose a novel contrastive learning framework to learn high-quality graph embeddings in hyperbolic space. Specifically, we design the alignment metric that effectively captures the hierarchical data-invariant information, as well as we propose a substitute of the uniformity metric to prevent the so-called dimensional collapse. We show that in the hyperbolic space one has to address the leaf- and height-level uniformity related to properties of trees. In the ambient space of the hyperbolic manifold these notions translate into imposing an isotropic ring density towards boundaries of Poincar\'e ball. Our experiments support the efficacy of our method.
• Abstract（参考訳）: 下流タスクのための一般化可能な自己教師付きグラフ表現の学習は難しい。 この目的のために、Contrastive Learning (CL) が主要なアプローチとして登場した。 CLの埋め込みは、コサイン距離によって類似度を測定する超球面に配置される。 しかし、多くの実世界のグラフ、特に階層的な性質はユークリッド空間にうまく埋め込まれない。 双曲埋め込みは階層的表現学習に適しているが、双曲空間に内在的にCLを適用すると、いわゆる次元崩壊が起こる。 そこで本稿では,ハイクオリティなグラフ埋め込みをハイパーボリック空間に組み込むための,新しいコントラスト学習フレームワークを提案する。 具体的には、階層的なデータ不変情報を効果的にキャプチャするアライメントメトリックを設計し、また、いわゆる次元崩壊を防止するために一様度メトリックの代用を提案する。 双曲空間において、木の性質に関連する葉と高さの均一性に対処する必要があることを示す。 双曲多様体の周囲空間において、これらの概念はポアンカルボールの境界に対して等方環密度を与える。 我々の実験は我々の方法の有効性を支持する。

関連論文リスト

• Weighted Embeddings for Low-Dimensional Graph Representation [0.13499500088995461]
  グラフを重み付き空間に埋め込むことを提案し、これは双曲幾何学と密接に関連しているが数学的には単純である。 重み付き埋め込みは、より少ない次元を使いながら、異質グラフに対する最先端のユークリッド埋め込みを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2024-10-08T13:41:03Z)
• Improving embedding of graphs with missing data by soft manifolds [51.425411400683565]
  グラフ埋め込みの信頼性は、連続空間の幾何がグラフ構造とどの程度一致しているかに依存する。 我々は、この問題を解決することができる、ソフト多様体と呼ばれる新しい多様体のクラスを導入する。 グラフ埋め込みにソフト多様体を用いることで、複雑なデータセット上のデータ解析における任意のタスクを追求するための連続空間を提供できる。
  論文  参考訳（メタデータ） (2023-11-29T12:48:33Z)
• Hyperbolic vs Euclidean Embeddings in Few-Shot Learning: Two Sides of the Same Coin [49.12496652756007]
  この結果から, 共通の双曲半径での双曲埋め込みが達成できることが示唆された。 従来のベンチマーク結果とは対照的に、ユークリッド計量を備えた固定半径エンコーダにより、より良い性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-18T14:51:46Z)
• Tight and fast generalization error bound of graph embedding in metric space [54.279425319381374]
  非ユークリッド計量空間へのグラフ埋め込みは、既存の有界よりもはるかに少ない訓練データを持つユークリッド空間におけるグラフ埋め込みよりも優れていることを示す。 我々の新しい上限は、既存の上限よりもかなり強く速く、最大で$R$と$O(frac1S)$に指数関数できる。
  論文  参考訳（メタデータ） (2023-05-13T17:29:18Z)
• FFHR: Fully and Flexible Hyperbolic Representation for Knowledge Graph Completion [45.470475498688344]
  双曲空間におけるいくつかの重要な操作は、まだ良い定義を欠いているため、既存の方法では双曲空間の利点を十分に活用できない。 我々は,近年のユークリッド対応の進歩を双曲空間に転送できるtextbfFully と textbfFlexible textbfHyperbolic textbfRepresentation フレームワーク (textbfFFHR) を開発した。
  論文  参考訳（メタデータ） (2023-02-07T14:50:28Z)
• Hyperbolic Contrastive Learning [12.170564544949308]
  本稿では,双曲空間における意味的関係を学習するための新しいコントラスト学習フレームワークを提案する。 提案手法は, 自己教師付き事前学習, 教師付き分類, ベースライン法よりも頑健な精度において, より良い結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-02-02T20:47:45Z)
• Geometry Contrastive Learning on Heterogeneous Graphs [50.58523799455101]
  本稿では,幾何学コントラスト学習(Geometry Contrastive Learning, GCL)と呼ばれる,新しい自己指導型学習手法を提案する。 GCLはユークリッドと双曲的な視点からヘテロジニアスグラフを同時に見ることができ、リッチな意味論と複雑な構造をモデル化する能力の強い融合を目指している。 4つのベンチマークデータセットの大規模な実験は、提案手法が強いベースラインよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-25T03:54:53Z)
• Geometry Interaction Knowledge Graph Embeddings [153.69745042757066]
  ユークリッド空間,双曲空間,超球空間間の空間構造を対話的に学習する幾何学的相互作用知識グラフ埋め込み(GIE)を提案する。 提案したGIEは、よりリッチなリレーショナル情報、モデルキー推論パターンをキャプチャし、エンティティ間の表現的セマンティックマッチングを可能にする。
  論文  参考訳（メタデータ） (2022-06-24T08:33:43Z)
• HRCF: Enhancing Collaborative Filtering via Hyperbolic Geometric Regularization [52.369435664689995]
  HRCF (textitHyperbolic Regularization powered Collaborative Filtering) を導入し,幾何認識型双曲正規化器を設計する。 具体的には、ルートアライメントとオリジン認識ペナルティによる最適化手順を強化する。 提案手法は,双曲的凝集による過度な平滑化問題に対処でき,モデルの識別能力も向上する。
  論文  参考訳（メタデータ） (2022-04-18T06:11:44Z)
• Enhancing Hyperbolic Graph Embeddings via Contrastive Learning [7.901082408569372]
  複数の双曲空間を通してノード表現を学習する新しいハイパーボリックグラフコントラスト学習(HGCL)フレームワークを提案する。 複数の実世界のデータセットに対する実験結果は、提案したHGCLの優位性を示している。
  論文  参考訳（メタデータ） (2022-01-21T06:10:05Z)
• Highly Scalable and Provably Accurate Classification in Poincare Balls [40.82908295137667]
  我々は、スケーラブルで単純な双曲型線形分類器を証明可能な性能保証で学習するための統一的なフレームワークを構築した。 提案手法は,新しい双曲型および二階型パーセプトロンアルゴリズムと,双曲型サポートベクトルマシン分類器の効率的かつ高精度な凸最適化設定を含む。 数百万の点からなる合成データセットと、シングルセルRNA-seq式測定、CIFAR10、Fashion-MNIST、mini-ImageNetのような複雑な実世界のデータセットの性能評価を行う。
  論文  参考訳（メタデータ） (2021-09-08T16:59:39Z)
• Unit Ball Model for Hierarchical Embeddings in Complex Hyperbolic Space [28.349200177632852]
  双曲空間における階層構造を持つデータの表現を学習することは近年注目を集めている。 複素双曲空間の単位球モデルにおいてグラフ埋め込みを学ぶことを提案する。
  論文  参考訳（メタデータ） (2021-05-09T16:09:54Z)
• Hyperbolic Graph Embedding with Enhanced Semi-Implicit Variational Inference [48.63194907060615]
  半単純グラフ変分自動エンコーダを用いて,低次元グラフ潜在表現における高次統計量を取得する。 我々は、階層構造を示すグラフを効率的に表現するために、ポインケア埋め込みを通して潜在空間に双曲幾何学を組み込む。
  論文  参考訳（メタデータ） (2020-10-31T05:48:34Z)
• Graph Geometry Interaction Learning [41.10468385822182]
  本研究では,グラフにおける豊富な幾何学的特性を学習するための,グラフの幾何学的相互作用学習(GIL)手法を開発した。 提案手法は,各ノードに,フレキシブルな二重特徴量相互作用学習と確率組立機構を通じて,各幾何学空間の重要性を決定する自由を与える。 ノード分類とリンク予測タスクに関する5つのベンチマークデータセットについて,実験結果を示す。
  論文  参考訳（メタデータ） (2020-10-23T02:40:28Z)
• Ultrahyperbolic Representation Learning [13.828165530602224]
  機械学習では、データは通常、点間の距離が直線に沿っているユークリッド空間で表現される。 定数非零曲率の擬リーマン多様体上に存在する表現を提案する。 この幾何学において必要な学習ツールを提供し、勾配に基づく最適化手法を拡張した。
  論文  参考訳（メタデータ） (2020-07-01T03:49:24Z)
• Robust Large-Margin Learning in Hyperbolic Space [64.42251583239347]
  ユークリッド空間ではなく双曲型で分類器を学ぶための最初の理論的保証を示す。 本研究では, 対向例の慎重な注入に頼って, 大面積超平面を効率よく学習するアルゴリズムを提案する。 双曲空間によく埋め込まれる階層的データに対して、低埋め込み次元は優れた保証を保証することを証明している。
  論文  参考訳（メタデータ） (2020-04-11T19:11:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。