論文の概要: Bypassing Skip-Gram Negative Sampling: Dimension Regularization as a More Efficient Alternative for Graph Embeddings

• arxiv url: http://arxiv.org/abs/2405.00172v2
• Date: Mon, 02 Jun 2025 17:43:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 04:22:50.337562
• Title: Bypassing Skip-Gram Negative Sampling: Dimension Regularization as a More Efficient Alternative for Graph Embeddings
• Title（参考訳）: スキップグラム負サンプリングの回避:グラフ埋め込みのより効率的な代替手段としての次元正規化
• Authors: David Liu, Arjun Seshadri, Tina Eliassi-Rad, Johan Ugander,
• Abstract要約: 提案手法は, ノード操作よりもSGNSノードワイド・リパルスの方がスケーラブルであることを示す。 本稿では,SGNSを用いて既存のアルゴリズムのスケーラビリティを向上させるフレキシブルアルゴリズム拡張フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 8.858596502294471
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A wide range of graph embedding objectives decompose into two components: one that enforces similarity, attracting the embeddings of nodes that are perceived as similar, and another that enforces dissimilarity, repelling the embeddings of nodes that are perceived as dissimilar. Without repulsion, the embeddings would collapse into trivial solutions. Skip-Gram Negative Sampling (SGNS) is a popular and efficient repulsion approach that prevents collapse by repelling each node from a sample of dissimilar nodes. In this work, we show that when repulsion is most needed and the embeddings approach collapse, SGNS node-wise repulsion is, in the aggregate, an approximate re-centering of the node embedding dimensions. Such dimension operations are more scalable than node operations and produce a simpler geometric interpretation of the repulsion. Our theoretical result establishes dimension regularization as an effective and more efficient, compared to skip-gram node contrast, approach to enforcing dissimilarity among embeddings of nodes. We use this result to propose a flexible algorithm augmentation framework that improves the scalability of any existing algorithm using SGNS. The framework prioritizes node attraction and replaces SGNS with dimension regularization. We instantiate this generic framework for LINE and node2vec and show that the augmented algorithms preserve downstream link-prediction performance while reducing GPU memory usage by up to 33.3% and training time by 23.4%. Moreover, we show that completely removing repulsion (a special case of our augmentation framework) in LINE reduces training time by 70.9% on average, while increasing link prediction performance, especially for graphs that are globally sparse but locally dense. In general, however, repulsion is needed, and dimension regularization provides an efficient alternative to SGNS.
• Abstract（参考訳）: グラフの埋め込み目的は、類似性を強制し、類似と認識されるノードの埋め込みを惹きつけるものと、類似と認識されるノードの埋め込みを撃退するものである。 反発がなければ、埋め込みは自明な解に崩壊する。 Skip-Gram Negative Smpling (SGNS) は、異なるノードのサンプルから各ノードを反発させることで、崩壊を防止し、人気があり効率的な撃退手法である。 本研究は, 再帰が最必要であり, 埋め込みが崩壊すると, SGNSノードワイド反発は, 集約において, ノード埋め込み次元の近似的再中心化であることを示す。 このような次元演算はノード演算よりもスケーラブルであり、反発のより単純な幾何学的解釈を生成する。 提案理論は,ノードの埋め込みにおける相似性を抑えるアプローチとして,スキップグラムのノードコントラストと比較して,次元正規化を効果的かつ効率的なものとして確立する。 この結果を用いて,SGNSを用いた既存のアルゴリズムのスケーラビリティを向上させるフレキシブルなアルゴリズム拡張フレームワークを提案する。 このフレームワークはノードアトラクションを優先し、SGNSを次元正規化で置き換える。 LINEとnode2vecのこの汎用フレームワークをインスタンス化し、GPUメモリ使用量を最大33.3%削減し、トレーニング時間を23.4%削減しながら、下流リンク予測性能を向上したアルゴリズムを示す。 さらに,LINE における完全排除 (拡張フレームワークの特殊な場合) はトレーニング時間を平均 70.9% 削減し,リンク予測性能は向上し,特に世界規模で疎密なグラフに対して顕著であることを示す。 しかし、一般的には反発が必要であり、次元正規化はSGNSの効率的な代替となる。

関連論文リスト

• Sparse Decomposition of Graph Neural Networks [20.768412002413843]
  本稿では,集約中に含まれるノード数を削減する手法を提案する。 線形変換された特徴の重み付け和を用いてノード表現の近似を学習し、スパース分解によりこれを実現できる。 提案手法は推論高速化のために設計された他のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-25T17:52:16Z)
• Combining Optimal Transport and Embedding-Based Approaches for More Expressiveness in Unsupervised Graph Alignment [19.145556156889064]
  教師なしグラフアライメントは、グラフ構造とノード特徴のみを利用して、属性グラフのペア間の1対1ノード対応を見つける。 モデル表現性の理論的解析によって動機付けられたそれらの利点を組み合わせるための原理的アプローチを提案する。 我々は,問題を最大重み付けに還元することで,一対一のマッチング制約を最初に保証する。
  論文  参考訳（メタデータ） (2024-06-19T04:57:35Z)
• Generative Semi-supervised Graph Anomaly Detection [42.02691404704764]
  この研究は、グラフ内のノードの一部が正規であることが知られている、実用的な半教師付きグラフ異常検出(GAD)シナリオについて考察する。 我々は,通常のノードをよりよく活用するために,半教師付きシナリオのための新しいGAD手法(GGAD)を提案する。 GGADは、異常ノード(非対称な局所親和性と自中心的親密性)に関する2つの重要な先行情報を活用するように設計されている。
  論文  参考訳（メタデータ） (2024-02-19T06:55:50Z)
• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• Node Embedding for Homophilous Graphs with ARGEW: Augmentation of Random walks by Graph Edge Weights [2.2935273605606494]
  ARGEWはランダムウォークのための新しい拡張手法であり、コーパスをより大きなエッジ重みを持つノードがより近い埋め込みで終わるように拡張する。 いくつかの実世界のネットワークにおいて、ARGEWはそれを使用しないのに対し、より大きなエッジ重みを持つノード対がより密着した埋め込みを持つという望ましいパターンはより明確であることを示す。
  論文  参考訳（メタデータ） (2023-08-11T06:19:23Z)
• BOURNE: Bootstrapped Self-supervised Learning Framework for Unified Graph Anomaly Detection [50.26074811655596]
  自己指導型自己学習(BOURNE)に基づく新しい統合グラフ異常検出フレームワークを提案する。 ノードとエッジ間のコンテキスト埋め込みを交換することで、ノードとエッジの異常を相互に検出できる。 BOURNEは、負のサンプリングを必要としないため、大きなグラフを扱う際の効率を高めることができる。
  論文  参考訳（メタデータ） (2023-07-28T00:44:57Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Mixed Graph Contrastive Network for Semi-Supervised Node Classification [63.924129159538076]
  我々はMixed Graph Contrastive Network(MGCN)と呼ばれる新しいグラフコントラスト学習手法を提案する。 本研究では,非摂動増強戦略と相関還元機構により,潜伏埋め込みの識別能力を向上する。 これら2つの設定を組み合わせることで、識別表現学習のために、豊富なノードと稀に価値あるラベル付きノードの両方から、豊富な監視情報を抽出する。
  論文  参考訳（メタデータ） (2022-06-06T14:26:34Z)
• Geometric Graph Representation Learning via Maximizing Rate Reduction [73.6044873825311]
  学習ノード表現は、コミュニティ検出やノード分類などのグラフ解析において、さまざまな下流タスクの恩恵を受ける。 教師なしの方法でノード表現を学習するための幾何学グラフ表現学習(G2R)を提案する。 G2R は異なるグループ内のノードを異なる部分空間にマッピングし、各部分空間はコンパクトで異なる部分空間が分散される。
  論文  参考訳（メタデータ） (2022-02-13T07:46:24Z)
• Graph Neural Networks with Feature and Structure Aware Random Walk [7.143879014059894]
  典型的な好適なグラフでは、エッジを指向する可能性があり、エッジをそのまま扱うか、あるいは単純に非指向にするかは、GNNモデルの性能に大きな影響を与える。 そこで我々は,グラフの方向性を適応的に学習するモデルを開発し,ノード間の長距離相関を生かした。
  論文  参考訳（メタデータ） (2021-11-19T08:54:21Z)
• Integrating Network Embedding and Community Outlier Detection via Multiclass Graph Description [15.679313861083239]
  そこで本稿では,ノード埋め込みとアウトレーヤとコミュニティ検出を統合した非教師なしグラフ埋め込み手法(DMGD)を提案する。 DMGDにより検出された外れ値の数に関する理論的境界を示す。 我々の定式化は、外れ値、コミュニティ割り当て、ノード埋め込み関数の間の興味深いミニマックスゲームに起因する。
  論文  参考訳（メタデータ） (2020-07-20T16:21:07Z)
• Sequential Graph Convolutional Network for Active Learning [53.99104862192055]
  逐次グラフ畳み込みネットワーク(GCN)を用いた新しいプールベースアクティブラーニングフレームワークを提案する。 少数のランダムなサンプル画像がシードラベル付き例であるので、グラフのパラメータを学習してラベル付きノードと非ラベル付きノードを区別する。 我々はGCNの特性を利用してラベル付けされたものと十分に異なる未ラベルの例を選択する。
  論文  参考訳（メタデータ） (2020-06-18T00:55:10Z)
• Towards Deeper Graph Neural Networks with Differentiable Group Normalization [61.20639338417576]
  グラフニューラルネットワーク(GNN)は、隣接するノードを集約することでノードの表現を学習する。 オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスが制限される重要な問題のひとつです。 2つのオーバースムースなメトリクスと新しいテクニック、すなわち微分可能群正規化(DGN)を導入する。
  論文  参考訳（メタデータ） (2020-06-12T07:18:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。