論文の概要: Embedding Compression with Hashing for Efficient Representation Learning in Large-Scale Graph

• arxiv url: http://arxiv.org/abs/2208.05648v1
• Date: Thu, 11 Aug 2022 05:43:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-12 13:07:16.652176
• Title: Embedding Compression with Hashing for Efficient Representation Learning in Large-Scale Graph
• Title（参考訳）: 大規模グラフにおける効率的な表現学習のためのハッシュによる埋め込み圧縮
• Authors: Chin-Chia Michael Yeh, Mengting Gu, Yan Zheng, Huiyuan Chen, Javid Ebrahimi, Zhongfang Zhuang, Junpeng Wang, Liang Wang, and Wei Zhang
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフデータに特化したディープラーニングモデルである。 本研究では,各ノードを浮動小数点ベクトルの代わりにビットベクトルでコンパクトに表現するノード埋め込み圧縮法を開発した。 提案手法は,提案手法が提案手法よりも優れた性能を示すことを示す。
• 参考スコア（独自算出の注目度）: 21.564894767364397
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph neural networks (GNNs) are deep learning models designed specifically for graph data, and they typically rely on node features as the input to the first layer. When applying such a type of network on the graph without node features, one can extract simple graph-based node features (e.g., number of degrees) or learn the input node representations (i.e., embeddings) when training the network. While the latter approach, which trains node embeddings, more likely leads to better performance, the number of parameters associated with the embeddings grows linearly with the number of nodes. It is therefore impractical to train the input node embeddings together with GNNs within graphics processing unit (GPU) memory in an end-to-end fashion when dealing with industrial-scale graph data. Inspired by the embedding compression methods developed for natural language processing (NLP) tasks, we develop a node embedding compression method where each node is compactly represented with a bit vector instead of a floating-point vector. The parameters utilized in the compression method can be trained together with GNNs. We show that the proposed node embedding compression method achieves superior performance compared to the alternatives.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフデータ専用に設計されたディープラーニングモデルであり、通常は第1層の入力としてノード機能に依存する。 このようなタイプのネットワークをノード機能なしでグラフに適用する場合、単純なグラフベースのノード特徴(度数など)を抽出したり、ネットワークをトレーニングする際に入力ノード表現(埋め込みなど)を学習することができる。 ノード埋め込みを訓練する後者のアプローチは、より良いパフォーマンスをもたらす可能性が高いが、埋め込みに関連するパラメータの数はノードの数とともに線形に増加する。 したがって、産業規模のグラフデータを扱う場合、グラフィクス処理ユニット(GPU)メモリ内のGNNと共に入力ノードの埋め込みをエンドツーエンドで訓練することは不可能である。 自然言語処理(NLP)タスクのための埋め込み圧縮法に着想を得て,各ノードを浮動小数点ベクトルの代わりにビットベクトルでコンパクトに表現するノード埋め込み圧縮法を開発した。 圧縮法で使用されるパラメータは、gnnと共にトレーニングすることができる。 提案手法は,提案手法が提案手法よりも優れた性能を示すことを示す。

関連論文リスト

• Graph Spring Neural ODEs for Link Sign Prediction [49.71046810937725]
  本稿では,春の力によってモデル化されたグラフスプリングネットワーク(GSN)と呼ばれる新しいメッセージパッシング層アーキテクチャを提案する。 提案手法は,大規模グラフ上で最大28,000のノード生成時間高速化係数を持つ最先端手法に近い精度を実現する。
  論文  参考訳（メタデータ） (2024-12-17T13:50:20Z)
• Scalable Graph Compressed Convolutions [68.85227170390864]
  ユークリッド畳み込みのための入力グラフのキャリブレーションに置換を適用する微分可能手法を提案する。 グラフキャリブレーションに基づいて,階層型グラフ表現学習のための圧縮畳み込みネットワーク(CoCN)を提案する。
  論文  参考訳（メタデータ） (2024-07-26T03:14:13Z)
• Content Augmented Graph Neural Networks [0.824969449883056]
  本稿では, ノードの埋め込みを, コンテンツから生成された埋め込みによって, 上位のGNN層に拡張することを提案する。 自動エンコーダやコンテンツグラフの構築など,コンテンツ埋め込みを生成する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-21T17:30:57Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• A Robust Stacking Framework for Training Deep Graph Models with Multifaceted Node Features [61.92791503017341]
  数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。 IID(non-graph)データをGNNに簡単に組み込むことはできない。 本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-16T22:46:33Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Inferential SIR-GN: Scalable Graph Representation Learning [0.4699313647907615]
  グラフ表現学習法は、ネットワーク内のノードの数値ベクトル表現を生成する。 本研究では,ランダムグラフ上で事前学習されたモデルであるInferential SIR-GNを提案し,ノード表現を高速に計算する。 このモデルではノードの構造的役割情報を捉えることができ、ノードやグラフの分類タスクにおいて、目に見えないネットワーク上で優れた性能を示すことができる。
  論文  参考訳（メタデータ） (2021-11-08T20:56:37Z)
• Position-based Hash Embeddings For Scaling Graph Neural Networks [8.87527266373087]
  グラフニューラルネットワーク(GNN)は、ノードのエゴネットワークのトポロジとエゴネットワークのノードの特徴を考慮したノード表現を演算する。 ノードが高品質な機能を持っていない場合、GNNはノードの埋め込みを計算するために埋め込み層を学び、それらを入力機能として使用する。 この埋め込みレイヤに関連するメモリを削減するため、NLPやレコメンダシステムのようなアプリケーションで一般的に使用されるハッシュベースのアプローチが利用可能である。 本稿では,グラフ内のノードの位置を利用して,必要なメモリを大幅に削減する手法を提案する。
  論文  参考訳（メタデータ） (2021-08-31T22:42:25Z)
• Node2Seq: Towards Trainable Convolutions in Graph Neural Networks [59.378148590027735]
  今回提案するグラフネットワーク層であるNode2Seqは,隣接ノードの重みを明示的に調整可能なノード埋め込みを学習する。 対象ノードに対して,当手法は注意メカニズムを介して隣接ノードをソートし,さらに1D畳み込みニューラルネットワーク(CNN)を用いて情報集約のための明示的な重み付けを行う。 また, 特徴学習のための非局所的情報を, 注意スコアに基づいて適応的に組み込むことを提案する。
  論文  参考訳（メタデータ） (2021-01-06T03:05:37Z)
• Hierarchical Representation Learning in Graph Neural Networks with Node Decimation Pooling [31.812988573924674]
  グラフニューラルネットワーク(GNN)では、プール演算子は入力グラフの局所的な要約を計算し、そのグローバルな特性をキャプチャする。 グラフトポロジ全体を保存しながら粗いグラフを生成するGNNのためのプール演算子であるNode Decimation Pooling (NDP)を提案する。 NDPは、最先端のグラフプーリング演算子よりも効率的であり、同時に、様々なグラフ分類タスクにおける競合性能にも達する。
  論文  参考訳（メタデータ） (2019-10-24T21:42:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。