論文の概要: REFINE: Random RangE FInder for Network Embedding

• arxiv url: http://arxiv.org/abs/2108.10703v1
• Date: Tue, 24 Aug 2021 12:57:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-25 14:24:21.479918
• Title: REFINE: Random RangE FInder for Network Embedding
• Title（参考訳）: ReFINE: Random RangE Finder for Network Embedding
• Authors: Hao Zhu, Piotr Koniusz
• Abstract要約: 本稿では,Random RangE FInderベースのネットワーク埋め込み(REFINE)アルゴリズムを提案する。 REFINEはProNEよりも10倍高速で、LINE、DeepWalk、Node2Vec、GraRep、およびHopeといった他のメソッドよりも10-400倍高速である。
• 参考スコア（独自算出の注目度）: 31.674649135019386
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Network embedding approaches have recently attracted considerable interest as they learn low-dimensional vector representations of nodes. Embeddings based on the matrix factorization are effective but they are usually computationally expensive due to the eigen-decomposition step. In this paper, we propose a Random RangE FInder based Network Embedding (REFINE) algorithm, which can perform embedding on one million of nodes (YouTube) within 30 seconds in a single thread. REFINE is 10x faster than ProNE, which is 10-400x faster than other methods such as LINE, DeepWalk, Node2Vec, GraRep, and Hope. Firstly, we formulate our network embedding approach as a skip-gram model, but with an orthogonal constraint, and we reformulate it into the matrix factorization problem. Instead of using randomized tSVD (truncated SVD) as other methods, we employ the Randomized Blocked QR decomposition to obtain the node representation fast. Moreover, we design a simple but efficient spectral filter for network enhancement to obtain higher-order information for node representation. Experimental results prove that REFINE is very efficient on datasets of different sizes (from thousand to million of nodes/edges) for node classification, while enjoying a good performance.
• Abstract（参考訳）: ノードの低次元ベクトル表現を学習するネットワーク埋め込み手法は近年,注目されている。 行列分解に基づく埋め込みは有効であるが、固有分解ステップのため計算コストがかかることが多い。 本稿では,ランダムレンジファインダに基づくネットワーク埋め込み(refine)アルゴリズムを提案する。このアルゴリズムは1スレッドで30秒以内に100万のノード(youtube)に埋め込むことができる。 REFINEはProNEよりも10倍高速で、LINE、DeepWalk、Node2Vec、GraRep、およびHopeといった他のメソッドよりも10-400倍高速である。 まず,ネットワーク埋め込みアプローチをスキップグラムモデルとして定式化するが,直交制約により行列分解問題に再構成する。 ランダム化 tSVD (truncated SVD) を他の手法として使用する代わりに、ランダム化 QR 分解を用いてノード表現を高速に取得する。 さらに,ネットワーク拡張のための簡易だが効率的なスペクトルフィルタを設計し,ノード表現のための高次情報を得る。 実験の結果、ノード分類のための異なるサイズ(数千から数百万のノード/エッジ)のデータセットで精錬が非常に効率的であり、優れた性能を享受できることがわかった。

関連論文リスト

• Sparse Decomposition of Graph Neural Networks [20.768412002413843]
  本稿では,集約中に含まれるノード数を削減する手法を提案する。 線形変換された特徴の重み付け和を用いてノード表現の近似を学習し、スパース分解によりこれを実現できる。 提案手法は推論高速化のために設計された他のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-25T17:52:16Z)
• Layer-Specific Optimization: Sensitivity Based Convolution Layers Basis Search [0.0]
  畳み込み層の重みに対して行列分解を適用する新しい方法を提案する。 この方法の本質は、すべての畳み込みを訓練することではなく、畳み込みのサブセット(基底畳み込み)のみを訓練することであり、残りを基底の線形結合として表現することである。 ResNetファミリとCIFAR-10データセットによるモデル実験では、ベース畳み込みはモデルのサイズを減らすだけでなく、ネットワークの前方および後方通過を加速する。
  論文  参考訳（メタデータ） (2024-08-12T09:24:48Z)
• Ensemble Quadratic Assignment Network for Graph Matching [52.20001802006391]
  グラフマッチングはコンピュータビジョンやパターン認識において一般的に用いられる技法である。 最近のデータ駆動型アプローチは、グラフマッチングの精度を著しく改善した。 データ駆動手法と従来の手法の利点を組み合わせたグラフニューラルネットワーク(GNN)に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2024-03-11T06:34:05Z)
• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• Recurrent Distance Filtering for Graph Representation Learning [34.761926988427284]
  反復的なワンホップメッセージパッシングに基づくグラフニューラルネットワークは、遠方のノードからの情報を効果的に活用するのに苦労していることが示されている。 これらの課題を解決するための新しいアーキテクチャを提案する。 我々のモデルは、ターゲットへの最短距離で他のノードを集約し、線形RNNを用いてホップ表現のシーケンスを符号化する。
  論文  参考訳（メタデータ） (2023-12-03T23:36:16Z)
• Efficient Link Prediction via GNN Layers Induced by Negative Sampling [86.87385758192566]
  リンク予測のためのグラフニューラルネットワーク(GNN)は、緩やかに2つの広いカテゴリに分けられる。 本稿では,新しいGNNアーキテクチャを提案する。このアーキテクチャでは,Emphforwardパスは,Emphboth陽性(典型的)と負陰性(アプローチに共通)のエッジに明示的に依存する。 これは、埋め込み自体を、正と負のサンプルの分離を好むフォワードパス特異的エネルギー関数の最小化子として再キャストすることで達成される。
  論文  参考訳（メタデータ） (2023-10-14T07:02:54Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Batch-efficient EigenDecomposition for Small and Medium Matrices [65.67315418971688]
  EigenDecomposition (ED)は多くのコンピュータビジョンアルゴリズムとアプリケーションの中心にある。 本稿では,コンピュータビジョンの応用シナリオに特化したQRベースのED手法を提案する。
  論文  参考訳（メタデータ） (2022-07-09T09:14:12Z)
• Neighbor2Seq: Deep Learning on Massive Graphs by Transforming Neighbors to Sequences [55.329402218608365]
  本研究では,各ノードの階層的近傍をシーケンスに変換するためにNeighbor2Seqを提案する。 1100万以上のノードと160億のエッジを持つ大規模グラフ上で,本手法の評価を行った。 その結果,提案手法は大規模グラフに対してスケーラブルであり,大規模グラフと中規模グラフにまたがる優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-02-07T16:38:36Z)
• Accelerating Large Scale Real-Time GNN Inference using Channel Pruning [7.8799581908375185]
  グラフニューラルネットワーク(GNN)は、下流アプリケーションにノード埋め込みを生成する強力なモデルであることが証明されている。 しかし,GNN推論の計算複雑性が高いため,大規模アプリケーションやリアルタイムアプリケーションにGNNをデプロイすることは困難である。 本稿では,各層内の次元を精度損失なく刈り取ることで,gnn推定を高速化することを提案する。
  論文  参考訳（メタデータ） (2021-05-10T17:28:44Z)
• Adaptive Filters and Aggregator Fusion for Efficient Graph Convolutions [11.769185588579488]
  本稿では,アクセル実装に適した特性とともに,メモリ消費と遅延を低減した最先端性能を示す。 提案手法は,エッジ数に比例するメモリを必要とする競合手法とは対照的に,グラフ内の頂点数に比例するメモリを用いる。 GNNが表現力を大幅に高める技術であるアグリゲーター融合を提案し、標準のスパース行列乗算よりも19%の遅延がわずかに増加している。
  論文  参考訳（メタデータ） (2021-04-03T20:54:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。