論文の概要: Hierarchical Estimation for Effective and Efficient Sampling Graph Neural Network

• arxiv url: http://arxiv.org/abs/2211.09813v1
• Date: Wed, 16 Nov 2022 09:16:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 14:07:34.875259
• Title: Hierarchical Estimation for Effective and Efficient Sampling Graph Neural Network
• Title（参考訳）: 有効かつ効率的なサンプリンググラフニューラルネットワークの階層的推定
• Authors: Yang Li, Bingbing Xu, Qi Cao, Yige Yuan and Huawei Shen
• Abstract要約: 既存の手法では,ノードワイド,レイヤワイド,サブグラフサンプリングという3つのサンプリングパラダイムを利用し,拡張性を考慮した非バイアス推定器を設計する。 まず、統一ノードサンプリング分散分析フレームワークを提案し、その中核となる課題を「循環的依存」として分析する。 7つの代表的なデータセットの実験結果から,本手法の有効性と有効性が確認された。
• 参考スコア（独自算出の注目度）: 18.979153994728
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Improving the scalability of GNNs is critical for large graphs. Existing methods leverage three sampling paradigms including node-wise, layer-wise and subgraph sampling, then design unbiased estimator for scalability. However, the high variance still severely hinders GNNs' performance. On account that previous studies either lacks variance analysis or only focus on a particular sampling paradigm, we firstly propose an unified node sampling variance analysis framework and analyze the core challenge "circular dependency" for deriving the minimum variance sampler, i. e., sampling probability depends on node embeddings while node embeddings can not be calculated until sampling is finished. Existing studies either ignore the node embeddings or introduce external parameters, resulting in the lack of a both efficient and effective variance reduction methods. Therefore, we propose the \textbf{H}ierarchical \textbf{E}stimation based \textbf{S}ampling GNN (HE-SGNN) with first level estimating the node embeddings in sampling probability to break circular dependency, and second level employing sampling GNN operator to estimate the nodes' representations on the entire graph. Considering the technical difference, we propose different first level estimator, i.e., a time series simulation for layer-wise sampling and a feature based simulation for subgraph sampling. The experimental results on seven representative datasets demonstrate the effectiveness and efficiency of our method.
• Abstract（参考訳）: 大規模グラフではgnnのスケーラビリティ向上が不可欠である。 既存の手法では,ノードワイド,レイヤワイド,サブグラフサンプリングという3つのサンプリングパラダイムを利用し,拡張性を考慮した非バイアス推定器を設計する。 しかし、高いばらつきは依然としてGNNのパフォーマンスを著しく妨げている。 先行研究が分散分析を欠いているか、特定のサンプリングパラダイムのみに焦点を当てているかを考慮すると、まず、統一ノードサンプリング分散分析フレームワークを提案し、最小分散サンプルを導出するための「循環依存性」について分析する。 e. サンプリング確率はノード埋め込みに依存するが、ノード埋め込みはサンプリングが完了するまで計算できない。 既存の研究はノードの埋め込みを無視するか、外部パラメータを導入し、効率的かつ効果的な分散還元法が欠如している。 そこで本研究では,探索確率でノード埋め込みを推定し,循環依存性を壊すための第1のレベルと,グラフ全体のノード表現を推定するためにサンプリングGNN演算子を用いる第2のレベルを提案する。 技術の違いを考慮し, 層間サンプリングのための時系列シミュレーションと, サブグラフサンプリングのための特徴ベースシミュレーションという, 異なる第1レベルの推定器を提案する。 7つの代表的なデータセットに対する実験結果から,本手法の有効性と有効性を示した。

関連論文リスト

• Sparse Decomposition of Graph Neural Networks [20.768412002413843]
  本稿では,集約中に含まれるノード数を削減する手法を提案する。 線形変換された特徴の重み付け和を用いてノード表現の近似を学習し、スパース分解によりこれを実現できる。 提案手法は推論高速化のために設計された他のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-25T17:52:16Z)
• Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural Networks [89.28881869440433]
  本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。 解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
  論文  参考訳（メタデータ） (2023-02-06T16:54:20Z)
• Adaptive Sketches for Robust Regression with Importance Sampling [64.75899469557272]
  我々は、勾配降下(SGD)による頑健な回帰を解くためのデータ構造を導入する。 我々のアルゴリズムは、サブ線形空間を使用し、データに1回パスするだけで、SGDの$T$ステップを重要サンプリングで効果的に実行します。
  論文  参考訳（メタデータ） (2022-07-16T03:09:30Z)
• ScatterSample: Diversified Label Sampling for Data Efficient Graph Neural Network Learning [22.278779277115234]
  グラフニューラルネットワーク(GNN)トレーニングが高価であるいくつかのアプリケーションでは、新しいインスタンスのラベル付けが高価である。 データ効率のよいアクティブサンプリングフレームワークであるScatterSampleを開発し、アクティブな学習環境下でGNNを訓練する。 5つのデータセットに対する実験により、ScatterSampleは他のGNNのアクティブラーニングベースラインよりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2022-06-09T04:05:02Z)
• Calibrate and Debias Layer-wise Sampling for Graph Convolutional Networks [39.56471534442315]
  本稿では,行列近似の観点からアプローチを再考する。 本稿では,サンプリング確率と効率的なデバイアスアルゴリズムを構築するための新しい原理を提案する。 改良は、推定分散の広範囲な解析と、一般的なベンチマークの実験によって実証される。
  論文  参考訳（メタデータ） (2022-06-01T15:52:06Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• On the Importance of Sampling in Learning Graph Convolutional Networks [13.713485304798368]
  Graph Convolutional Networks (GCNs) は、様々なグラフ関連アプリケーションにおいて、目覚ましい進歩を遂げている。 その成功にもかかわらず、大きなグラフ上でのgcnのトレーニングは計算とメモリの問題に苦しむ。 メモリ予算下で任意のサンプリングメソッドを高速化できる一般的なtextbftextitdoubly variance reductionスキーマを記述・解析する。
  論文  参考訳（メタデータ） (2021-03-03T21:31:23Z)
• Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
  グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。 これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
  論文  参考訳（メタデータ） (2020-06-10T12:48:37Z)
• Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
  グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。 提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
  論文  参考訳（メタデータ） (2020-06-07T07:06:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。