論文の概要: Layer-Neighbor Sampling -- Defusing Neighborhood Explosion in GNNs

• arxiv url: http://arxiv.org/abs/2210.13339v2
• Date: Fri, 19 May 2023 21:02:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 05:27:02.870966
• Title: Layer-Neighbor Sampling -- Defusing Neighborhood Explosion in GNNs
• Title（参考訳）: 層近傍サンプリング -GNNにおける近傍爆発の回避-
• Authors: Muhammed Fatih Bal{\i}n and \"Umit V. \c{C}ataly\"urek
• Abstract要約: LABOR(Layer-neighBOR sample)と呼ばれる新しいサンプリングアルゴリズムを提案する。 近隣サンプリング(NS)の直接代替として設計された。 既存のレイヤサンプリングアプローチよりも高速に収束し、NSと比較して最大112倍のバッチサイズを使用することができる。
• 参考スコア（独自算出の注目度）: 1.52292571922932
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Neural Networks (GNNs) have received significant attention recently, but training them at a large scale remains a challenge. Mini-batch training coupled with sampling is used to alleviate this challenge. However, existing approaches either suffer from the neighborhood explosion phenomenon or have poor performance. To address these issues, we propose a new sampling algorithm called LAyer-neighBOR sampling (LABOR). It is designed to be a direct replacement for Neighbor Sampling (NS) with the same fanout hyperparameter while sampling up to 7 times fewer vertices, without sacrificing quality. By design, the variance of the estimator of each vertex matches NS from the point of view of a single vertex. Moreover, under the same vertex sampling budget constraints, LABOR converges faster than existing layer sampling approaches and can use up to 112 times larger batch sizes compared to NS.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は最近大きな注目を集めているが、大規模なトレーニングは依然として課題である。 この課題を軽減するため、ミニバッチトレーニングとサンプリングが併用される。 しかし、既存のアプローチは近隣の爆発現象に苦しむか、性能が悪い。 これらの問題に対処するため,LABOR (Layer-neighBOR sample) と呼ばれる新しいサンプリングアルゴリズムを提案する。 近隣サンプリング(NS)を同じファンアウトハイパーパラメータで置き換えると同時に、品質を犠牲にすることなく最大7倍の頂点をサンプリングするように設計されている。 設計により、各頂点の推定器のばらつきは、単一の頂点の観点からNSと一致する。 さらに、同じ頂点サンプリング予算制約の下では、LABORは既存のレイヤサンプリングアプローチよりも早く収束し、NSと比較して最大112倍のバッチサイズを使用することができる。

関連論文リスト

• Sampling in CMA-ES: Low Numbers of Low Discrepancy Points [0.0]
  低差点の小さい固定集合を反復することで、デフォルトの均一分布よりも優れた性能が得られることを示す。 より低次元の場合、32個の特異な差分点を用いると、一様サンプリングよりも近いあるいは良い結果が得られる。
  論文  参考訳（メタデータ） (2024-09-24T10:04:55Z)
• Favour: FAst Variance Operator for Uncertainty Rating [0.034530027457862]
  機械学習予測を解釈するための重要なアプローチとしてベイズニューラルネットワーク(BNN)が登場した。 後部分布からサンプリングすることで、データサイエンティストは推論の不確実性を推定することができる。 以前の研究は、ネットワークを介して後部の第1モーメントと第2モーメントを伝播することを提案した。 この方法はサンプリングよりも遅いため、伝播分散を近似する必要がある。 私たちの貢献は、より原則化された分散伝播フレームワークです。
  論文  参考訳（メタデータ） (2023-11-21T22:53:20Z)
• Hierarchical Adaptive Voxel-guided Sampling for Real-time Applications in Large-scale Point Clouds [6.094829692829813]
  本稿では,線形複雑化と高並列化を実現した階層型適応型ボクセル誘導点サンプリング器を提案する。 提案手法は,100倍以上の速度で,最も強力なFPSと競合する性能を実現する。 我々のサンプルは既存のモデルに簡単に統合でき、最小限の労力でランタイムを20$sim$80%削減できる。
  論文  参考訳（メタデータ） (2023-05-23T17:45:49Z)
• Provably Convergent Subgraph-wise Sampling for Fast GNN Training [122.68566970275683]
  収束保証,すなわちローカルメッセージ補償(LMC)を用いた新しいサブグラフワイズサンプリング手法を提案する。 LMCは、後方パスのメッセージパスの定式化に基づいて、後方パスで破棄されたメッセージを検索する。 大規模ベンチマーク実験により、LCCは最先端のサブグラフワイドサンプリング法よりもはるかに高速であることが示された。
  論文  参考訳（メタデータ） (2023-03-17T05:16:49Z)
• Calibrate and Debias Layer-wise Sampling for Graph Convolutional Networks [39.56471534442315]
  本稿では,行列近似の観点からアプローチを再考する。 本稿では,サンプリング確率と効率的なデバイアスアルゴリズムを構築するための新しい原理を提案する。 改良は、推定分散の広範囲な解析と、一般的なベンチマークの実験によって実証される。
  論文  参考訳（メタデータ） (2022-06-01T15:52:06Z)
• VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using Vector Quantization [70.8567058758375]
  VQ-GNNは、Vector Quantization(VQ)を使用して、パフォーマンスを損なうことなく、畳み込みベースのGNNをスケールアップするための普遍的なフレームワークである。 我々のフレームワークは,グラフ畳み込み行列の低ランク版と組み合わせた量子化表現を用いて,GNNの「隣の爆発」問題を回避する。
  論文  参考訳（メタデータ） (2021-10-27T11:48:50Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)
• A Biased Graph Neural Network Sampler with Near-Optimal Regret [57.70126763759996]
  グラフニューラルネットワーク(GNN)は、グラフおよびリレーショナルデータにディープネットワークアーキテクチャを適用する手段として登場した。 本論文では,既存の作業に基づいて,GNN近傍サンプリングをマルチアームバンディット問題として扱う。 そこで本研究では,分散を低減し,不安定かつ非限定的な支払いを回避すべく設計されたバイアスをある程度導入した報酬関数を提案する。
  論文  参考訳（メタデータ） (2021-03-01T15:55:58Z)
• Communication-Efficient Sampling for Distributed Training of Graph Convolutional Networks [3.075766050800645]
  隣のノードからデータを集約する必要があるため、トレーニンググラフ畳み込みネットワーク(GCN)は高価です。 先行研究では,少数の隣人を対象に,収集結果を推定する様々な近傍サンプリング手法が提案されている。 本稿では, 局所サンプリング確率を判定し, スクイード隣りのサンプリングがトレーニングの収束度に大きく影響しないことを確かめるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-19T16:12:44Z)
• Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
  グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。 これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
  論文  参考訳（メタデータ） (2020-06-10T12:48:37Z)
• Computationally efficient sparse clustering [67.95910835079825]
  我々はPCAに基づく新しいクラスタリングアルゴリズムの有限サンプル解析を行う。 ここでは,ミニマックス最適誤クラスタ化率を,体制$|theta infty$で達成することを示す。
  論文  参考訳（メタデータ） (2020-05-21T17:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。