論文の概要: (LA)yer-neigh(BOR) Sampling: Defusing Neighborhood Explosion in GNNs

• arxiv url: http://arxiv.org/abs/2210.13339v1
• Date: Mon, 24 Oct 2022 15:45:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 18:30:19.729092
• Title: (LA)yer-neigh(BOR) Sampling: Defusing Neighborhood Explosion in GNNs
• Title（参考訳）: (LA)yer-neigh(BOR)サンプリング:GNNにおける近隣爆発の回避
• Authors: Muhammed Fatih Bal{\i}n and \"Umit V. \c{C}ataly\"urek
• Abstract要約: サンプリングと組み合わせたミニバッチトレーニングは、この課題を軽減するために使用される。 既存のアプローチでは、近隣の爆発現象に悩まされるか、性能が良くない。 LABOR(Layer-neighBOR sample)と呼ばれる新しいサンプリングアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 1.52292571922932
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Neural Networks have recently received a significant attention, however, training them at a large scale still remains a challenge. Minibatch training coupled with sampling is used to alleviate this challenge. Even so existing approaches either suffer from the neighborhood explosion phenomenon or do not have good performance. To deal with these issues, we propose a new sampling algorithm called LAyer-neighBOR sampling (LABOR). It is designed to be a direct replacement for Neighborhood Sampling with the same fanout hyperparameter while sampling much fewer vertices, without sacrificing quality. By design, the variance of the estimator of each vertex matches Neighbor Sampling from the point of view of a single vertex. In our experiments, we demonstrate the superiority of our approach when it comes to model convergence behaviour against Neighbor Sampling and also the other Layer Sampling approaches under the same limited vertex sampling budget constraints.
• Abstract（参考訳）: グラフニューラルネットワークは近年大きな注目を集めているが、大規模にトレーニングすることは依然として難しい課題である。 この課題を緩和するために、ミニバッチトレーニングとサンプリングが使用される。 それにもかかわらず、既存のアプローチは近隣の爆発現象に苦しむか、性能が良くない。 これらの問題に対処するため,LABOR (Layer-neighBOR sample) と呼ばれる新しいサンプリングアルゴリズムを提案する。 品質を犠牲にすることなく、より少ない頂点をサンプリングしながら、同じファンアウトハイパーパラメータで近隣サンプリングを直接置き換えるように設計されている。 設計により、各頂点の推定器のばらつきは、1つの頂点の観点から隣のサンプリングと一致する。 実験では,近接サンプリングに対するモデル収束行動や,同じ制限された頂点サンプリング予算制約下での他の層サンプリングアプローチにおいて,我々のアプローチが優れていることを示す。

関連論文リスト

• Sampling in CMA-ES: Low Numbers of Low Discrepancy Points [0.0]
  低差点の小さい固定集合を反復することで、デフォルトの均一分布よりも優れた性能が得られることを示す。 より低次元の場合、32個の特異な差分点を用いると、一様サンプリングよりも近いあるいは良い結果が得られる。
  論文  参考訳（メタデータ） (2024-09-24T10:04:55Z)
• Favour: FAst Variance Operator for Uncertainty Rating [0.034530027457862]
  機械学習予測を解釈するための重要なアプローチとしてベイズニューラルネットワーク(BNN)が登場した。 後部分布からサンプリングすることで、データサイエンティストは推論の不確実性を推定することができる。 以前の研究は、ネットワークを介して後部の第1モーメントと第2モーメントを伝播することを提案した。 この方法はサンプリングよりも遅いため、伝播分散を近似する必要がある。 私たちの貢献は、より原則化された分散伝播フレームワークです。
  論文  参考訳（メタデータ） (2023-11-21T22:53:20Z)
• Hierarchical Adaptive Voxel-guided Sampling for Real-time Applications in Large-scale Point Clouds [6.094829692829813]
  本稿では,線形複雑化と高並列化を実現した階層型適応型ボクセル誘導点サンプリング器を提案する。 提案手法は,100倍以上の速度で,最も強力なFPSと競合する性能を実現する。 我々のサンプルは既存のモデルに簡単に統合でき、最小限の労力でランタイムを20$sim$80%削減できる。
  論文  参考訳（メタデータ） (2023-05-23T17:45:49Z)
• Provably Convergent Subgraph-wise Sampling for Fast GNN Training [122.68566970275683]
  収束保証,すなわちローカルメッセージ補償(LMC)を用いた新しいサブグラフワイズサンプリング手法を提案する。 LMCは、後方パスのメッセージパスの定式化に基づいて、後方パスで破棄されたメッセージを検索する。 大規模ベンチマーク実験により、LCCは最先端のサブグラフワイドサンプリング法よりもはるかに高速であることが示された。
  論文  参考訳（メタデータ） (2023-03-17T05:16:49Z)
• Calibrate and Debias Layer-wise Sampling for Graph Convolutional Networks [39.56471534442315]
  本稿では,行列近似の観点からアプローチを再考する。 本稿では,サンプリング確率と効率的なデバイアスアルゴリズムを構築するための新しい原理を提案する。 改良は、推定分散の広範囲な解析と、一般的なベンチマークの実験によって実証される。
  論文  参考訳（メタデータ） (2022-06-01T15:52:06Z)
• VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using Vector Quantization [70.8567058758375]
  VQ-GNNは、Vector Quantization(VQ)を使用して、パフォーマンスを損なうことなく、畳み込みベースのGNNをスケールアップするための普遍的なフレームワークである。 我々のフレームワークは,グラフ畳み込み行列の低ランク版と組み合わせた量子化表現を用いて,GNNの「隣の爆発」問題を回避する。
  論文  参考訳（メタデータ） (2021-10-27T11:48:50Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)
• A Biased Graph Neural Network Sampler with Near-Optimal Regret [57.70126763759996]
  グラフニューラルネットワーク(GNN)は、グラフおよびリレーショナルデータにディープネットワークアーキテクチャを適用する手段として登場した。 本論文では,既存の作業に基づいて,GNN近傍サンプリングをマルチアームバンディット問題として扱う。 そこで本研究では,分散を低減し,不安定かつ非限定的な支払いを回避すべく設計されたバイアスをある程度導入した報酬関数を提案する。
  論文  参考訳（メタデータ） (2021-03-01T15:55:58Z)
• Communication-Efficient Sampling for Distributed Training of Graph Convolutional Networks [3.075766050800645]
  隣のノードからデータを集約する必要があるため、トレーニンググラフ畳み込みネットワーク(GCN)は高価です。 先行研究では,少数の隣人を対象に,収集結果を推定する様々な近傍サンプリング手法が提案されている。 本稿では, 局所サンプリング確率を判定し, スクイード隣りのサンプリングがトレーニングの収束度に大きく影響しないことを確かめるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-19T16:12:44Z)
• Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
  グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。 これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
  論文  参考訳（メタデータ） (2020-06-10T12:48:37Z)
• Computationally efficient sparse clustering [67.95910835079825]
  我々はPCAに基づく新しいクラスタリングアルゴリズムの有限サンプル解析を行う。 ここでは,ミニマックス最適誤クラスタ化率を,体制$|theta infty$で達成することを示す。
  論文  参考訳（メタデータ） (2020-05-21T17:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。