論文の概要: Calibrate and Debias Layer-wise Sampling for Graph Convolutional Networks

• arxiv url: http://arxiv.org/abs/2206.00583v2
• Date: Thu, 15 Jun 2023 20:26:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-19 18:33:16.121383
• Title: Calibrate and Debias Layer-wise Sampling for Graph Convolutional Networks
• Title（参考訳）: グラフ畳み込みネットワークのためのキャリブレートおよびデビアス層分割サンプリング
• Authors: Yifan Chen, Tianning Xu, Dilek Hakkani-Tur, Di Jin, Yun Yang, Ruoqing Zhu
• Abstract要約: 本稿では,行列近似の観点からアプローチを再考する。 本稿では,サンプリング確率と効率的なデバイアスアルゴリズムを構築するための新しい原理を提案する。 改良は、推定分散の広範囲な解析と、一般的なベンチマークの実験によって実証される。
• 参考スコア（独自算出の注目度）: 39.56471534442315
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multiple sampling-based methods have been developed for approximating and accelerating node embedding aggregation in graph convolutional networks (GCNs) training. Among them, a layer-wise approach recursively performs importance sampling to select neighbors jointly for existing nodes in each layer. This paper revisits the approach from a matrix approximation perspective, and identifies two issues in the existing layer-wise sampling methods: suboptimal sampling probabilities and estimation biases induced by sampling without replacement. To address these issues, we accordingly propose two remedies: a new principle for constructing sampling probabilities and an efficient debiasing algorithm. The improvements are demonstrated by extensive analyses of estimation variance and experiments on common benchmarks. Code and algorithm implementations are publicly available at https://github.com/ychen-stat-ml/GCN-layer-wise-sampling .
• Abstract（参考訳）: グラフ畳み込みネットワーク(GCN)トレーニングにおけるノード埋め込みアグリゲーションの近似と高速化のための複数のサンプリングベース手法を開発した。 それらのうち、レイヤワイズアプローチは、各レイヤ内の既存のノードに対して共同で隣人を選択するために、重要サンプリングを実行する。 本稿では, 行列近似の観点からアプローチを再検討し, 既存のレイヤワイドサンプリング手法における2つの問題, 準最適サンプリング確率と, 置換せずにサンプリングによって誘導される推定バイアスについて述べる。 これらの問題に対処するため、サンプリング確率を構成するための新しい原理と効率的なデバイアスアルゴリズムの2つの方法を提案する。 この改善は、推定分散の広範囲な解析と共通ベンチマーク実験によって実証されている。 コードとアルゴリズムの実装はhttps://github.com/ychen-stat-ml/GCN-layer-wise-sampling で公開されている。

関連論文リスト

• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Improving Gradient-guided Nested Sampling for Posterior Inference [47.08481529384556]
  本稿では,パフォーマンス,汎用的勾配誘導型ネストサンプリングアルゴリズム,$tt GGNS$を提案する。 後部分布から大量の高品質なサンプルを得るために,ネストサンプリングと生成フローネットワークを組み合わせる可能性を示す。
  論文  参考訳（メタデータ） (2023-12-06T21:09:18Z)
• Network Embedding Using Sparse Approximations of Random Walks [2.676713226382288]
  本稿では,拡散ウェーブレットアルゴリズムの修正版により得られたネットワーク上での拡散過程のスパース近似を用いて,通勤時間に基づくネットワーク埋め込みの効率的な数値的実装を提案する。 本稿では,データクラスタリングとマルチラベル分類における本手法の有効性をいくつかの例で示し,その性能を効率と精度の観点から比較する。
  論文  参考訳（メタデータ） (2023-08-25T20:35:45Z)
• Thompson sampling for improved exploration in GFlowNets [75.89693358516944]
  生成フローネットワーク(Generative Flow Networks, GFlowNets)は、合成対象物上の分布からのサンプリングを、学習可能なアクションポリシーを用いたシーケンシャルな意思決定問題として扱う、アモータイズされた変分推論アルゴリズムである。 2つの領域において、TS-GFNは、過去の研究で使われたオフ・ポリティクス・サーベイ・ストラテジーよりも、探索を改善し、目標分布への収束を早くすることを示す。
  論文  参考訳（メタデータ） (2023-06-30T14:19:44Z)
• Plug-and-Play split Gibbs sampler: embedding deep generative priors in Bayesian inference [12.91637880428221]
  本稿では, 後方分布から効率的にサンプリングするために, 可変分割を利用したプラグアンドプレイサンプリングアルゴリズムを提案する。 後方サンプリングの課題を2つの単純なサンプリング問題に分割する。 その性能は最近の最先端の最適化とサンプリング手法と比較される。
  論文  参考訳（メタデータ） (2023-04-21T17:17:51Z)
• Hierarchical Estimation for Effective and Efficient Sampling Graph Neural Network [18.979153994728]
  既存の手法では,ノードワイド,レイヤワイド,サブグラフサンプリングという3つのサンプリングパラダイムを利用し,拡張性を考慮した非バイアス推定器を設計する。 まず、統一ノードサンプリング分散分析フレームワークを提案し、その中核となる課題を「循環的依存」として分析する。 7つの代表的なデータセットの実験結果から,本手法の有効性と有効性が確認された。
  論文  参考訳（メタデータ） (2022-11-16T09:16:04Z)
• Local policy search with Bayesian optimization [73.0364959221845]
  強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。 局所探索のための政策勾配は、しばしばランダムな摂動から得られる。 目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-06-22T16:07:02Z)
• On the Importance of Sampling in Learning Graph Convolutional Networks [13.713485304798368]
  Graph Convolutional Networks (GCNs) は、様々なグラフ関連アプリケーションにおいて、目覚ましい進歩を遂げている。 その成功にもかかわらず、大きなグラフ上でのgcnのトレーニングは計算とメモリの問題に苦しむ。 メモリ予算下で任意のサンプリングメソッドを高速化できる一般的なtextbftextitdoubly variance reductionスキーマを記述・解析する。
  論文  参考訳（メタデータ） (2021-03-03T21:31:23Z)
• Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
  グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。 これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
  論文  参考訳（メタデータ） (2020-06-10T12:48:37Z)
• Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation [72.40827239394565]
  スパースサンプリングされた場所のみの機能を計算することを提案する。 次に、効率的な手順で特徴写像を密に再構築する。 提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
  論文  参考訳（メタデータ） (2020-03-19T15:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。