論文の概要: Calibrate and Debias Layer-wise Sampling for Graph Convolutional Networks

• arxiv url: http://arxiv.org/abs/2206.00583v1
• Date: Wed, 1 Jun 2022 15:52:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-06-02 12:43:20.030006
• Title: Calibrate and Debias Layer-wise Sampling for Graph Convolutional Networks
• Title（参考訳）: グラフ畳み込みネットワークのためのキャリブレートおよびデビアス層分割サンプリング
• Authors: Yifan Chen, Tianning Xu, Dilek Hakkani-Tur, Di Jin, Yun Yang, Ruoqing Zhu
• Abstract要約: レイヤワイズアプローチは、各レイヤ内の既存のノードに対して共同で隣人を選択するために、重要サンプリングを実行する。 既存の層別サンプリング手法では, サブ最適サンプリング確率と, 置換せずにサンプリングによって誘導される近似バイアスの2つの問題を同定した。 本稿では,これらの問題に対処するため,新しいサンプリング確率とデバイアスアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 39.56471534442315
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To accelerate the training of graph convolutional networks (GCNs), many sampling-based methods have been developed for approximating the embedding aggregation. Among them, a layer-wise approach recursively performs importance sampling to select neighbors jointly for existing nodes in each layer. This paper revisits the approach from a matrix approximation perspective. We identify two issues in the existing layer-wise sampling methods: sub-optimal sampling probabilities and the approximation bias induced by sampling without replacement. We propose two remedies: new sampling probabilities and a debiasing algorithm, to address these issues, and provide the statistical analysis of the estimation variance. The improvements are demonstrated by extensive analyses and experiments on common benchmarks.
• Abstract（参考訳）: グラフ畳み込みネットワーク(gcns)の学習を高速化するために,埋め込み集約を近似する多くのサンプリングベース手法が開発されている。 それらのうち、レイヤワイズアプローチは、各レイヤ内の既存のノードに対して共同で隣人を選択するために、重要サンプリングを実行する。 本稿では,行列近似の観点からアプローチを再考する。 提案手法は, サブ最適サンプリング確率と, 置換せずにサンプリングによって誘導される近似バイアスの2つの問題である。 本稿では,これらの問題に対処するため,新しいサンプリング確率とデバイアスアルゴリズムを提案し,推定分散の統計的解析を行う。 改善は、一般的なベンチマークに関する広範囲な分析と実験によって実証される。

関連論文リスト

• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Improving Gradient-guided Nested Sampling for Posterior Inference [47.08481529384556]
  本稿では,パフォーマンス,汎用的勾配誘導型ネストサンプリングアルゴリズム,$tt GGNS$を提案する。 後部分布から大量の高品質なサンプルを得るために,ネストサンプリングと生成フローネットワークを組み合わせる可能性を示す。
  論文  参考訳（メタデータ） (2023-12-06T21:09:18Z)
• Network Embedding Using Sparse Approximations of Random Walks [2.676713226382288]
  本稿では,拡散ウェーブレットアルゴリズムの修正版により得られたネットワーク上での拡散過程のスパース近似を用いて,通勤時間に基づくネットワーク埋め込みの効率的な数値的実装を提案する。 本稿では,データクラスタリングとマルチラベル分類における本手法の有効性をいくつかの例で示し,その性能を効率と精度の観点から比較する。
  論文  参考訳（メタデータ） (2023-08-25T20:35:45Z)
• Thompson sampling for improved exploration in GFlowNets [75.89693358516944]
  生成フローネットワーク(Generative Flow Networks, GFlowNets)は、合成対象物上の分布からのサンプリングを、学習可能なアクションポリシーを用いたシーケンシャルな意思決定問題として扱う、アモータイズされた変分推論アルゴリズムである。 2つの領域において、TS-GFNは、過去の研究で使われたオフ・ポリティクス・サーベイ・ストラテジーよりも、探索を改善し、目標分布への収束を早くすることを示す。
  論文  参考訳（メタデータ） (2023-06-30T14:19:44Z)
• Plug-and-Play split Gibbs sampler: embedding deep generative priors in Bayesian inference [12.91637880428221]
  本稿では, 後方分布から効率的にサンプリングするために, 可変分割を利用したプラグアンドプレイサンプリングアルゴリズムを提案する。 後方サンプリングの課題を2つの単純なサンプリング問題に分割する。 その性能は最近の最先端の最適化とサンプリング手法と比較される。
  論文  参考訳（メタデータ） (2023-04-21T17:17:51Z)
• Hierarchical Estimation for Effective and Efficient Sampling Graph Neural Network [18.979153994728]
  既存の手法では,ノードワイド,レイヤワイド,サブグラフサンプリングという3つのサンプリングパラダイムを利用し,拡張性を考慮した非バイアス推定器を設計する。 まず、統一ノードサンプリング分散分析フレームワークを提案し、その中核となる課題を「循環的依存」として分析する。 7つの代表的なデータセットの実験結果から,本手法の有効性と有効性が確認された。
  論文  参考訳（メタデータ） (2022-11-16T09:16:04Z)
• Local policy search with Bayesian optimization [73.0364959221845]
  強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。 局所探索のための政策勾配は、しばしばランダムな摂動から得られる。 目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-06-22T16:07:02Z)
• On the Importance of Sampling in Learning Graph Convolutional Networks [13.713485304798368]
  Graph Convolutional Networks (GCNs) は、様々なグラフ関連アプリケーションにおいて、目覚ましい進歩を遂げている。 その成功にもかかわらず、大きなグラフ上でのgcnのトレーニングは計算とメモリの問題に苦しむ。 メモリ予算下で任意のサンプリングメソッドを高速化できる一般的なtextbftextitdoubly variance reductionスキーマを記述・解析する。
  論文  参考訳（メタデータ） (2021-03-03T21:31:23Z)
• Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
  グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。 これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
  論文  参考訳（メタデータ） (2020-06-10T12:48:37Z)
• Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation [72.40827239394565]
  スパースサンプリングされた場所のみの機能を計算することを提案する。 次に、効率的な手順で特徴写像を密に再構築する。 提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
  論文  参考訳（メタデータ） (2020-03-19T15:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。