論文の概要: PushNet: Efficient and Adaptive Neural Message Passing

• arxiv url: http://arxiv.org/abs/2003.02228v4
• Date: Fri, 18 Dec 2020 00:20:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 12:33:59.690676
• Title: PushNet: Efficient and Adaptive Neural Message Passing
• Title（参考訳）: pushnet:効率的な適応型ニューラルメッセージパッシング
• Authors: Julian Busch, Jiaxing Pi, Thomas Seidl
• Abstract要約: メッセージパッシングニューラルネットワークは、最近、グラフ上での表現学習に対する最先端のアプローチへと進化した。 既存のメソッドは、複数のラウンドですべてのエッジに沿って同期メッセージパッシングを実行する。 我々は、収束するまで最も関連性の高いエッジに沿ってのみ情報をプッシュする、新しい非同期メッセージパッシングアプローチについて検討する。
• 参考スコア（独自算出の注目度）: 1.9121961872220468
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Message passing neural networks have recently evolved into a state-of-the-art approach to representation learning on graphs. Existing methods perform synchronous message passing along all edges in multiple subsequent rounds and consequently suffer from various shortcomings: Propagation schemes are inflexible since they are restricted to $k$-hop neighborhoods and insensitive to actual demands of information propagation. Further, long-range dependencies cannot be modeled adequately and learned representations are based on correlations of fixed locality. These issues prevent existing methods from reaching their full potential in terms of prediction performance. Instead, we consider a novel asynchronous message passing approach where information is pushed only along the most relevant edges until convergence. Our proposed algorithm can equivalently be formulated as a single synchronous message passing iteration using a suitable neighborhood function, thus sharing the advantages of existing methods while addressing their central issues. The resulting neural network utilizes a node-adaptive receptive field derived from meaningful sparse node neighborhoods. In addition, by learning and combining node representations over differently sized neighborhoods, our model is able to capture correlations on multiple scales. We further propose variants of our base model with different inductive bias. Empirical results are provided for semi-supervised node classification on five real-world datasets following a rigorous evaluation protocol. We find that our models outperform competitors on all datasets in terms of accuracy with statistical significance. In some cases, our models additionally provide faster runtime.
• Abstract（参考訳）: メッセージパッシングニューラルネットワークは、最近、グラフ上での表現学習に対する最先端のアプローチへと進化した。 既存の方法は、複数のラウンドですべてのエッジに沿って同期メッセージパッシングを行い、結果として様々な欠点を被る: 伝搬スキームは、$k$-hop地区に制限され、情報伝達の実際の要求に敏感であるため、柔軟性がない。 さらに、長距離依存を適切にモデル化することはできず、学習された表現は固定された局所性の相関に基づく。 これらの問題により、予測性能の観点から既存の手法が潜在能力を発揮できない。 代わりに、情報は収束するまで最も適切なエッジに沿ってのみプッシュされる、新しい非同期メッセージパッシングアプローチを考えます。 提案アルゴリズムは,適切な近傍関数を用いて単一同期メッセージパッシング繰り返しとして等価に定式化することができ,その中心的問題に対処しながら既存の手法の利点を共有することができる。 得られたニューラルネットワークは、有意義なスパースノード近傍に由来するノード適応受容フィールドを利用する。 さらに,異なる大きさの近傍でノード表現を学習し結合することにより,複数のスケールで相関を捉えることができる。 さらに, 帰納バイアスの異なるベースモデルの変種を提案する。 厳密な評価プロトコルに従って,実世界の5つのデータセットを半教師付きノード分類する実験結果を得た。 我々のモデルは、統計的に有意な精度で、全てのデータセットで競合より優れています。 場合によっては、より高速なランタイムを提供するモデルもあります。

関連論文リスト

• Efficient Link Prediction via GNN Layers Induced by Negative Sampling [92.05291395292537]
  リンク予測のためのグラフニューラルネットワーク(GNN)は、緩やかに2つの広いカテゴリに分けられる。 まず、Emphnode-wiseアーキテクチャは各ノードの個別の埋め込みをプリコンパイルし、後に単純なデコーダで結合して予測を行う。 第二に、エンフェッジワイド法は、ペアワイド関係の表現を強化するために、エッジ固有のサブグラフ埋め込みの形成に依存している。
  論文  参考訳（メタデータ） (2023-10-14T07:02:54Z)
• Evaluating Graph Neural Networks for Link Prediction: Current Pitfalls and New Benchmarking [66.83273589348758]
  リンク予測は、グラフのエッジの一部のみに基づいて、目に見えないエッジが存在するかどうかを予測しようとする。 近年,この課題にグラフニューラルネットワーク(GNN)を活用すべく,一連の手法が導入されている。 これらの新しいモデルの有効性をよりよく評価するために、新しい多様なデータセットも作成されている。
  論文  参考訳（メタデータ） (2023-06-18T01:58:59Z)
• Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness [86.61582747039053]
  分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。 分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
  論文  参考訳（メタデータ） (2023-06-16T17:59:51Z)
• Interpolation-based Correlation Reduction Network for Semi-Supervised Graph Learning [49.94816548023729]
  補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。 提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。 この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
  論文  参考訳（メタデータ） (2022-06-06T14:26:34Z)
• Invertible Neural Networks for Graph Prediction [22.140275054568985]
  本研究では,ディープ・インバーチブル・ニューラルネットワークを用いた条件生成について述べる。 私たちの目標は,前処理と後処理の予測と生成を同時に行うことにあるので,エンドツーエンドのトレーニングアプローチを採用しています。
  論文  参考訳（メタデータ） (2022-06-02T17:28:33Z)
• Walk for Learning: A Random Walk Approach for Federated Learning from Heterogeneous Data [17.978941229970886]
  私たちは標準的アプリケーションとしてフェデレートラーニング(FL)に注目します。 FLの主な課題の1つは、ノードとパラメータサーバの間の通信ボトルネックである。 適応型ランダムウォーク学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-01T19:53:24Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• Node Representation Learning in Graph via Node-to-Neighbourhood Mutual Information Maximization [27.701736055800314]
  グラフにおける情報ノード表現の学習の鍵は、近隣からコンテキスト情報を得る方法にある。 本稿では,ノードの隠蔽表現と周辺領域の相互情報を直接的に最大化することで,自己教師付きノード表現学習戦略を提案する。 我々のフレームワークは、表現学習の質と効率を裏付ける正の選択が相反する比較的損失によって最適化されている。
  論文  参考訳（メタデータ） (2022-03-23T08:21:10Z)
• Bayesian community detection for networks with covariates [16.230648949593153]
  科学界でもっとも注目されているのは「コミュニティ検出」である。 共依存型ランダムパーティションを持つブロックモデルを提案する。 本モデルでは, 後部推測により, コミュニティの数を知ることができる。
  論文  参考訳（メタデータ） (2022-03-04T01:58:35Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。