論文の概要: Meta-Aggregator: Learning to Aggregate for 1-bit Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2109.12872v1
• Date: Mon, 27 Sep 2021 08:50:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-28 15:47:55.756170
• Title: Meta-Aggregator: Learning to Aggregate for 1-bit Graph Neural Networks
• Title（参考訳）: メタアグリゲータ: 1ビットグラフニューラルネットワークのためのアグリゲータ学習
• Authors: Yongcheng Jing, Yiding Yang, Xinchao Wang, Mingli Song, Dacheng Tao
• Abstract要約: 我々は,GNNパラメータとグラフ特徴をバイナライズするバニラ1ビットフレームワークを開発した。 軽量なアーキテクチャにもかかわらず、我々はこのバニラフレームワークがグラフトポロジを区別するのに十分な差別力に悩まされていることを観察した。 この発見は、バニラ二項化GNNの表現力を向上させるためにメタアグリゲータを考案する動機となる。
• 参考スコア（独自算出の注目度）: 127.32203532517953
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we study a novel meta aggregation scheme towards binarizing graph neural networks (GNNs). We begin by developing a vanilla 1-bit GNN framework that binarizes both the GNN parameters and the graph features. Despite the lightweight architecture, we observed that this vanilla framework suffered from insufficient discriminative power in distinguishing graph topologies, leading to a dramatic drop in performance. This discovery motivates us to devise meta aggregators to improve the expressive power of vanilla binarized GNNs, of which the aggregation schemes can be adaptively changed in a learnable manner based on the binarized features. Towards this end, we propose two dedicated forms of meta neighborhood aggregators, an exclusive meta aggregator termed as Greedy Gumbel Neighborhood Aggregator (GNA), and a diffused meta aggregator termed as Adaptable Hybrid Neighborhood Aggregator (ANA). GNA learns to exclusively pick one single optimal aggregator from a pool of candidates, while ANA learns a hybrid aggregation behavior to simultaneously retain the benefits of several individual aggregators. Furthermore, the proposed meta aggregators may readily serve as a generic plugin module into existing full-precision GNNs. Experiments across various domains demonstrate that the proposed method yields results superior to the state of the art.
• Abstract（参考訳）: 本稿では,二元化グラフニューラルネットワーク(gnns)に向けた新しいメタアグリゲーション手法について検討する。 まず、GNNパラメータとグラフ特徴の両方をバイナライズするバニラ1ビットGNNフレームワークを開発する。 軽量なアーキテクチャにもかかわらず、このバニラフレームワークはグラフトポロジを区別する上で識別力の不足に悩まされ、パフォーマンスが劇的に低下するのを観察しました。 この発見は、二元化特徴に基づいて学習可能な方法でアグリゲーションスキームを適応的に変更できるバニラ二元化gnnの表現力を向上させるためにメタアグリゲータを考案する動機付けとなります。 この目的のために,2種類のメタ近隣アグリゲータ,Greedy Gumbel Neighborhood Aggregator (GNA) と呼ばれる排他的メタアグリゲータ,およびAdaptable Hybrid Neighborhood Aggregator (ANA) と呼ばれる拡散的メタアグリゲータを提案する。 GNAは一つの最適なアグリゲータを候補のプールからのみ選択することを学び、ANAは複数の個別アグリゲータの利点を同時に保持するためにハイブリッドアグリゲータの振る舞いを学ぶ。 さらに、提案するメタアグリゲータは、既存の完全なgnnへの汎用プラグインモジュールとして機能する。 種々の領域にわたる実験により,提案手法が技術状況よりも優れた結果をもたらすことを示した。

関連論文リスト

• Pre-trained Graphformer-based Ranking at Web-scale Search (Extended Abstract) [56.55728466130238]
  本稿では,変換器の回帰能力をGNNのリンク予測強度と統合することを目的とした新しいMPGrafモデルを提案する。 我々は、MPGrafの性能を厳格に評価するために、大規模なオフラインおよびオンライン実験を行っている。
  論文  参考訳（メタデータ） (2024-09-25T03:33:47Z)
• HAGNN: Hybrid Aggregation for Heterogeneous Graph Neural Networks [15.22198175691658]
  異種グラフニューラルネットワーク(GNN)は異種グラフの処理に成功している。 近年の研究では、メタパスを持たない単純な同質グラフモデルでも同等の結果が得られることが指摘されている。 ヘテロジニアスグラフにおけるリッチな型意味情報(HAGNN)を包括的に活用するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-04T10:40:20Z)
• Complete the Missing Half: Augmenting Aggregation Filtering with Diversification for Graph Convolutional Neural Networks [46.14626839260314]
  現在のグラフニューラルネットワーク(GNN)は、特定のデータセットで学習するすべてのGNNモデルに根ざした問題要因である可能性が示されている。 集約操作をそれらの双対、すなわち、ノードをより明確にし、アイデンティティを保存する多様化演算子で拡張する。 このような拡張は、アグリゲーションを2チャネルのフィルタリングプロセスに置き換え、理論上、ノード表現を豊かにするのに役立つ。 実験では,モデルの望ましい特性と,9ノード分類タスクのベースライン上での大幅な性能向上について検討した。
  論文  参考訳（メタデータ） (2022-12-21T07:24:03Z)
• Learnable Commutative Monoids for Graph Neural Networks [0.0]
  グラフニューラルネットワーク(GNN)は集約関数の選択に非常に敏感である。 繰り返しアグリゲータを備えたGNNは、最先端の置換不変アグリゲータと競合することを示す。 本稿では,学習可能な,可換な,連想的なバイナリ演算子を構築するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T15:43:41Z)
• A Variational Edge Partition Model for Supervised Graph Representation Learning [51.30365677476971]
  本稿では,重なり合うノード群間の相互作用を集約することで,観測されたエッジがどのように生成されるかをモデル化するグラフ生成プロセスを提案する。 それぞれのエッジを複数のコミュニティ固有の重み付きエッジの和に分割し、コミュニティ固有のGNNを定義する。 エッジを異なるコミュニティに分割するGNNベースの推論ネットワーク,これらのコミュニティ固有のGNN,およびコミュニティ固有のGNNを最終分類タスクに組み合わせたGNNベースの予測器を共同で学習するために,変分推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-07T14:37:50Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)
• Permutation-equivariant and Proximity-aware Graph Neural Networks with Stochastic Message Passing [88.30867628592112]
  グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。 置換等価性と近接認識性は、GNNにとって非常に望ましい2つの重要な特性である。 既存のGNNは、主にメッセージパッシング機構に基づいており、同時に2つの特性を保存できないことを示す。 ノードの近さを保つため,既存のGNNをノード表現で拡張する。
  論文  参考訳（メタデータ） (2020-09-05T16:46:56Z)
• Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
  グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。 複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。 本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:03:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。