論文の概要: Learn Layer-wise Connections in Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2112.13585v1
• Date: Mon, 27 Dec 2021 09:33:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-28 22:23:30.738573
• Title: Learn Layer-wise Connections in Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークにおける層間接続の学習
• Authors: Lanning Wei, Huan Zhao, Zhiqiang He
• Abstract要約: GNNにおける中間層間の適応的な接続を学習するためのニューラルネットワーク探索(NAS)に基づくフレームワーク LLC(Learn Layer-wise Connections)を提案する。 LLCには、3種類のブロックと学習可能な接続からなる新しい検索空間と、効率的な検索プロセスを実現するための1つの識別可能な検索アルゴリズムが含まれている。 実世界の5つのデータセットに対する大規模な実験を行い、その結果、探索されたレイヤワイズ接続は性能を向上するだけでなく、過度なスムーシング問題を軽減できることを示した。
• 参考スコア（独自算出の注目度）: 12.363386808994079
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, Graph Neural Networks (GNNs) have shown superior performance on diverse applications on real-world datasets. To improve the model capacity and alleviate the over-smoothing problem, several methods proposed to incorporate the intermediate layers by layer-wise connections. However, due to the highly diverse graph types, the performance of existing methods vary on diverse graphs, leading to a need for data-specific layer-wise connection methods. To address this problem, we propose a novel framework LLC (Learn Layer-wise Connections) based on neural architecture search (NAS) to learn adaptive connections among intermediate layers in GNNs. LLC contains one novel search space which consists of 3 types of blocks and learnable connections, and one differentiable search algorithm to enable the efficient search process. Extensive experiments on five real-world datasets are conducted, and the results show that the searched layer-wise connections can not only improve the performance but also alleviate the over-smoothing problem.
• Abstract（参考訳）: 近年、グラフニューラルネットワーク(GNN)は、現実世界のデータセット上の多様なアプリケーションにおいて、優れたパフォーマンスを示している。 モデルキャパシティの向上と過平滑化問題を緩和するため,レイヤワイド接続により中間層を組み込む手法が提案されている。 しかし,グラフの種類が非常に多様であるため,既存手法の性能は多種多様であり,データ固有のレイヤワイド接続方式が必要である。 この問題に対処するために,ニューラルアーキテクチャサーチ(NAS)に基づく新しいフレームワーク LLC(Learn Layer-wise Connections)を提案し,GNNにおける中間層間の適応接続を学習する。 LLCには、3種類のブロックと学習可能な接続からなる新しい検索空間と、効率的な検索プロセスを実現するための1つの異なる検索アルゴリズムが含まれている。 実世界の5つのデータセットに関する広範囲な実験を行い,検索した層間接続が性能を向上させるだけでなく,余計な問題も軽減できることを示した。

関連論文リスト

• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• Learning Strong Graph Neural Networks with Weak Information [64.64996100343602]
  我々は、弱い情報(GLWI)を用いたグラフ学習問題に対する原則的アプローチを開発する。 非完全構造を持つ入力グラフ上で長距離情報伝搬を行うデュアルチャネルGNNフレームワークであるD$2$PTを提案するが、グローバルな意味的類似性を符号化するグローバルグラフも提案する。
  論文  参考訳（メタデータ） (2023-05-29T04:51:09Z)
• AGNN: Alternating Graph-Regularized Neural Networks to Alleviate Over-Smoothing [29.618952407794776]
  グラフ畳み込み層(GCL)とグラフ埋め込み層(GEL)からなる交代グラフ正規化ニューラルネットワーク(AGNN)を提案する。 GELはラプラシアン埋め込み項を含むグラフ正規化最適化から導かれる。 AGNNは、いくつかの多層または多次グラフニューラルネットワークのパフォーマンス比較を含む、多数の実験を通じて評価されている。
  論文  参考訳（メタデータ） (2023-04-14T09:20:03Z)
• A Robust Stacking Framework for Training Deep Graph Models with Multifaceted Node Features [61.92791503017341]
  数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。 IID(non-graph)データをGNNに簡単に組み込むことはできない。 本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-16T22:46:33Z)
• Automatic Relation-aware Graph Network Proliferation [182.30735195376792]
  GNNを効率的に検索するためのARGNP(Automatic Relation-Aware Graph Network Proliferation)を提案する。 これらの操作は階層的なノード/リレーショナル情報を抽出し、グラフ上のメッセージパッシングのための異方的ガイダンスを提供する。 4つのグラフ学習タスクのための6つのデータセットの実験により、我々の手法によって生成されたGNNは、現在最先端の手作りおよび検索に基づくGNNよりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-05-31T10:38:04Z)
• Bandit Sampling for Multiplex Networks [8.771092194928674]
  多数のレイヤを持つ多重ネットワーク上でのスケーラブルな学習アルゴリズムを提案する。 オンライン学習アルゴリズムは、トレーニング中に関連する情報を持つレイヤのみを集約するように、関連する隣のレイヤをサンプリングする方法を学ぶ。 合成シナリオと実世界のシナリオの両方に関する実験結果を示す。
  論文  参考訳（メタデータ） (2022-02-08T03:26:34Z)
• Edge-featured Graph Neural Architecture Search [131.4361207769865]
  最適GNNアーキテクチャを見つけるために,エッジ機能付きグラフニューラルアーキテクチャ探索を提案する。 具体的には、高次表現を学習するためにリッチなエンティティとエッジの更新操作を設計する。 EGNASは、現在最先端の人間設計および検索されたGNNよりも高い性能で、より優れたGNNを検索できることを示す。
  論文  参考訳（メタデータ） (2021-09-03T07:53:18Z)
• Pooling Architecture Search for Graph Classification [36.728077433219916]
  グラフニューラルネットワーク(GNN)は、近傍のアグリゲーションスキームに基づいてノードレベルの表現を学習するように設計されている。 集約操作後にポーリング法を適用し、粗い粒度のグラフを生成する。 ほとんどのケースでうまく機能するように、普遍的なプールアーキテクチャを設計することは難しい問題である。 グラフ分類のための適応型プールアーキテクチャを探索するために,ニューラルアーキテクチャサーチ(NAS)を提案する。
  論文  参考訳（メタデータ） (2021-08-24T09:03:03Z)
• RAN-GNNs: breaking the capacity limits of graph neural networks [43.66682619000099]
  グラフニューラルネットワークは、グラフ上で定義されたデータの学習と分析に対処する問題の中心となっている。 最近の研究では、複数の近隣サイズを同時に考慮し、適応的にそれらを調整する必要があるためです。 ランダムに配線されたアーキテクチャを用いることで、ネットワークの容量を増大させ、よりリッチな表現を得ることができることを示す。
  論文  参考訳（メタデータ） (2021-03-29T12:34:36Z)
• Clustering multilayer graphs with missing nodes [4.007017852999008]
  クラスタリングはネットワーク分析における基本的な問題であり、同じ接続プロファイルを持つノードを再グループ化するのが目標である。 異なるノードセット上でレイヤを定義できる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-04T18:56:59Z)
• Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
  グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。 複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。 本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:03:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。