論文の概要: Node Dependent Local Smoothing for Scalable Graph Learning

• arxiv url: http://arxiv.org/abs/2110.14377v1
• Date: Wed, 27 Oct 2021 12:24:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-28 14:46:44.495561
• Title: Node Dependent Local Smoothing for Scalable Graph Learning
• Title（参考訳）: スケーラブルグラフ学習のためのノード依存局所平滑化
• Authors: Wentao Zhang, Mingyu Yang, Zeang Sheng, Yang Li, Wen Ouyang, Yangyu Tao, Zhi Yang, Bin Cui
• Abstract要約: 最近の研究で、グラフニューラルネットワーク(GNN)のコアにある特徴やラベルのスムース化が明らかにされている。 ノード依存局所平滑化(NDLS)と呼ばれる新しいアルゴリズムを提案する。 NDLSは、隣接行列に基づいて影響スコアを計算し、そのスコアにしきい値を設定して繰り返し数を選択する。
• 参考スコア（独自算出の注目度）: 15.227749433827562
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works reveal that feature or label smoothing lies at the core of Graph Neural Networks (GNNs). Concretely, they show feature smoothing combined with simple linear regression achieves comparable performance with the carefully designed GNNs, and a simple MLP model with label smoothing of its prediction can outperform the vanilla GCN. Though an interesting finding, smoothing has not been well understood, especially regarding how to control the extent of smoothness. Intuitively, too small or too large smoothing iterations may cause under-smoothing or over-smoothing and can lead to sub-optimal performance. Moreover, the extent of smoothness is node-specific, depending on its degree and local structure. To this end, we propose a novel algorithm called node-dependent local smoothing (NDLS), which aims to control the smoothness of every node by setting a node-specific smoothing iteration. Specifically, NDLS computes influence scores based on the adjacency matrix and selects the iteration number by setting a threshold on the scores. Once selected, the iteration number can be applied to both feature smoothing and label smoothing. Experimental results demonstrate that NDLS enjoys high accuracy -- state-of-the-art performance on node classifications tasks, flexibility -- can be incorporated with any models, scalability and efficiency -- can support large scale graphs with fast training.
• Abstract（参考訳）: 最近の研究は、グラフニューラルネットワーク(GNN)のコアにある機能やラベルのスムース化を明らかにしている。 具体的には,特徴平滑化と単純な線形回帰を組み合わせることで,慎重に設計したGNNと同等の性能を達成し,ラベル平滑化による予測がバニラGCNより優れていることを示す。 興味深い発見だが、特に滑らかさの程度を制御する方法に関して、スムージングはよく理解されていない。 直感的には、小さすぎるか大きすぎるスムーズなイテレーションは、過度なスムージングや過度なスムージングを引き起こし、準最適パフォーマンスをもたらす可能性がある。 さらに、滑らかさの程度は、その度合いと局所構造によって、ノード固有である。 そこで本研究では,ノード固有の平滑化イテレーションを設定し,各ノードの平滑性を制御することを目的とした,ノード依存局所平滑化(ndls)と呼ばれる新しいアルゴリズムを提案する。 具体的には、ndlsは隣接行列に基づいて影響スコアを計算し、スコアにしきい値を設定してイテレーション番号を選択する。 一度選択すれば、イテレーション番号をフィーチャースムージングとラベルスムージングの両方に適用できる。 実験の結果、NDLSは高い精度(ノード分類タスクにおける最先端のパフォーマンス、柔軟性、あらゆるモデルに組み込めること、スケーラビリティ、効率性が高速なトレーニングで大規模グラフをサポートできることが示されている。

関連論文リスト

• Sparse Decomposition of Graph Neural Networks [20.768412002413843]
  本稿では,集約中に含まれるノード数を削減する手法を提案する。 線形変換された特徴の重み付け和を用いてノード表現の近似を学習し、スパース分解によりこれを実現できる。 提案手法は推論高速化のために設計された他のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-25T17:52:16Z)
• Learning to Control the Smoothness of Graph Convolutional Network Features [9.949988676706418]
  本稿では,グラフ畳み込みネットワーク(GCN)が所望の滑らかさでノード特徴を学習するための新しい戦略を提案する。 我々はReLUの入力と出力の幾何学的関係を確立する。 幾何学的洞察に基づいて、我々はグラフ畳み込み層のメッセージパッシングプロセスを学習可能な用語で拡張し、ノードの特徴の滑らかさを調節する。
  論文  参考訳（メタデータ） (2024-10-18T16:57:27Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• Proposing an intelligent mesh smoothing method with graph neural networks [11.680821798503857]
  CFDでは、メッシュの平滑化法はメッシュの品質を改良し、高精度な数値シミュレーションを実現するために一般的に用いられている。 最適化ベースの平滑化は高品質なメッシュの平滑化に使用されるが、計算オーバーヘッドが大きい。 本稿では,インテリジェントメッシュ平滑化のための軽量ニューラルネットワークモデルであるGMSNetを提案する。
  論文  参考訳（メタデータ） (2023-09-24T02:57:56Z)
• Deep Manifold Learning with Graph Mining [80.84145791017968]
  グラフマイニングのための非段階的決定層を持つ新しいグラフ深層モデルを提案する。 提案モデルでは,現行モデルと比較して最先端性能を実現している。
  論文  参考訳（メタデータ） (2022-07-18T04:34:08Z)
• NAFS: A Simple yet Tough-to-beat Baseline for Graph Representation Learning [26.79012993334157]
  パラメータ学習なしでノード表現を構成する単純な非パラメトリック手法であるノード適応型特徴平滑化(NAFS)を提案する。 ノードクラスタリングとリンク予測という,2つの異なるアプリケーションシナリオに関する4つのベンチマークデータセットの実験を行った。 注目すべきは、機能アンサンブルを備えたNAFSは、これらのタスクで最先端のGNNよりも優れています。
  論文  参考訳（メタデータ） (2022-06-17T06:53:04Z)
• A Robust Stacking Framework for Training Deep Graph Models with Multifaceted Node Features [61.92791503017341]
  数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。 IID(non-graph)データをGNNに簡単に組み込むことはできない。 本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-16T22:46:33Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• Scalable Graph Neural Networks for Heterogeneous Graphs [12.44278942365518]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを学習するためのパラメトリックモデルの一般的なクラスである。 最近の研究は、GNNが主に機能をスムースにするためにグラフを使用しており、ベンチマークタスクで競合する結果を示していると主張している。 本研究では、これらの結果が異種グラフに拡張可能かどうかを問うとともに、異なるエンティティ間の複数のタイプの関係を符号化する。
  論文  参考訳（メタデータ） (2020-11-19T06:03:35Z)
• Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
  グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。 PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。 PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-11-13T18:53:21Z)
• Layer-adaptive sparsity for the Magnitude-based Pruning [88.37510230946478]
  本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。 LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
  論文  参考訳（メタデータ） (2020-10-15T09:14:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。