論文の概要: You Can Have Better Graph Neural Networks by Not Training Weights at All: Finding Untrained GNNs Tickets

• arxiv url: http://arxiv.org/abs/2211.15335v5
• Date: Sun, 4 Feb 2024 19:08:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 07:20:30.197074
• Title: You Can Have Better Graph Neural Networks by Not Training Weights at All: Finding Untrained GNNs Tickets
• Title（参考訳）: トレーニング不足でグラフニューラルネットワークを改良:訓練されていないGNNのチケットを見つける
• Authors: Tianjin Huang, Tianlong Chen, Meng Fang, Vlado Menkovski, Jiaxu Zhao, Lu Yin, Yulong Pei, Decebal Constantin Mocanu, Zhangyang Wang, Mykola Pechenizkiy, Shiwei Liu
• Abstract要約: グラフニューラルネットワーク(GNN)の未訓練作業はまだ謎のままだ。 得られた未学習作品によって,GNNの過度なスムース化問題を大幅に軽減できることを示す。 また,そのような未学習作業が,入力摂動の分布外検出と堅牢性に優れていることも観察した。
• 参考スコア（独自算出の注目度）: 105.24703398193843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works have impressively demonstrated that there exists a subnetwork in randomly initialized convolutional neural networks (CNNs) that can match the performance of the fully trained dense networks at initialization, without any optimization of the weights of the network (i.e., untrained networks). However, the presence of such untrained subnetworks in graph neural networks (GNNs) still remains mysterious. In this paper we carry out the first-of-its-kind exploration of discovering matching untrained GNNs. With sparsity as the core tool, we can find \textit{untrained sparse subnetworks} at the initialization, that can match the performance of \textit{fully trained dense} GNNs. Besides this already encouraging finding of comparable performance, we show that the found untrained subnetworks can substantially mitigate the GNN over-smoothing problem, hence becoming a powerful tool to enable deeper GNNs without bells and whistles. We also observe that such sparse untrained subnetworks have appealing performance in out-of-distribution detection and robustness of input perturbations. We evaluate our method across widely-used GNN architectures on various popular datasets including the Open Graph Benchmark (OGB).
• Abstract（参考訳）: 近年の研究では、ネットワークの重みを最適化することなく、完全に訓練された高密度ネットワークの性能に匹敵する、ランダムに初期化された畳み込みニューラルネットワーク(CNN)にサブネットワークが存在することが顕著に示されている。 しかし、グラフニューラルネットワーク(GNN)におけるそのような訓練されていないサブネットワークの存在は、いまだに謎のままである。 本稿では,未学習のGNNを探索する第一種探索を行う。 sparsityをコアツールとして、初期化時に \textit{untrained sparse subnetworks} を見つけることができ、これは \textit{fully trained dense} gnnのパフォーマンスにマッチする。 このことに加えて、未学習のサブネットワークがGNNのオーバースムース化問題を大幅に軽減し、ベルやホイッスルを使わずにより深いGNNを可能にする強力なツールとなることを示す。 また,そのようなスパースな未学習サブネットワークは,分布外検出や入力摂動のロバスト性において,優れた性能を有することが観察された。 提案手法は,Open Graph Benchmark (OGB) など,広く使用されているGNNアーキテクチャを用いて評価する。

関連論文リスト

• Training-free Graph Neural Networks and the Power of Labels as Features [17.912507269030577]
  トレーニングフリーグラフニューラルネットワーク(TFGNN)は、トレーニングなしで使用することができ、任意のトレーニングで改善することもできる。 グラフニューラルネットワークの表現力をLaFが向上することを示す。 実験では、TFGNNがトレーニングフリー設定において既存のGNNよりも優れており、従来のGNNよりもはるかに少ないトレーニングイテレーションで収束していることを確認した。
  論文  参考訳（メタデータ） (2024-04-30T06:36:43Z)
• Classifying Nodes in Graphs without GNNs [50.311528896010785]
  本稿では,完全GNNフリーなノード分類手法を提案する。 本手法は, 滑らかさ制約, 擬似ラベル反復, 近傍ラベルヒストグラムの3つの主要成分からなる。
  論文  参考訳（メタデータ） (2024-02-08T18:59:30Z)
• Multicoated and Folded Graph Neural Networks with Strong Lottery Tickets [3.0894823679470087]
  本稿では,アーキテクチャとパラメータの両面から検索空間を拡張するためのマルチステージ・フォールディング法とアンシャレッド・マスク法を提案する。 高空間性、競争性能、高メモリ効率を最大98.7%の削減で達成することにより、エネルギー効率の高いグラフ処理に適していることを示す。
  論文  参考訳（メタデータ） (2023-12-06T02:16:44Z)
• GNN-Ensemble: Towards Random Decision Graph Neural Networks [3.7620848582312405]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データに広く応用されている。 GNNは、大量のテストデータに基づいて推論を行うために、限られた量のトレーニングデータから潜伏パターンを学習する必要がある。 本稿では、GNNのアンサンブル学習を一歩前進させ、精度、堅牢性、敵攻撃を改善した。
  論文  参考訳（メタデータ） (2023-03-20T18:24:01Z)
• Distributed Graph Neural Network Training: A Survey [51.77035975191926]
  グラフニューラルネットワーク(GNN)は、グラフに基づいてトレーニングされたディープラーニングモデルの一種で、さまざまな領域にうまく適用されている。 GNNの有効性にもかかわらず、GNNが大規模グラフに効率的にスケールすることは依然として困難である。 治療法として、分散コンピューティングは大規模GNNをトレーニングするための有望なソリューションとなる。
  論文  参考訳（メタデータ） (2022-11-01T01:57:00Z)
• Training Graph Neural Networks with 1000 Layers [133.84813995275988]
  我々は、GNNのメモリとパラメータ効率を向上させるために、可逆接続、グループ畳み込み、重み付け、平衡モデルについて検討する。 我々の知る限りでは、RevGNN-Deepは文学で最も深いGNNである。
  論文  参考訳（メタデータ） (2021-06-14T15:03:00Z)
• Edgeless-GNN: Unsupervised Inductive Edgeless Network Embedding [7.391641422048645]
  ネットワークを新たに入力したユーザなど,エッジレスノードを埋め込む問題について検討する。 我々は,非教師付き帰納学習により,エッジレスノードに対してもノード埋め込みを生成可能な新しいフレームワークであるEdgeless-GNNを提案する。
  論文  参考訳（メタデータ） (2021-04-12T06:37:31Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• Reducing Communication in Graph Neural Network Training [0.0]
  グラフニューラルネットワーク(GNN)は、データの自然な疎結合情報を使用する、強力で柔軟なニューラルネットワークである。 我々は,GNNを訓練するための並列アルゴリズムのファミリーを導入し,従来の並列GNN訓練手法と比較して通信を効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2020-05-07T07:45:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。