論文の概要: Towards Scalable and Deep Graph Neural Networks via Noise Masking

• arxiv url: http://arxiv.org/abs/2412.14602v1
• Date: Thu, 19 Dec 2024 07:48:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:33:00.570940
• Title: Towards Scalable and Deep Graph Neural Networks via Noise Masking
• Title（参考訳）: ノイズマスキングによるスケーラブル・ディープグラフニューラルネットワークの実現に向けて
• Authors: Yuxuan Liang, Wentao Zhang, Zeang Sheng, Ling Yang, Quanqing Xu, Jiawei Jiang, Yunhai Tong, Bin Cu,
• Abstract要約: グラフニューラルネットワーク(GNN)は多くのグラフマイニングタスクで顕著に成功している。 計算とストレージのコストが高いため、大きなグラフにスケールすることは困難です。 既存のモデル単純化作業と互換性のあるプラグアンドプレイモジュールであるノイズマスキング(RMask)を用いたランダムウォークを提案する。
• 参考スコア（独自算出の注目度）: 45.42101145694294
• License:
• Abstract: In recent years, Graph Neural Networks (GNNs) have achieved remarkable success in many graph mining tasks. However, scaling them to large graphs is challenging due to the high computational and storage costs of repeated feature propagation and non-linear transformation during training. One commonly employed approach to address this challenge is model-simplification, which only executes the Propagation (P) once in the pre-processing, and Combine (C) these receptive fields in different ways and then feed them into a simple model for better performance. Despite their high predictive performance and scalability, these methods still face two limitations. First, existing approaches mainly focus on exploring different C methods from the model perspective, neglecting the crucial problem of performance degradation with increasing P depth from the data-centric perspective, known as the over-smoothing problem. Second, pre-processing overhead takes up most of the end-to-end processing time, especially for large-scale graphs. To address these limitations, we present random walk with noise masking (RMask), a plug-and-play module compatible with the existing model-simplification works. This module enables the exploration of deeper GNNs while preserving their scalability. Unlike the previous model-simplification works, we focus on continuous P and found that the noise existing inside each P is the cause of the over-smoothing issue, and use the efficient masking mechanism to eliminate them. Experimental results on six real-world datasets demonstrate that model-simplification works equipped with RMask yield superior performance compared to their original version and can make a good trade-off between accuracy and efficiency.
• Abstract（参考訳）: 近年,グラフニューラルネットワーク(GNN)は多くのグラフマイニングタスクにおいて顕著な成功を収めている。 しかし、反復的な特徴伝播と訓練中の非線形変換の計算・記憶コストが高いため、大きなグラフにスケールすることは困難である。 この課題に対処するための一般的なアプローチはモデル単純化であり、前処理で一度だけプロパゲーション(P)を実行する。 高い予測性能とスケーラビリティにもかかわらず、これらの方法は依然として2つの制限に直面している。 まず、既存のアプローチは、主にモデルの観点から異なるCメソッドを探索することに焦点を当て、P深度をデータ中心の観点から増加させ、性能劣化の重要な問題を無視する。 第二に、特に大規模グラフの場合、前処理のオーバーヘッドはエンドツーエンドの処理時間の大部分を占めます。 これらの制約に対処するために、既存のモデル単純化作業と互換性のあるプラグアンドプレイモジュールであるノイズマスキング(RMask)を用いたランダムウォークを提案する。 このモジュールは、スケーラビリティを維持しながら、より深いGNNの探索を可能にする。 従来のモデル単純化作業とは異なり、我々は連続Pに焦点を当て、各Pの内部に存在するノイズが過度にスムースな問題の原因であることを発見し、効率的なマスキング機構を用いてそれらを除去する。 6つの実世界のデータセットによる実験結果から、RMaskを搭載したモデル単純化作業は、元のバージョンよりも優れた性能を示し、精度と効率の良好なトレードオフを実現することができる。

関連論文リスト

• Truncated Consistency Models [57.50243901368328]
  トレーニング一貫性モデルは、PF ODE 軌道に沿ったすべての中間点を対応するエンドポイントにマッピングする学習を必要とする。 このトレーニングパラダイムが一貫性モデルの1ステップ生成性能を制限することを実証的に見出した。 整合性関数の新しいパラメータ化と2段階の訓練手順を提案し,時間外学習が崩壊することを防ぐ。
  論文  参考訳（メタデータ） (2024-10-18T22:38:08Z)
• Latent-based Diffusion Model for Long-tailed Recognition [10.410057703866899]
  長い尾の不均衡分布は、実用的なコンピュータビジョンアプリケーションにおいて一般的な問題である。 そこで本稿では,Long-tailed Recognition (LDMLR) のための遅延型拡散モデル(Latent-based Diffusion Model for Long-tailed Recognition)を提案する。 モデルの精度は,提案手法を用いてCIFAR-LTおよびImageNet-LTデータセットの改善を示す。
  論文  参考訳（メタデータ） (2024-04-06T06:15:07Z)
• Variational Bayes image restoration with compressive autoencoders [4.879530644978008]
  逆問題の正規化は、計算イメージングにおいて最重要となる。 本研究では,まず,最先端生成モデルの代わりに圧縮型オートエンコーダを提案する。 第2の貢献として、変分ベイズ潜時推定(VBLE)アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-11-29T15:49:31Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• EDGE++: Improved Training and Sampling of EDGE [17.646159460584926]
  これらの問題に対処するために,EDGEモデルの強化を提案する。 具体的には,各時刻におけるアクティブノード数を最適化する等級別ノイズスケジュールを導入する。 また、生成過程を微調整し、合成されたネットワークと真のネットワークとの類似性をよりよく制御できる改良されたサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-22T22:54:20Z)
• Deciphering Spatio-Temporal Graph Forecasting: A Causal Lens and Treatment [33.4989883914555]
  本研究では,時間的アウト・オブ・ディストリビューション問題と動的空間因果関係に対処するCaSTと呼ばれる新しいフレームワークを提案する。 実世界の3つのデータセットに対する実験結果は、CaSTの有効性と実用性を示している。
  論文  参考訳（メタデータ） (2023-09-23T13:51:09Z)
• Image Generation with Multimodal Priors using Denoising Diffusion Probabilistic Models [54.1843419649895]
  このタスクを達成するために生成モデルを使用する際の大きな課題は、すべてのモダリティと対応する出力を含むペアデータの欠如である。 本稿では,拡散確率的合成モデルに基づく多モデル先行画像生成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-10T12:23:05Z)
• Deep Generative model with Hierarchical Latent Factors for Time Series Anomaly Detection [40.21502451136054]
  本研究は、時系列異常検出のための新しい生成モデルであるDGHLを提示する。 トップダウンの畳み込みネットワークは、新しい階層的な潜在空間を時系列ウィンドウにマッピングし、時間ダイナミクスを利用して情報を効率的にエンコードする。 提案手法は,4つのベンチマーク・データセットにおいて,現在の最先端モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-02-15T17:19:44Z)
• Towards an Efficient and General Framework of Robust Training for Graph Neural Networks [96.93500886136532]
  グラフニューラルネットワーク(GNN)は、いくつかの基本的な推論タスクに大きく進歩している。 GNNの目覚ましい性能にもかかわらず、グラフ構造上の摂動を慎重に作り、誤った予測を下すことが観察されている。 我々は,強靭なGNNを得るために,欲求探索アルゴリズムとゼロ階法を利用する汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-25T15:17:58Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。