論文の概要: DropMessage: Unifying Random Dropping for Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2204.10037v1
• Date: Thu, 21 Apr 2022 11:42:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-22 12:33:14.228905
• Title: DropMessage: Unifying Random Dropping for Graph Neural Networks
• Title（参考訳）: DropMessage: グラフニューラルネットワークのためのランダムドロップの統合
• Authors: Taoran Fang, Zhiqing Xiao, Chunping Wang, Jiarong Xu, Xuan Yang, Yang Yang
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ表現学習のための強力なツールである。 従来の研究では、これらの問題はランダムなドロップ法によって緩和され、入力の一部をランダムにマスキングすることでモデルにノイズを統合することが示されている。 我々はDropMessageと呼ばれる新しいランダムドロップ方式を提案し、メッセージマトリックス上で直接ドロップ操作を行い、任意のメッセージパスGNNに適用できる。
• 参考スコア（独自算出の注目度）: 9.134120615545866
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) are powerful tools for graph representation learning. Despite their rapid development, GNNs also faces some challenges, such as over-fitting, over-smoothing, and non-robustness. Previous works indicate that these problems can be alleviated by random dropping methods, which integrate noises into models by randomly masking parts of the input. However, some open-ended problems of random dropping on GNNs remain to solve. First, it is challenging to find a universal method that are suitable for all cases considering the divergence of different datasets and models. Second, random noises introduced to GNNs cause the incomplete coverage of parameters and unstable training process. In this paper, we propose a novel random dropping method called DropMessage, which performs dropping operations directly on the message matrix and can be applied to any message-passing GNNs. Furthermore, we elaborate the superiority of DropMessage: it stabilizes the training process by reducing sample variance; it keeps information diversity from the perspective of information theory, which makes it a theoretical upper bound of other methods. Also, we unify existing random dropping methods into our framework and analyze their effects on GNNs. To evaluate our proposed method, we conduct experiments that aims for multiple tasks on five public datasets and two industrial datasets with various backbone models. The experimental results show that DropMessage has both advantages of effectiveness and generalization.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ表現学習のための強力なツールである。 急速な発展にもかかわらず、gnnはオーバーフィッティング、オーバースムーシング、非ロバストネスといったいくつかの課題にも直面している。 以前の研究は、これらの問題はランダムな落下法によって軽減され、入力の一部をランダムにマスキングすることでモデルにノイズを統合することができることを示している。 しかし、GNNのランダムドロップに関するいくつかの未解決問題はまだ解決されていない。 まず、異なるデータセットとモデルの発散を考慮して、すべてのケースに適した普遍的な方法を見つけることが困難である。 第二に、GNNに導入されるランダムノイズはパラメータの不完全なカバレッジと不安定なトレーニングプロセスを引き起こす。 本稿では,メッセージマトリクス上で直接ドロップ操作を実行し,任意のメッセージ通過gnnに適用可能な,dropmessageと呼ばれる新しいランダムドロップ方式を提案する。 さらに,DropMessageの優位性について,サンプルの分散を減らしてトレーニングプロセスを安定化させ,情報理論の観点から情報の多様性を保ち,他の手法の理論的上限となるようにした。 また,既存のランダムドロップ手法をフレームワークに統合し,GNNへの影響を解析する。 提案手法を評価するために,5つの公開データセットと2つの産業データセットのバックボーンモデルを用いた複数タスクを対象とした実験を行った。 実験の結果,DropMessageは有効性と一般化の両方の利点があることがわかった。

関連論文リスト

• FlexiDrop: Theoretical Insights and Practical Advances in Random Dropout Method on GNNs [4.52430575477004]
  本稿ではFlexiDropと呼ばれるグラフニューラルネットワーク(GNN)のための新しいランダムドロップアウト手法を提案する。 本研究では, モデル複雑性と一般化能力のトレードオフを理論的にバランスさせることにより, ドロップアウト率を適応的に調整できることを示す。
  論文  参考訳（メタデータ） (2024-05-30T12:48:44Z)
• Learning to Reweight for Graph Neural Network [63.978102332612906]
  グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。 既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。 本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
  論文  参考訳（メタデータ） (2023-12-19T12:25:10Z)
• Neural Graph Revealers [2.2721854258621064]
  確率的グラフモデルとスパースグラフリカバリ手法を効率的にマージするために,NGR(Neural Graph Revealers)を提案する。 NGRはニューラルネットワークを「ガラス箱」、より具体的にはマルチタスク学習フレームワークとみなしている。 ガウス図形モデルとCenters for Disease Control and Preventionによるマルチモーダル乳幼児死亡データから,スパースグラフの復元と確率的推定を行った。
  論文  参考訳（メタデータ） (2023-02-27T08:40:45Z)
• Invertible Neural Networks for Graph Prediction [22.140275054568985]
  本研究では,ディープ・インバーチブル・ニューラルネットワークを用いた条件生成について述べる。 私たちの目標は,前処理と後処理の予測と生成を同時に行うことにあるので,エンドツーエンドのトレーニングアプローチを採用しています。
  論文  参考訳（メタデータ） (2022-06-02T17:28:33Z)
• Walk for Learning: A Random Walk Approach for Federated Learning from Heterogeneous Data [17.978941229970886]
  私たちは標準的アプリケーションとしてフェデレートラーニング(FL)に注目します。 FLの主な課題の1つは、ノードとパラメータサーバの間の通信ボトルネックである。 適応型ランダムウォーク学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-01T19:53:24Z)
• Discovering Invariant Rationales for Graph Neural Networks [104.61908788639052]
  グラフニューラルネットワーク(GNN)の固有の解釈可能性とは、入力グラフの特徴の小さなサブセットを見つけることである。 本稿では,本質的に解釈可能なGNNを構築するために,不変理性(DIR)を発見するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:43:40Z)
• Distributionally Robust Semi-Supervised Learning Over Graphs [68.29280230284712]
  グラフ構造化データに対する半教師付き学習(SSL)は、多くのネットワークサイエンスアプリケーションに現れる。 グラフ上の学習を効率的に管理するために,近年,グラフニューラルネットワーク(GNN)の変種が開発されている。 実際に成功したにも拘わらず、既存の手法のほとんどは、不確実な結節属性を持つグラフを扱うことができない。 ノイズ測定によって得られたデータに関連する分布の不確実性によっても問題が発生する。 分散ロバストな学習フレームワークを開発し,摂動に対する定量的ロバスト性を示すモデルを訓練する。
  論文  参考訳（メタデータ） (2021-10-20T14:23:54Z)
• Shift-Robust GNNs: Overcoming the Limitations of Localized Graph Training data [52.771780951404565]
  Shift-Robust GNN (SR-GNN) は、バイアス付きトレーニングデータとグラフの真の推論分布の分布差を考慮に入れた設計である。 SR-GNNが他のGNNベースラインを精度良く上回り、バイアス付きトレーニングデータから生じる負の効果の少なくとも40%を排除していることを示す。
  論文  参考訳（メタデータ） (2021-08-02T18:00:38Z)
• Very Deep Graph Neural Networks Via Noise Regularisation [57.450532911995516]
  グラフニューラルネットワーク(GNN)は、入力グラフを介して学習されたメッセージパッシングを実行する。 最大100のメッセージパッシングステップを持つディープGNNをトレーニングし、いくつかの最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-06-15T08:50:10Z)
• Advanced Dropout: A Model-free Methodology for Bayesian Dropout Optimization [62.8384110757689]
  ディープニューラルネットワーク(DNN)の現実的応用において、ユビキタスなオーバーフィッティングが存在する 先進的なドロップアウト手法は、パラメトリック先行でモデルフリーで容易に実装された分布を適用し、ドロップアウト率を適応的に調整する。 7つのコンピュータビジョンデータセットにおける9つのドロップアウト手法に対する高度なドロップアウトの有効性を評価する。
  論文  参考訳（メタデータ） (2020-10-11T13:19:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。