論文の概要: A Quasi-Wasserstein Loss for Learning Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2310.11762v4
• Date: Wed, 13 Mar 2024 04:14:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 18:28:04.163132
• Title: A Quasi-Wasserstein Loss for Learning Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワーク学習のための準ワッサースタイン損失
• Authors: Minjie Cheng and Hongteng Xu
• Abstract要約: グラフ上で定義された最適輸送の助けを借りて、新しい準ワッサーシュタイン(QW)損失を提案する。 提案したQW損失は,様々なグラフニューラルネットワーク(GNN)に適用され,ノードレベルの分類や回帰タスクの性能向上に寄与することを示す。
• 参考スコア（独自算出の注目度）: 32.11372485060082
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: When learning graph neural networks (GNNs) in node-level prediction tasks, most existing loss functions are applied for each node independently, even if node embeddings and their labels are non-i.i.d. because of their graph structures. To eliminate such inconsistency, in this study we propose a novel Quasi-Wasserstein (QW) loss with the help of the optimal transport defined on graphs, leading to new learning and prediction paradigms of GNNs. In particular, we design a ``Quasi-Wasserstein'' distance between the observed multi-dimensional node labels and their estimations, optimizing the label transport defined on graph edges. The estimations are parameterized by a GNN in which the optimal label transport may determine the graph edge weights optionally. By reformulating the strict constraint of the label transport to a Bregman divergence-based regularizer, we obtain the proposed Quasi-Wasserstein loss associated with two efficient solvers learning the GNN together with optimal label transport. When predicting node labels, our model combines the output of the GNN with the residual component provided by the optimal label transport, leading to a new transductive prediction paradigm. Experiments show that the proposed QW loss applies to various GNNs and helps to improve their performance in node-level classification and regression tasks. The code of this work can be found at \url{https://github.com/SDS-Lab/QW_Loss}.
• Abstract（参考訳）: ノードレベルの予測タスクでグラフニューラルネットワーク(GNN)を学習する場合、ノードの埋め込みとそのラベルがグラフ構造のため非i.d.である場合でも、既存の損失関数は各ノードに独立して適用される。 そこで本研究では,グラフ上で定義された最適輸送の助けを借りて,新しい準ワッサーシュタイン損失(QW)を提案し,GNNの新たな学習・予測パラダイムを導出する。 特に,観測された多次元ノードラベルとその推定値間の ``Quasi-Wasserstein'' 距離を設計し,グラフエッジ上で定義されたラベル転送を最適化する。 推定は、最適ラベル輸送がグラフエッジ重みを任意に決定できるGNNによってパラメータ化される。 ラベル転送の厳密な制約をブレグマン発散型正規化器に書き換えることにより、GNNを学習する2つの効率的な解法と最適なラベル転送と関連する準ワッサーシュタイン損失を求める。 ノードラベルを予測する場合、GNNの出力と最適なラベル転送によって提供される残差成分を組み合わせ、新しいトランスダクティブ予測パラダイムを導出する。 実験の結果,提案したQW損失は様々なGNNに適用され,ノードレベルの分類や回帰タスクのパフォーマンス向上に有効であることがわかった。 この研究のコードは \url{https://github.com/SDS-Lab/QW_Loss} で見ることができる。

関連論文リスト

• Robust Graph Neural Network based on Graph Denoising [10.564653734218755]
  グラフニューラルネットワーク(GNN)は、非ユークリッドデータセットを扱う学習問題に対して、悪名高い代替手段として登場した。 本研究は,観測トポロジにおける摂動の存在を明示的に考慮した,GNNの堅牢な実装を提案する。
  論文  参考訳（メタデータ） (2023-12-11T17:43:57Z)
• Implicit Graph Neural Diffusion Networks: Convergence, Generalization, and Over-Smoothing [7.984586585987328]
  Inlicit Graph Neural Networks (GNN)は、グラフ学習問題に対処する上で大きな成功を収めた。 パラメータ化グラフラプラシアン演算子に基づく暗黙グラフ拡散層を設計するための幾何学的枠組みを提案する。 ディリクレエネルギー最小化問題の固定点方程式として, 暗黙のGNN層がどう見えるかを示す。
  論文  参考訳（メタデータ） (2023-08-07T05:22:33Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Distributional Signals for Node Classification in Graph Neural Networks [36.30743671968087]
  グラフニューラルネットワーク(GNN)では、ノード特徴とラベルの両方がグラフ信号の例であり、グラフ信号処理(GSP)における鍵概念である。 本フレームワークでは,ノードラベルの分布をその値の代わりに扱うとともに,そのような分布グラフ信号の滑らかさと非均一性の概念を提案する。 次に,GNNの一般正規化手法を提案し,半教師付きノード分類タスクにおけるモデル出力の分布の滑らかさと非均一性をエンコードする。
  論文  参考訳（メタデータ） (2023-04-07T06:54:42Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
  グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。 PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。 PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-11-13T18:53:21Z)
• Graphon Pooling in Graph Neural Networks [169.09536309161314]
  グラフニューラルネットワーク(GNN)は、グラフによってモデル化された不規則構造上の信号の処理を含む様々なアプリケーションで効果的に使用されている。 本稿では,グラフのスペクトル特性を保存したグラフオンを用いて,GNNのプールとサンプリングを行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-03T21:04:20Z)
• Unifying Graph Convolutional Neural Networks and Label Propagation [73.82013612939507]
  LPAとGCNの関係を特徴・ラベルの平滑化と特徴・ラベルの影響の2点の観点から検討した。 理論解析に基づいて,ノード分類のためのGCNとLCAを統一するエンドツーエンドモデルを提案する。 我々のモデルは、既存の特徴に基づく注目モデルよりもタスク指向のノードラベルに基づく学習注意重みと見なすこともできる。
  論文  参考訳（メタデータ） (2020-02-17T03:23:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。