論文の概要: Why Propagate Alone? Parallel Use of Labels and Features on Graphs

• arxiv url: http://arxiv.org/abs/2110.07190v1
• Date: Thu, 14 Oct 2021 07:34:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-16 03:17:45.986316
• Title: Why Propagate Alone? Parallel Use of Labels and Features on Graphs
• Title（参考訳）: なぜ単独でプロパゲートするのか? グラフにおけるラベルと特徴の並列利用
• Authors: Yangkun Wang, Jiarui Jin, Weinan Zhang, Yongyi Yang, Jiuhai Chen, Quan Gan, Yong Yu, Zheng Zhang, Zengfeng Huang and David Wipf
• Abstract要約: グラフニューラルネットワーク(GNN)とラベル伝搬は、ノード特性予測などのタスクにおいてグラフ構造を利用するように設計された2つの相互関連モデリング戦略を表す。 ラベルのトリックを2つの要因からなる解釈可能な決定論的学習目標に還元できることを示す。
• 参考スコア（独自算出の注目度）: 42.01561812621306
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Graph neural networks (GNNs) and label propagation represent two interrelated modeling strategies designed to exploit graph structure in tasks such as node property prediction. The former is typically based on stacked message-passing layers that share neighborhood information to transform node features into predictive embeddings. In contrast, the latter involves spreading label information to unlabeled nodes via a parameter-free diffusion process, but operates independently of the node features. Given then that the material difference is merely whether features or labels are smoothed across the graph, it is natural to consider combinations of the two for improving performance. In this regard, it has recently been proposed to use a randomly-selected portion of the training labels as GNN inputs, concatenated with the original node features for making predictions on the remaining labels. This so-called label trick accommodates the parallel use of features and labels, and is foundational to many of the top-ranking submissions on the Open Graph Benchmark (OGB) leaderboard. And yet despite its wide-spread adoption, thus far there has been little attempt to carefully unpack exactly what statistical properties the label trick introduces into the training pipeline, intended or otherwise. To this end, we prove that under certain simplifying assumptions, the stochastic label trick can be reduced to an interpretable, deterministic training objective composed of two factors. The first is a data-fitting term that naturally resolves potential label leakage issues, while the second serves as a regularization factor conditioned on graph structure that adapts to graph size and connectivity. Later, we leverage this perspective to motivate a broader range of label trick use cases, and provide experiments to verify the efficacy of these extensions.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)とラベル伝搬は、ノード特性予測などのタスクにおいてグラフ構造を利用するように設計された2つの相互関連モデリング戦略を表す。 前者は一般にスタック化されたメッセージパス層に基づいており、近所の情報を共有してノードの機能を予測埋め込みに変換する。 対照的に、後者はパラメータフリー拡散プロセスを通じてラベル情報をラベルのないノードに拡散するが、ノードの特徴とは独立して動作する。 したがって、材料の違いが単に特徴やラベルがグラフ全体に平滑化されているかどうかであることを考えると、パフォーマンスを改善するために2つの組み合わせを考えるのは自然である。 この点において、最近、トレーニングラベルのランダムに選択された部分をGNN入力として使用し、元のノードの特徴と結合して残りのラベルを予測する提案がなされている。 このいわゆるラベルトリックは、機能とラベルの並列使用を許容し、Open Graph Benchmark(OGB)のリーダーボード上の上位候補の多くに基礎を置いている。 しかし、広く普及しているにもかかわらず、これまでのところ、ラベルのトリックがトレーニングパイプラインにもたらす統計的特性を正確に解き放つ試みはほとんどなかった。 この結果から,確率ラベルのトリックを2つの因子からなる解釈可能な決定論的学習目標に還元できることを示す。 1つ目は、潜在的なラベルの漏洩を自然に解決するデータ適合項であり、もう1つはグラフのサイズと接続性に適応するグラフ構造に基づく正規化因子である。 その後、この視点を利用して幅広いラベルのトリック・ユースケースを動機付け、これらの拡張の有効性を検証する実験を行う。

関連論文リスト

• NP$^2$L: Negative Pseudo Partial Labels Extraction for Graph Neural Networks [48.39834063008816]
  擬似ラベルはグラフニューラルネットワーク(GNN)で使われ、メッセージパッシングレベルでの学習を支援する。 本稿では,GNNにおいて擬似ラベルを使用する新しい手法を提案する。 本手法は,部分ラベルの重なりが無く,負のノード対関係として定義される場合,より正確であることを示す。
  論文  参考訳（メタデータ） (2023-10-02T11:13:59Z)
• Label-Enhanced Graph Neural Network for Semi-supervised Node Classification [32.64730237473914]
  グラフニューラルネットワーク(GNN)のためのラベル強化学習フレームワークを提案する。 まず、各ラベルをクラス内のノードの仮想センターとしてモデル化し、次にノードとラベルの両方の表現を共同で学習する。 提案手法は,同一クラスに属するノードの表現を円滑に行うだけでなく,ラベルセマンティクスをGNNの学習プロセスに明示的にエンコードする。
  論文  参考訳（メタデータ） (2022-05-31T09:48:47Z)
• Effective Token Graph Modeling using a Novel Labeling Strategy for Structured Sentiment Analysis [39.770652220521384]
  構造化感情分析の最先端モデルでは、タスクを依存性解析の問題として捉えている。 スパン予測とスパン関係予測のラベル比は不均衡である。 依存グラフの2つのノードは複数の弧を持つことができないため、重複した感情は認識できない。
  論文  参考訳（メタデータ） (2022-03-21T08:23:03Z)
• Graph Attention Transformer Network for Multi-Label Image Classification [50.0297353509294]
  複雑なラベル間関係を効果的にマイニングできる多ラベル画像分類のための一般的なフレームワークを提案する。 提案手法は3つのデータセット上で最先端の性能を実現することができる。
  論文  参考訳（メタデータ） (2022-03-08T12:39:05Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Label-Wise Message Passing Graph Neural Network on Heterophilic Graphs [20.470934944907608]
  ホモフィリーあるいはヘテロフィリーなグラフでよく機能する新しいフレームワークについて検討する。 ラベルに関するメッセージパッシングでは、類似の擬似ラベルを持つ隣人が集約される。 また、ホモフィリー・ヘテロフィリーなグラフのモデルを自動的に選択するバイレベル最適化法を提案する。
  論文  参考訳（メタデータ） (2021-10-15T14:49:45Z)
• Adaptive Label Smoothing To Regularize Large-Scale Graph Training [46.00927775402987]
  本研究では, 適応ラベル平滑化法 (ALS) を提案する。 ALSはノードラベルを伝播して、前処理ステップで近隣ラベルの分布を集約し、その後、最適なスムーズなラベルをオンラインで更新して、特定のグラフ構造に適合させる。
  論文  参考訳（メタデータ） (2021-08-30T23:51:31Z)
• Inverse Graph Identification: Can We Identify Node Labels Given Graph Labels? [89.13567439679709]
  グラフ識別(GI)は、グラフ学習において長い間研究されており、特定の応用において不可欠である。 本稿では,逆グラフ識別(Inverse Graph Identification, IGI)と呼ばれる新しい問題を定義する。 本稿では,グラフアテンションネットワーク(GAT)を用いたノードレベルのメッセージパッシング処理を,GIのプロトコルの下でシンプルかつ効果的に行う方法を提案する。
  論文  参考訳（メタデータ） (2020-07-12T12:06:17Z)
• Sequential Graph Convolutional Network for Active Learning [53.99104862192055]
  逐次グラフ畳み込みネットワーク(GCN)を用いた新しいプールベースアクティブラーニングフレームワークを提案する。 少数のランダムなサンプル画像がシードラベル付き例であるので、グラフのパラメータを学習してラベル付きノードと非ラベル付きノードを区別する。 我々はGCNの特性を利用してラベル付けされたものと十分に異なる未ラベルの例を選択する。
  論文  参考訳（メタデータ） (2020-06-18T00:55:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。