論文の概要: Informative Pseudo-Labeling for Graph Neural Networks with Few Labels
- arxiv url: http://arxiv.org/abs/2201.07951v1
- Date: Thu, 20 Jan 2022 01:49:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-22 01:17:38.341317
- Title: Informative Pseudo-Labeling for Graph Neural Networks with Few Labels
- Title（参考訳）: ラベルの少ないグラフニューラルネットワークのための情報付き擬似ラベル
- Authors: Yayong Li, Jie Yin, Ling Chen
- Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ上の半教師付きノード分類のための最先端の結果を得た。
非常に少数のレーベルでGNNを効果的に学習する方法の課題は、まだ解明されていない。
我々は、非常に少ないラベルを持つGNNの学習を容易にするために、InfoGNNと呼ばれる新しい情報的擬似ラベルフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 12.83841767562179
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph Neural Networks (GNNs) have achieved state-of-the-art results for
semi-supervised node classification on graphs. Nevertheless, the challenge of
how to effectively learn GNNs with very few labels is still under-explored. As
one of the prevalent semi-supervised methods, pseudo-labeling has been proposed
to explicitly address the label scarcity problem. It aims to augment the
training set with pseudo-labeled unlabeled nodes with high confidence so as to
re-train a supervised model in a self-training cycle. However, the existing
pseudo-labeling approaches often suffer from two major drawbacks. First, they
tend to conservatively expand the label set by selecting only high-confidence
unlabeled nodes without assessing their informativeness. Unfortunately, those
high-confidence nodes often convey overlapping information with given labels,
leading to minor improvements for model re-training. Second, these methods
incorporate pseudo-labels to the same loss function with genuine labels,
ignoring their distinct contributions to the classification task. In this
paper, we propose a novel informative pseudo-labeling framework, called
InfoGNN, to facilitate learning of GNNs with extremely few labels. Our key idea
is to pseudo label the most informative nodes that can maximally represent the
local neighborhoods via mutual information maximization. To mitigate the
potential label noise and class-imbalance problem arising from pseudo labeling,
we also carefully devise a generalized cross entropy loss with a class-balanced
regularization to incorporate generated pseudo labels into model re-training.
Extensive experiments on six real-world graph datasets demonstrate that our
proposed approach significantly outperforms state-of-the-art baselines and
strong self-supervised methods on graphs.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ上の半教師付きノード分類のための最先端の結果を得た。
それでも、非常に少数のレーベルでGNNを効果的に学習する方法の課題は、まだ解明されていない。
一般的な半教師付き手法の1つとして、ラベル不足問題に明示的に対処する擬似ラベル法が提案されている。
自己学習サイクルにおいて教師付きモデルを再トレーニングするために、疑似ラベル付き未ラベルノードによるトレーニングセットを高い信頼性で強化することを目的としている。
しかし、既存の擬似ラベル方式はしばしば2つの大きな欠点に悩まされる。
まず,信頼度の高い非ラベルノードのみを選択することで,情報性を評価することなく,ラベルセットを保守的に拡張する傾向がみられた。
残念なことに、これらの高信頼ノードは、しばしばラベルと重なり合う情報を伝達し、モデル再トレーニングの微妙な改善につながります。
第二に、これらの手法は擬似ラベルを本物のラベルと同じ損失関数に組み込んでおり、分類タスクに対する個々の貢献を無視している。
本稿では、非常に少ないラベルを持つGNNの学習を容易にするために、InfoGNNと呼ばれる新しい情報的擬似ラベルフレームワークを提案する。
私たちの重要なアイデアは、相互情報最大化によってローカル近傍を最大に表現できる最も有益なノードを擬似的にラベル付けることです。
擬似ラベルから生じる潜在的なラベルノイズやクラス不均衡問題を緩和するため,クラスバランス正規化による一般化されたクロスエントロピー損失を慎重に考案し,生成した擬似ラベルをモデル再学習に組み込む。
6つの実世界のグラフデータセットに関する広範囲な実験により、提案手法がグラフ上の最先端のベースラインや強力な自己教師付きメソッドを大きく上回ることを示した。
関連論文リスト
- Graph Neural Networks with Coarse- and Fine-Grained Division for Mitigating Label Sparsity and Noise [5.943641527857957]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの処理において,半教師付き学習タスクにおいて注目されている。
現実のシナリオでは、グラフのノード上のラベルは必然的に騒々しく、わずかにラベル付けされているため、GNNのパフォーマンスは著しく低下する。
GNN-CFGD は,粗い分割やきめ細かな分割によるノイズラベルの負の影響を低減し,グラフ再構成を行う。
論文 参考訳（メタデータ） (2024-11-06T08:21:26Z) - ERASE: Error-Resilient Representation Learning on Graphs for Label Noise
Tolerance [53.73316938815873]
本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。
ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。
提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
論文 参考訳（メタデータ） (2023-12-13T17:59:07Z) - Learning on Graphs under Label Noise [5.909452203428086]
我々は,ラベルノイズのあるグラフ上での学習問題を解決するために,CGNN(Consistent Graph Neural Network)と呼ばれる新しいアプローチを開発した。
具体的には、グラフの対比学習を正規化用語として採用し、拡張ノードの2つのビューが一貫した表現を持つように促進する。
グラフ上の雑音ラベルを検出するために,ホモフィリー仮定に基づくサンプル選択手法を提案する。
論文 参考訳（メタデータ） (2023-06-14T01:38:01Z) - All Points Matter: Entropy-Regularized Distribution Alignment for
Weakly-supervised 3D Segmentation [67.30502812804271]
擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。
本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
論文 参考訳（メタデータ） (2023-05-25T08:19:31Z) - Pseudo Contrastive Learning for Graph-based Semi-supervised Learning [67.37572762925836]
Pseudo Labelingは、グラフニューラルネットワーク(GNN)の性能向上に使用されるテクニックである。
我々はPseudo Contrastive Learning(PCL)と呼ばれるGNNのための一般的なフレームワークを提案する。
論文 参考訳（メタデータ） (2023-02-19T10:34:08Z) - Label-Enhanced Graph Neural Network for Semi-supervised Node
Classification [32.64730237473914]
グラフニューラルネットワーク(GNN)のためのラベル強化学習フレームワークを提案する。
まず、各ラベルをクラス内のノードの仮想センターとしてモデル化し、次にノードとラベルの両方の表現を共同で学習する。
提案手法は,同一クラスに属するノードの表現を円滑に行うだけでなく,ラベルセマンティクスをGNNの学習プロセスに明示的にエンコードする。
論文 参考訳（メタデータ） (2022-05-31T09:48:47Z) - NRGNN: Learning a Label Noise-Resistant Graph Neural Network on Sparsely
and Noisily Labeled Graphs [20.470934944907608]
グラフニューラルネットワーク(GNN)は,ノード分類などのグラフ上の半教師付き学習タスクに対して,有望な結果を得た。
多くの実世界のグラフはスパースでノイズの多いラベルが付けられており、GNNの性能を著しく低下させる可能性がある。
半教師付きノード分類のためのラベルノイズ耐性GNNを提案する。
論文 参考訳（メタデータ） (2021-06-08T22:12:44Z) - Boosting Semi-Supervised Face Recognition with Noise Robustness [54.342992887966616]
本稿では,自動ラベルによるラベル雑音に対して頑健な半教師付き顔認識に対する効果的な解法を提案する。
そこで我々は,gnが強化するロバストな学習能力に基づく,ノイズロバスト学習ラベリング(nroll)という,半教師付き顔認識ソリューションを開発した。
論文 参考訳（メタデータ） (2021-05-10T14:43:11Z) - Unified Robust Training for Graph NeuralNetworks against Label Noise [12.014301020294154]
半監督設定でノイズの多いラベルをグラフ上で学習するための新しいフレームワークである UnionNET を提案します。
提案手法は,GNNを頑健に訓練し,ラベル修正を同時に行うための統一的なソリューションを提供する。
論文 参考訳（メタデータ） (2021-03-05T01:17:04Z) - On the Equivalence of Decoupled Graph Convolution Network and Label
Propagation [60.34028546202372]
いくつかの研究は、カップリングがデカップリングよりも劣っていることを示している。
有効性にもかかわらず、疎結合GCNの作用機構はよく理解されていない。
本稿では,分離GCNの欠陥を克服する適応的学習法(PTA)を提案する。
論文 参考訳（メタデータ） (2020-10-23T13:57:39Z) - Learn to Propagate Reliably on Noisy Affinity Graphs [69.97364913330989]
近年の研究では,ラベル伝搬によるラベル付きデータの利用により,ラベル付けコストを大幅に削減できることが示されている。
ラベルを確実に伝播する方法、特に未知の外れ値を持つデータセットでは、依然として未解決の問題である。
本稿では,大規模実世界のデータ上でラベルを確実に伝播させる新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-17T07:55:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。