論文の概要: Learning by Sampling and Compressing: Efficient Graph Representation Learning with Extremely Limited Annotations

• arxiv url: http://arxiv.org/abs/2003.06100v2
• Date: Thu, 15 Oct 2020 09:34:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-24 01:22:36.937481
• Title: Learning by Sampling and Compressing: Efficient Graph Representation Learning with Extremely Limited Annotations
• Title（参考訳）: サンプリングと圧縮による学習:超限定アノテーションを用いた効率的なグラフ表現学習
• Authors: Xiaoming Liu, Qirui Li, Chao Shen, Xi Peng, Yadong Zhou, Xiaohong Guan
• Abstract要約: 本稿では,この課題を克服するために,サンプル戦略とモデル圧縮を用いた新しい学習手法を提案する。 適応型サンプリング手法は, 均一サンプリングよりもGCNのトレーニング偏差を大幅に抑制する; 2) パラメータが小さい圧縮GCNベースの手法では, トレーニングにラベル付きデータが少ない; 3) トレーニングデータの小型化は, ラベル付けに要する人的資源コストを削減するのに有用である。
• 参考スコア（独自算出の注目度）: 38.32803097073598
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph convolution network (GCN) attracts intensive research interest with broad applications. While existing work mainly focused on designing novel GCN architectures for better performance, few of them studied a practical yet challenging problem: How to learn GCNs from data with extremely limited annotation? In this paper, we propose a new learning method by sampling strategy and model compression to overcome this challenge. Our approach has multifold advantages: 1) the adaptive sampling strategy largely suppresses the GCN training deviation over uniform sampling; 2) compressed GCN-based methods with a smaller scale of parameters need fewer labeled data to train; 3) the smaller scale of training data is beneficial to reduce the human resource cost to label them. We choose six popular GCN baselines and conduct extensive experiments on three real-world datasets. The results show that by applying our method, all GCN baselines cut down the annotation requirement by as much as 90$\%$ and compress the scale of parameters more than 6$\times$ without sacrificing their strong performance. It verifies that the training method could extend the existing semi-supervised GCN-based methods to the scenarios with the extremely small scale of labeled data.
• Abstract（参考訳）: グラフ畳み込みネットワーク (GCN) は幅広い用途で研究の関心を集めている。 既存の作業は主にパフォーマンス向上のために新しいGCNアーキテクチャの設計に重点を置いているが、実際的かつ難しい問題を研究している人はほとんどいない: 極めて限定的なアノテーションでデータからGCNを学ぶにはどうすればいいのか? 本稿では,この課題を克服するために,サンプリング戦略とモデル圧縮による新しい学習手法を提案する。 私たちのアプローチには 様々な利点があります 1) 適応サンプリング戦略は, 均一サンプリングに対するGCNトレーニング偏差を大幅に抑制する。 2) パラメータの小さい圧縮GCNベースの手法は、トレーニングするラベル付きデータを少なくする。 3) 学習データの小規模化は, ラベル付けに要する人的資源コストの低減に有用である。 我々は6つの一般的なGCNベースラインを選択し、3つの実世界のデータセットで広範な実験を行う。 その結果,提案手法を適用することで,GCNベースラインのアノテーション要件を90$\%$まで削減し,強い性能を犠牲にすることなく6$\times$以上のパラメータのスケールを圧縮できることが判明した。 トレーニング手法が既存の半教師付きGCNベースの手法を非常に小さなラベル付きデータでシナリオに拡張できることを検証する。

関連論文リスト

• Curriculum Learning for Graph Neural Networks: Which Edges Should We Learn First [13.37867275976255]
  本研究は, 難易度から難易度, 難易度に応じて, より多くのエッジをトレーニングに組み込む新しい戦略を提案する。 提案手法の強みは,学習した表現の一般化能力とロバスト性の向上である。
  論文  参考訳（メタデータ） (2023-10-28T15:35:34Z)
• Graph Convolutional Networks based on Manifold Learning for Semi-Supervised Image Classification [9.171175292808144]
  半教師付き画像分類のためのGCNに基づく新しい手法であるManifold-GCNを提案する。 本論文の主な仮説は,グラフ構造をモデル化するための多様体学習を用いることで,GCN分類をさらに改善できるというものである。 全ての多様体学習アルゴリズムは完全に教師なしであり、ラベル付きデータの可用性が懸念されるシナリオでは特に有用である。
  論文  参考訳（メタデータ） (2023-04-24T23:24:46Z)
• Analyzing the Effect of Sampling in GNNs on Individual Fairness [79.28449844690566]
  グラフニューラルネットワーク(GNN)ベースの手法は、レコメンダシステムの分野を飽和させた。 我々は,GNNの学習を支援するために,グラフ上で個別の公平性を促進させる既存手法を拡張した。 本研究では,局所ニュアンスが表現学習における公平化促進の過程を導くことによって,ミニバッチトレーニングが個人の公正化を促進することを示す。
  論文  参考訳（メタデータ） (2022-09-08T16:20:25Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• BNS-GCN: Efficient Full-Graph Training of Graph Convolutional Networks with Boundary Node Sampling [25.32242812045678]
  本稿では,BNS-GCNという,ランダム境界ノードサンプリングを併用して,効率よくスケーラブルな分散GCNトレーニングを実現する,シンプルで効果的なBNS-GCNを提案する。 BNS-GCNの有効性を一貫して検証し、スループットを最大16.2倍にし、メモリ使用量を最大58%削減し、フルグラフの精度を維持した。
  論文  参考訳（メタデータ） (2022-03-21T13:44:37Z)
• MG-GCN: Fast and Effective Learning with Mix-grained Aggregators for Training Large Graph Convolutional Networks [20.07942308916373]
  グラフ畳み込みネットワーク(GCN)は、隣人層の情報を層ごとに集約することでノードの埋め込みを生成する。 GCNの高計算とメモリコストにより、大きなグラフのトレーニングが不可能になる。 MG-GCNと呼ばれる新しいモデルでは、精度、トレーニング速度、収束速度、メモリコストの点で最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2020-11-17T14:51:57Z)
• Learning to Count in the Crowd from Limited Labeled Data [109.2954525909007]
  我々は,限られた数のラベル付きサンプルから参加者を数えることを学ぶことで,アノテーションの努力を減らすことに重点を置いている。 具体的には,未ラベルデータに対する擬似地下真理推定を含むガウス過程に基づく反復学習機構を提案する。
  論文  参考訳（メタデータ） (2020-07-07T04:17:01Z)
• Simple and Deep Graph Convolutional Networks [63.76221532439285]
  グラフ畳み込みネットワーク(GCN)は、グラフ構造化データに対する強力なディープラーニングアプローチである。 その成功にもかかわらず、現在のGCNモデルは、エムの過度に滑らかな問題のため、ほとんどが浅くなっている。 本稿では,2つの単純かつ効果的な手法を用いて,バニラGCNモデルを拡張したGCNIIを提案する。
  論文  参考訳（メタデータ） (2020-07-04T16:18:06Z)
• L$^2$-GCN: Layer-Wise and Learned Efficient Training of Graph Convolutional Networks [118.37805042816784]
  グラフ畳み込みネットワーク(GCN)は、多くのアプリケーションで人気が高まっているが、大きなグラフデータセットをトレーニングするのは依然として難しい。 本稿では,GCN (L-GCN) のための新しいレイヤワイドトレーニングフレームワークを提案する。 実験の結果、L-GCNは少なくとも1桁の精度で最先端よりも高速であり、メモリ使用量はデータセットのサイズに依存しないことがわかった。
  論文  参考訳（メタデータ） (2020-03-30T16:37:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。