論文の概要: Graph Entropy Minimization for Semi-supervised Node Classification

• arxiv url: http://arxiv.org/abs/2305.19502v1
• Date: Wed, 31 May 2023 02:28:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 18:59:58.968911
• Title: Graph Entropy Minimization for Semi-supervised Node Classification
• Title（参考訳）: 半教師付きノード分類のためのグラフエントロピー最小化
• Authors: Yi Luo, Guangchun Luo, Ke Qin, Aiguo Chen
• Abstract要約: 本研究は,3つの課題を同時に解決するために,グラフエントロピー最小化(GEM)と呼ばれる新しい半教師付き学習手法を提案する。 GEMは巨大な未分類ノードからのワンホップアグリゲーションの恩恵を受けており、予測精度は2つ以上のホップメッセージパッシングを持つGNNに匹敵する。 独立したエッジサンプルのミニバッチによるトレーニングをサポートするために分解され、非常に高速なサンプリングと宇宙保存訓練が達成される。
• 参考スコア（独自算出の注目度）: 12.71307159013144
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Node classifiers are required to comprehensively reduce prediction errors, training resources, and inference latency in the industry. However, most graph neural networks (GNN) concentrate only on one or two of them. The compromised aspects thus are the shortest boards on the bucket, hindering their practical deployments for industrial-level tasks. This work proposes a novel semi-supervised learning method termed Graph Entropy Minimization (GEM) to resolve the three issues simultaneously. GEM benefits its one-hop aggregation from massive uncategorized nodes, making its prediction accuracy comparable to GNNs with two or more hops message passing. It can be decomposed to support stochastic training with mini-batches of independent edge samples, achieving extremely fast sampling and space-saving training. While its one-hop aggregation is faster in inference than deep GNNs, GEM can be further accelerated to an extreme by deriving a non-hop classifier via online knowledge distillation. Thus, GEM can be a handy choice for latency-restricted and error-sensitive services running on resource-constraint hardware. Code is available at https://github.com/cf020031308/GEM.
• Abstract（参考訳）: 予測エラー、トレーニングリソース、業界における推論遅延を包括的に削減するために、ノード分類器が必要である。 しかし、ほとんどのグラフニューラルネットワーク(GNN)は1つまたは2つだけに集中している。 このように妥協された側面は、バケット上の最短ボードであり、産業レベルのタスクへの実践的な展開を妨げる。 本研究は,3つの課題を同時に解決するために,グラフエントロピー最小化(GEM)と呼ばれる新しい半教師付き学習手法を提案する。 GEMは巨大な未分類ノードからのワンホップアグリゲーションの恩恵を受けており、予測精度は2つ以上のホップメッセージパッシングを持つGNNに匹敵する。 独立したエッジサンプルのミニバッチによる確率的トレーニングをサポートし、非常に高速なサンプリングと空間節約トレーニングを実現するために分解することができる。 1ホップの集約は深いGNNよりも推論が速いが、オンライン知識蒸留による非ホップ分類器の導出により、GEMは極端に加速することができる。 したがって、gemはリソース制約ハードウェア上で動作するレイテンシ制限とエラーセンシティブなサービスにとって便利な選択肢である。 コードはhttps://github.com/cf020031308/GEMで入手できる。

関連論文リスト

• Fast Graph Sharpness-Aware Minimization for Enhancing and Accelerating Few-Shot Node Classification [53.727688136434345]
  グラフニューラルネットワーク(GNN)はノード分類において優れた性能を示している。 高速グラフシャープネス認識最小化(FGSAM)を提案する。 提案アルゴリズムは,FSNCタスクにおいて,計算コストの低い標準SAMよりも優れる。
  論文  参考訳（メタデータ） (2024-10-22T09:33:29Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Classifying Nodes in Graphs without GNNs [50.311528896010785]
  本稿では,完全GNNフリーなノード分類手法を提案する。 本手法は, 滑らかさ制約, 擬似ラベル反復, 近傍ラベルヒストグラムの3つの主要成分からなる。
  論文  参考訳（メタデータ） (2024-02-08T18:59:30Z)
• Graph Ladling: Shockingly Simple Parallel GNN Training without Intermediate Communication [100.51884192970499]
  GNNは、グラフを学習するニューラルネットワークの強力なファミリーである。 GNNのスケーリングは、肥大化または拡大によって、不健康な勾配、過度なスムースメント、情報のスカッシングといった問題に悩まされる。 本稿では,現在のGNNの深層化や拡張ではなく,GNNに適したモデルスープをデータ中心の視点で表現することを提案する。
  論文  参考訳（メタデータ） (2023-06-18T03:33:46Z)
• Finding Hamiltonian cycles with graph neural networks [0.0]
  我々は、ErdHos-Rnyiのランダムグラフ上でハミルトン周期を予測するために、小さなメッセージパスグラフニューラルネットワークを訓練する。 このモデルは、より大きなグラフサイズによく一般化され、元の8倍の大きさのグラフでも妥当な性能を維持する。
  論文  参考訳（メタデータ） (2023-06-10T21:18:31Z)
• Distributed Graph Neural Network Training: A Survey [51.77035975191926]
  グラフニューラルネットワーク(GNN)は、グラフに基づいてトレーニングされたディープラーニングモデルの一種で、さまざまな領域にうまく適用されている。 GNNの有効性にもかかわらず、GNNが大規模グラフに効率的にスケールすることは依然として困難である。 治療法として、分散コンピューティングは大規模GNNをトレーニングするための有望なソリューションとなる。
  論文  参考訳（メタデータ） (2022-11-01T01:57:00Z)
• BGL: GPU-Efficient GNN Training by Optimizing Graph Data I/O and Preprocessing [0.0]
  グラフニューラルネットワーク(GNN)は、ディープニューラルネットワーク(DNN)の成功を非ユークリッドグラフデータに拡張した。 既存のシステムは、数十億のノードとエッジを持つ巨大なグラフをGPUでトレーニングする非効率である。 本稿では,ボトルネックに対処するための分散GNN学習システムであるBGLを提案する。
  論文  参考訳（メタデータ） (2021-12-16T00:37:37Z)
• SpreadGNN: Serverless Multi-task Federated Learning for Graph Neural Networks [13.965982814292971]
  グラフニューラルネットワーク(GNN)は、グラフ機械学習問題の第一選択方法である。 GNNトレーニングのための大量の実世界のグラフデータを集中させることは、ユーザ側のプライバシー上の懸念から禁じられている。 本研究では,新しいマルチタスク・フェデレーション・トレーニング・フレームワークであるSpreadGNNを提案する。
  論文  参考訳（メタデータ） (2021-06-04T22:20:47Z)
• DistDGL: Distributed Graph Neural Network Training for Billion-Scale Graphs [22.63888380481248]
  DistDGLは、マシンのクラスタ上で、ミニバッチ方式でGNNをトレーニングするシステムである。 これは人気のあるGNN開発フレームワークであるDeep Graph Library(DGL)に基づいている。 この結果から,DistDGLはモデル精度を損なうことなく線形高速化を実現することがわかった。
  論文  参考訳（メタデータ） (2020-10-11T20:22:26Z)
• Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
  現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。 マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。 マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:06:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。