論文の概要: IGLU: Efficient GCN Training via Lazy Updates

• arxiv url: http://arxiv.org/abs/2109.13995v1
• Date: Tue, 28 Sep 2021 19:11:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-01 05:37:37.143785
• Title: IGLU: Efficient GCN Training via Lazy Updates
• Title（参考訳）: IGLU: 遅延更新によるGCNの効率的なトレーニング
• Authors: S Deepak Narayanan, Aditya Sinha, Prateek Jain, Purushottam Kar, Sundararajan Sellamanickam
• Abstract要約: グラフ畳み込みネットワーク(GCN)は、大きな基盤となるグラフと複数のレイヤを含む多くの設定で使用されている。 標準SGDベースのトレーニングは、グラフの大部分のノード埋め込みを更新する各降下ステップが終わるため、ここでは不十分である。 各種GCN層における全ノードに対するフォワードパス埋め込みをキャッシュする新しいIGLU法を提案する。
• 参考スコア（独自算出の注目度）: 17.24386142849498
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Convolution Networks (GCN) are used in numerous settings involving a large underlying graph as well as several layers. Standard SGD-based training scales poorly here since each descent step ends up updating node embeddings for a large portion of the graph. Recent methods attempt to remedy this by sub-sampling the graph which does reduce the compute load, but at the cost of biased gradients which may offer suboptimal performance. In this work we introduce a new method IGLU that caches forward-pass embeddings for all nodes at various GCN layers. This enables IGLU to perform lazy updates that do not require updating a large number of node embeddings during descent which offers much faster convergence but does not significantly bias the gradients. Under standard assumptions such as objective smoothness, IGLU provably converges to a first-order saddle point. We validate IGLU extensively on a variety of benchmarks, where it offers up to 1.2% better accuracy despite requiring up to 88% less wall-clock time.
• Abstract（参考訳）: グラフ畳み込みネットワーク(gcn)は、大きな基盤となるグラフと複数の層を含む多数の設定で使用される。 標準SGDベースのトレーニングは、グラフの大部分のノード埋め込みを更新する各降下ステップが終わるため、ここでは不十分である。 近年の手法では,計算負荷を低減させるグラフをサブサンプリングすることで,最適性能を提供するバイアス勾配のコストを抑える手法が提案されている。 本稿では,様々なGCN層における全ノードのフォワードパス埋め込みをキャッシュするIGLUを提案する。 これによりigluは、降下中に多数のノード埋め込みをアップデートする必要がなく、より高速なコンバージェンスを提供するが、勾配を著しくバイアスしない遅延更新を実行することができる。 客観的な滑らかさのような標準的な仮定の下で、igluは一階の鞍点に確実に収束する。 我々はIGLUを様々なベンチマークで広範囲に検証し、最大1.2%の精度を提供するが、壁時間は最大88%削減できる。

関連論文リスト

• L2G2G: a Scalable Local-to-Global Network Embedding with Graph Autoencoders [6.945992777272943]
  グラフ表現学習は、現実世界のネットワークを分析する一般的なツールである。 GAEはかなり正確だが、スケーラビリティの問題に悩まされている。 高速化のために、Local2Globalアプローチは高速で精度が良いことを示した。 本稿では,拡張性を犠牲にすることなくGAEの精度を向上させるLocal2Global法であるL2G2Gを提案する。
  論文  参考訳（メタデータ） (2024-02-02T18:24:37Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• DOTIN: Dropping Task-Irrelevant Nodes for GNNs [119.17997089267124]
  最近のグラフ学習アプローチでは、学習のためのグラフのサイズを減らすためのプール戦略が導入されている。 我々はDOTIN(underlineDrunderlineopping underlineTask-underlineIrrelevant underlineNodes)と呼ばれる新しいアプローチを設計し、グラフのサイズを減らす。 本手法は,グラフ分類やグラフ編集距離を含むグラフレベルのタスクにおいて,GATを約50%高速化する。
  論文  参考訳（メタデータ） (2022-04-28T12:00:39Z)
• Gradient Correction beyond Gradient Descent [63.33439072360198]
  勾配補正は明らかに、ニューラルネットワークのトレーニングにおいて、最も重要な側面である。 勾配補正を行うためのフレームワーク(textbfGCGD)を導入する。 実験結果から, 勾配補正フレームワークは, トレーニングエポックスを$sim$20%削減し, ネットワーク性能を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2022-03-16T01:42:25Z)
• Residual Network and Embedding Usage: New Tricks of Node Classification with Graph Convolutional Networks [0.38233569758620045]
  まず、GCNのミニバッチトレーニングで使われる既存の効果的なトリックを要約する。 これに基づいて、GCN_res FrameworkとEmbedding Usageという2つの新しいトリックが提案されている。 Open Graph Benchmarkの実験では、これらの手法を組み合わせることで、様々なGCNのテスト精度が1.21%2.84%向上した。
  論文  参考訳（メタデータ） (2021-05-18T07:52:51Z)
• Combining Label Propagation and Simple Models Out-performs Graph Neural Networks [52.121819834353865]
  多くの標準的なトランスダクティブノード分類ベンチマークでは、最先端のGNNの性能を超えたり、一致させることができる。 これをC&S(Correct and Smooth)と呼ぶ。 我々のアプローチは、様々なベンチマークで最先端のGNNの性能を上回るか、ほぼ一致している。
  論文  参考訳（メタデータ） (2020-10-27T02:10:52Z)
• Sequential Graph Convolutional Network for Active Learning [53.99104862192055]
  逐次グラフ畳み込みネットワーク(GCN)を用いた新しいプールベースアクティブラーニングフレームワークを提案する。 少数のランダムなサンプル画像がシードラベル付き例であるので、グラフのパラメータを学習してラベル付きノードと非ラベル付きノードを区別する。 我々はGCNの特性を利用してラベル付けされたものと十分に異なる未ラベルの例を選択する。
  論文  参考訳（メタデータ） (2020-06-18T00:55:10Z)
• L$^2$-GCN: Layer-Wise and Learned Efficient Training of Graph Convolutional Networks [118.37805042816784]
  グラフ畳み込みネットワーク(GCN)は、多くのアプリケーションで人気が高まっているが、大きなグラフデータセットをトレーニングするのは依然として難しい。 本稿では,GCN (L-GCN) のための新しいレイヤワイドトレーニングフレームワークを提案する。 実験の結果、L-GCNは少なくとも1桁の精度で最先端よりも高速であり、メモリ使用量はデータセットのサイズに依存しないことがわかった。
  論文  参考訳（メタデータ） (2020-03-30T16:37:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。