論文の概要: GraphFM: Improving Large-Scale GNN Training via Feature Momentum

• arxiv url: http://arxiv.org/abs/2206.07161v1
• Date: Tue, 14 Jun 2022 20:43:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-18 22:43:34.531381
• Title: GraphFM: Improving Large-Scale GNN Training via Feature Momentum
• Title（参考訳）: GraphFM:Feature Momentumによる大規模GNNトレーニングの改善
• Authors: Haiyang Yu, Limei Wang, Bokun Wang, Meng Liu, Tianbao Yang, Shuiwang Ji
• Abstract要約: 本稿では,特徴表現を更新する際に,履歴埋め込みを組み込むモーメントステップを用いた特徴運動量(FM)と呼ばれる新しい手法を提案する。 我々は,グラフFM-IBとグラフFM-OBという2つの特定のアルゴリズムを開発し,それぞれがバッチ内データとアウト・オブ・バッチデータについて検討する。
• 参考スコア（独自算出の注目度）: 65.22219413158042
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training of graph neural networks (GNNs) for large-scale node classification is challenging. A key difficulty lies in obtaining accurate hidden node representations while avoiding the neighborhood explosion problem. Here, we propose a new technique, named as feature momentum (FM), that uses a momentum step to incorporate historical embeddings when updating feature representations. We develop two specific algorithms, known as GraphFM-IB and GraphFM-OB, that consider in-batch and out-of-batch data, respectively. GraphFM-IB applies FM to in-batch sampled data, while GraphFM-OB applies FM to out-of-batch data that are 1-hop neighborhood of in-batch data. We provide a rigorous convergence analysis for GraphFM-IB and theoretical insight of GraphFM-OB for the estimation error of feature embeddings. Empirically, we observe that GraphFM-IB can effectively alleviate the neighborhood explosion problem of existing methods. In addition, GraphFM-OB achieves promising performance on multiple large-scale graph datasets.
• Abstract（参考訳）: 大規模ノード分類のためのグラフニューラルネットワーク(GNN)の訓練は困難である。 鍵となる問題は、近所の爆発問題を避けながら正確な隠れノード表現を得ることである。 本稿では,特徴表現を更新する際に,歴史的埋め込みを組み込むモーメントステップを用いた特徴運動量(FM)と呼ばれる新しい手法を提案する。 graphfm-ib と graphfm-ob という2つの特定のアルゴリズムを開発し,インバッチデータとアウトオブバッチデータについて検討した。 GraphFM-IBはサンプルデータにFMを適用し、GraphFM-OBは1ホップ近傍のバッチデータにFMを適用する。 特徴埋め込みの推定誤差に対するgraphfm-ibの厳密な収束解析とgraphfm-obの理論的洞察を提供する。 実験により,GraphFM-IBは既存手法の爆発問題を効果的に軽減できることがわかった。 さらに、GraphFM-OBは、複数の大規模グラフデータセットで有望なパフォーマンスを達成する。

関連論文リスト

• DA-MoE: Addressing Depth-Sensitivity in Graph-Level Analysis through Mixture of Experts [70.21017141742763]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを処理することで人気を集めている。 既存のメソッドは通常、固定数のGNNレイヤを使用して、すべてのグラフの表現を生成する。 本稿では,GNNに2つの改良を加えたDA-MoE法を提案する。
  論文  参考訳（メタデータ） (2024-11-05T11:46:27Z)
• Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit Diversity Modeling [60.0185734837814]
  グラフニューラルネットワーク(GNN)は、グラフデータからの学習に広く応用されている。 GNNの一般化能力を強化するため、グラフ強化のような技術を用いて、トレーニンググラフ構造を増強することが慣例となっている。 本研究では,GNNにMixture-of-Experts(MoE)の概念を導入する。
  論文  参考訳（メタデータ） (2023-04-06T01:09:36Z)
• Diffusing Graph Attention [15.013509382069046]
  任意のグラフ構造をアーキテクチャに統合するグラフ変換器の新しいモデルを開発した。 GDはグラフ内の遠いノード間の構造的および位置的関係を抽出し、Transformerの注意とノード表現を指示する。 8つのベンチマークの実験では、グラフディフューザは高い競争力を持つモデルであることが示され、さまざまなドメインセットにおける最先端よりも優れています。
  論文  参考訳（メタデータ） (2023-03-01T16:11:05Z)
• Graph Signal Sampling for Inductive One-Bit Matrix Completion: a Closed-form Solution [112.3443939502313]
  グラフ信号解析と処理の利点を享受する統合グラフ信号サンプリングフレームワークを提案する。 キーとなる考え方は、各ユーザのアイテムのレーティングをアイテムイットグラフの頂点上の関数(信号)に変換することである。 オンライン設定では、グラフフーリエ領域における連続ランダムガウス雑音を考慮したベイズ拡張(BGS-IMC)を開発する。
  論文  参考訳（メタデータ） (2023-02-08T08:17:43Z)
• Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction [123.20238648121445]
  我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。 GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。 我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-29T19:55:12Z)
• GraphFM: Graph Factorization Machines for Feature Interaction Modeling [27.307086868266012]
  本稿では,グラフ構造の特徴を自然に表現し,グラフ因子化マシン(GraphFM)を提案する。 特に,有用な特徴間相互作用を選択し,特徴間のエッジとして定式化する機構を設計する。 提案モデルでは, FMの相互作用関数をグラフニューラルネットワーク(GNN)の特徴集約戦略に統合する。
  論文  参考訳（メタデータ） (2021-05-25T12:10:54Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)
• Pseudoinverse Graph Convolutional Networks: Fast Filters Tailored for Large Eigengaps of Dense Graphs and Hypergraphs [0.0]
  Graph Convolutional Networks (GCNs) は、グラフベースのデータセットで半教師付き分類を行うツールとして成功している。 本稿では,三部フィルタ空間が高密度グラフを対象とする新しいGCN変種を提案する。
  論文  参考訳（メタデータ） (2020-08-03T08:48:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。