論文の概要: Fast Graph Sharpness-Aware Minimization for Enhancing and Accelerating Few-Shot Node Classification

• arxiv url: http://arxiv.org/abs/2410.16845v1
• Date: Tue, 22 Oct 2024 09:33:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:29:53.883164
• Title: Fast Graph Sharpness-Aware Minimization for Enhancing and Accelerating Few-Shot Node Classification
• Title（参考訳）: 高速グラフシャープネス認識によるFew-Shotノード分類の高速化と高速化
• Authors: Yihong Luo, Yuhan Chen, Siya Qiu, Yiwei Wang, Chen Zhang, Yan Zhou, Xiaochun Cao, Jing Tang,
• Abstract要約: グラフニューラルネットワーク(GNN)はノード分類において優れた性能を示している。 高速グラフシャープネス認識最小化(FGSAM)を提案する。 提案アルゴリズムは,FSNCタスクにおいて,計算コストの低い標準SAMよりも優れる。
• 参考スコア（独自算出の注目度）: 53.727688136434345
• License:
• Abstract: Graph Neural Networks (GNNs) have shown superior performance in node classification. However, GNNs perform poorly in the Few-Shot Node Classification (FSNC) task that requires robust generalization to make accurate predictions for unseen classes with limited labels. To tackle the challenge, we propose the integration of Sharpness-Aware Minimization (SAM)--a technique designed to enhance model generalization by finding a flat minimum of the loss landscape--into GNN training. The standard SAM approach, however, consists of two forward-backward steps in each training iteration, doubling the computational cost compared to the base optimizer (e.g., Adam). To mitigate this drawback, we introduce a novel algorithm, Fast Graph Sharpness-Aware Minimization (FGSAM), that integrates the rapid training of Multi-Layer Perceptrons (MLPs) with the superior performance of GNNs. Specifically, we utilize GNNs for parameter perturbation while employing MLPs to minimize the perturbed loss so that we can find a flat minimum with good generalization more efficiently. Moreover, our method reutilizes the gradient from the perturbation phase to incorporate graph topology into the minimization process at almost zero additional cost. To further enhance training efficiency, we develop FGSAM+ that executes exact perturbations periodically. Extensive experiments demonstrate that our proposed algorithm outperforms the standard SAM with lower computational costs in FSNC tasks. In particular, our FGSAM+ as a SAM variant offers a faster optimization than the base optimizer in most cases. In addition to FSNC, our proposed methods also demonstrate competitive performance in the standard node classification task for heterophilic graphs, highlighting the broad applicability. The code is available at https://github.com/draym28/FGSAM_NeurIPS24.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)はノード分類において優れた性能を示している。 しかし、Few-Shot Node Classification (FSNC)タスクでは、ラベルが制限された未確認クラスの正確な予測を行うために、堅牢な一般化を必要とする。 この課題に対処するために,GNNトレーニングにおける損失ランドスケープの平坦な最小値を求めることにより,モデル一般化を向上する手法であるSAM(Sharpness-Aware Minimization)の統合を提案する。 しかし、SAMの標準的なアプローチは、各トレーニングイテレーションにおける2つの前向きステップで構成されており、ベースオプティマイザ(例えばAdam)と比較して計算コストは2倍になっている。 この欠点を軽減するために,マルチ層パーセプトロン(MLP)の高速トレーニングとGNNの優れた性能を統合する新しいアルゴリズムFGSAMを導入する。 具体的には、パラメータ摂動にGNNを用い、MPPを用いて摂動損失を最小限に抑え、より効率的に一般化された平坦な最小値を見つける。 さらに,本手法では,摂動相からの勾配を再利用し,グラフトポロジを最小化プロセスにほぼゼロのコストで組み込む。 トレーニング効率をさらに高めるため、定期的に正確な摂動を実行するFGSAM+を開発した。 FSNCタスクにおいて,提案アルゴリズムは計算コストの低い標準SAMよりも優れていることを示す。 特に、SAM変種としてのFGSAM+は、ほとんどの場合、ベースオプティマイザよりも高速な最適化を提供する。 FSNCに加えて,提案手法は異種グラフの標準ノード分類タスクにおける競合性能を実証し,その適用性を強調した。 コードはhttps://github.com/draym28/FGSAM_NeurIPS24で公開されている。

関連論文リスト

• Enhancing GNNs Performance on Combinatorial Optimization by Recurrent Feature Update [0.09986418756990156]
  本稿では,組合せ最適化(CO)問題を効率よく解くために,GNNのパワーを活用して,QRF-GNNと呼ぶ新しいアルゴリズムを提案する。 QUBO緩和による損失関数の最小化による教師なし学習に依存している。 実験の結果、QRF-GNNは既存の学習ベースアプローチを大幅に上回り、最先端の手法に匹敵することがわかった。
  論文  参考訳（メタデータ） (2024-07-23T13:34:35Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• Sharpness-Aware Graph Collaborative Filtering [31.133543641102914]
  グラフニューラルネットワーク(GNN)は、協調トレーニングにおいて素晴らしいパフォーマンスを達成した。 GNNは、分散とテストデータの整合性が良くない場合、性能が劣る傾向にある。 我々は,テクティットフレーターのミニマがSAMitsharperよりも優れたフィルタリング能力を有するという原則の下で,gSAMと呼ばれる効果的なトレーニングスキーマを提案する。
  論文  参考訳（メタデータ） (2023-07-18T01:02:20Z)
• Efficient Generalization Improvement Guided by Random Weight Perturbation [24.027159739234524]
  Gruesome-aware Minimization (SAM)は、一般化の改善のための一般的なスキームを確立する。 我々は、SAMのネスト勾配を分離するために、フィルタワイズランダムウェイト摂動(RWP)を利用する。 我々は、CIFAR上での非常に競争力のあるパフォーマンスと、ImageNet上での極めて優れたパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2022-11-21T14:24:34Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Sharpness-Aware Training for Free [163.1248341911413]
  シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。 シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
  論文  参考訳（メタデータ） (2022-05-27T16:32:43Z)
• Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
  本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。 我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
  論文  参考訳（メタデータ） (2021-10-07T02:20:37Z)
• Sharpness-Aware Minimization for Efficiently Improving Generalization [36.87818971067698]
  本稿では,損失値と損失シャープネスを同時に最小化する新しい効果的な手法を提案する。 シャープネス・アウェアの最小化(SAM)は、一様損失の少ない地区にあるパラメータを求める。 SAMは様々なベンチマークデータセットのモデル一般化を改善することを示す実験結果を示す。
  論文  参考訳（メタデータ） (2020-10-03T19:02:10Z)
• Gradient Centralization: A New Optimization Technique for Deep Neural Networks [74.935141515523]
  勾配集中(GC)は、勾配ベクトルをゼロ平均とする集中化によって、勾配を直接操作する。 GCは、制約された損失関数を持つ射影勾配降下法とみなすことができる。 GCは実装が非常に簡単で、1行のコードだけで既存のグラデーションベースのDNNに簡単に組み込める。
  論文  参考訳（メタデータ） (2020-04-03T10:25:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。