論文の概要: Sharpness-Aware Graph Collaborative Filtering

• arxiv url: http://arxiv.org/abs/2307.08910v1
• Date: Tue, 18 Jul 2023 01:02:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-19 17:01:30.639473
• Title: Sharpness-Aware Graph Collaborative Filtering
• Title（参考訳）: シャープネス・アウェアグラフ協調フィルタリング
• Authors: Huiyuan Chen, Chin-Chia Michael Yeh, Yujie Fan, Yan Zheng, Junpeng Wang, Vivian Lai, Mahashweta Das, Hao Yang
• Abstract要約: グラフニューラルネットワーク(GNN)は、協調トレーニングにおいて素晴らしいパフォーマンスを達成した。 GNNは、分散とテストデータの整合性が良くない場合、性能が劣る傾向にある。 我々は,テクティットフレーターのミニマがSAMitsharperよりも優れたフィルタリング能力を有するという原則の下で,gSAMと呼ばれる効果的なトレーニングスキーマを提案する。
• 参考スコア（独自算出の注目度）: 31.133543641102914
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Neural Networks (GNNs) have achieved impressive performance in collaborative filtering. However, GNNs tend to yield inferior performance when the distributions of training and test data are not aligned well. Also, training GNNs requires optimizing non-convex neural networks with an abundance of local and global minima, which may differ widely in their performance at test time. Thus, it is essential to choose the minima carefully. Here we propose an effective training schema, called {gSAM}, under the principle that the \textit{flatter} minima has a better generalization ability than the \textit{sharper} ones. To achieve this goal, gSAM regularizes the flatness of the weight loss landscape by forming a bi-level optimization: the outer problem conducts the standard model training while the inner problem helps the model jump out of the sharp minima. Experimental results show the superiority of our gSAM.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、協調フィルタリングにおいて素晴らしいパフォーマンスを達成した。 しかし、GNNはトレーニングデータとテストデータの分布がうまく一致していない場合、性能が劣る傾向にある。 また、GNNのトレーニングでは、ローカルおよびグローバルなミニマの豊富な非凸ニューラルネットワークを最適化する必要がある。 そのため、慎重にミニマを選ぶことが不可欠である。 ここでは, \textit{flatter} minima が \textit{sharper} よりも優れた一般化能力を持つという原理の下で,{gsam} と呼ばれる効果的なトレーニングスキーマを提案する。 この目的を達成するために、gSAMは2段階の最適化によって重量損失景観の平坦性を正則化し、外側の問題は標準モデルのトレーニングを行い、内側の問題はシャープなミニマからモデルが飛び出すのを助ける。 実験の結果, gSAMの優位性が確認された。

関連論文リスト

• Fast Graph Sharpness-Aware Minimization for Enhancing and Accelerating Few-Shot Node Classification [53.727688136434345]
  グラフニューラルネットワーク(GNN)はノード分類において優れた性能を示している。 高速グラフシャープネス認識最小化(FGSAM)を提案する。 提案アルゴリズムは,FSNCタスクにおいて,計算コストの低い標準SAMよりも優れる。
  論文  参考訳（メタデータ） (2024-10-22T09:33:29Z)
• GNNEvaluator: Evaluating GNN Performance On Unseen Graphs Without Labels [81.93520935479984]
  本稿では,ラベル付きおよび観測されたグラフに基づいて学習した特定のGNNモデルの性能を評価することを目的とした,新しい問題であるGNNモデル評価について検討する。 本稿では,(1) DiscGraph セット構築と(2) GNNEvaluator トレーニングと推論を含む2段階の GNN モデル評価フレームワークを提案する。 DiscGraphセットからの効果的なトレーニング監督の下で、GNNEvaluatorは、評価対象であるGNNモデルのノード分類精度を正確に推定することを学ぶ。
  論文  参考訳（メタデータ） (2023-10-23T05:51:59Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• Implicit Graph Neural Diffusion Networks: Convergence, Generalization, and Over-Smoothing [7.984586585987328]
  Inlicit Graph Neural Networks (GNN)は、グラフ学習問題に対処する上で大きな成功を収めた。 パラメータ化グラフラプラシアン演算子に基づく暗黙グラフ拡散層を設計するための幾何学的枠組みを提案する。 ディリクレエネルギー最小化問題の固定点方程式として, 暗黙のGNN層がどう見えるかを示す。
  論文  参考訳（メタデータ） (2023-08-07T05:22:33Z)
• Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
  標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。 本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-03T21:49:14Z)
• The Split Matters: Flat Minima Methods for Improving the Performance of GNNs [2.9443230571766854]
  グラフニューラルネットワーク(GNN)のトレーニングのための平らなミニマ法とそれらの組み合わせについて検討する。 我々は,異なる列車試験分割による,小規模かつ大規模な引用,共同購入,およびタンパク質データセットの実験を行った。 実験結果から, 列車分割がランダム化される場合, 平坦なミニマ法はGNNモデルの性能を2点以上向上できることがわかった。
  論文  参考訳（メタデータ） (2023-06-15T13:29:09Z)
• Scalable Consistency Training for Graph Neural Networks via Self-Ensemble Self-Distillation [13.815063206114713]
  グラフニューラルネットワーク(GNN)の精度を向上させるための新しい一貫性トレーニング手法を提案する。 対象ノードに対して、異なる近傍展開を生成し、予測平均の知識をGNNに蒸留する。 提案手法は, 推定した近傍サンプルの予測値に近似し, 実質的には少数のサンプルしか必要としない。
  論文  参考訳（メタデータ） (2021-10-12T19:24:42Z)
• Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
  グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。 PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。 PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-11-13T18:53:21Z)
• Graph Neural Network for Large-Scale Network Localization [35.29322617956428]
  グラフニューラルネットワーク(GNN)は、機械学習のコンテキストにおいて構造化データの分類に使用される。 本研究では,古典的だが難解な非線形回帰問題,すなわちネットワークローカライゼーションにGNNを採用する。 まず、GNNは、精度、堅牢性、計算時間の観点から、大規模ネットワークローカライゼーションの最適解である可能性がある。
  論文  参考訳（メタデータ） (2020-10-22T12:39:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。