論文の概要: Adversarial Weight Perturbation Improves Generalization in Graph Neural Network

• arxiv url: http://arxiv.org/abs/2212.04983v1
• Date: Fri, 9 Dec 2022 16:45:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 15:46:33.757550
• Title: Adversarial Weight Perturbation Improves Generalization in Graph Neural Network
• Title（参考訳）: 対向重み摂動はグラフニューラルネットワークの一般化を改善する
• Authors: Yihan Wu and Aleksandar Bojchevski and Heng Huang
• Abstract要約: 対向重み摂動(Adversarial Weight Perturbation, AWP)は、そのようなミニマを効率的に効果的に見つける技術である。 WT-AWPによるグラフニューラルネットワークの正規化は、多くの異なるグラフ学習タスクやモデルにおける自然および堅牢な一般化を一貫して改善することを示す。
• 参考スコア（独自算出の注目度）: 146.44185476023074
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A lot of theoretical and empirical evidence shows that the flatter local minima tend to improve generalization. Adversarial Weight Perturbation (AWP) is an emerging technique to efficiently and effectively find such minima. In AWP we minimize the loss w.r.t. a bounded worst-case perturbation of the model parameters thereby favoring local minima with a small loss in a neighborhood around them. The benefits of AWP, and more generally the connections between flatness and generalization, have been extensively studied for i.i.d. data such as images. In this paper, we extensively study this phenomenon for graph data. Along the way, we first derive a generalization bound for non-i.i.d. node classification tasks. Then we identify a vanishing-gradient issue with all existing formulations of AWP and we propose a new Weighted Truncated AWP (WT-AWP) to alleviate this issue. We show that regularizing graph neural networks with WT-AWP consistently improves both natural and robust generalization across many different graph learning tasks and models.
• Abstract（参考訳）: 多くの理論的および実証的な証拠は、平坦な局所ミニマが一般化を改善する傾向があることを示している。 対向重み摂動(Adversarial Weight Perturbation, AWP)は、そのようなミニマを効率的に効果的に見つける技術である。 awpでは、モデルパラメータの有界なワーストケース摂動による損失を最小にすることで、周囲に小さな損失を持つローカルミニマを好む。 AWPの利点、より一般的には平坦性と一般化の間の接続は、画像などのddデータに対して広く研究されている。 本稿では,この現象をグラフデータに対して広範囲に研究する。 その過程で、まず非I.d.ノード分類タスクの一般化を導出する。 そこで我々は,既存のAWPのすべての定式化において,失効する段階的な問題を特定し,この問題を緩和するための新しい重み付きトレンシ付きAWP(WT-AWP)を提案する。 WT-AWPによるグラフニューラルネットワークの正規化は、多くの異なるグラフ学習タスクやモデルにおける自然および堅牢な一般化を一貫して改善することを示す。

関連論文リスト

• PACE: marrying generalization in PArameter-efficient fine-tuning with Consistency rEgularization [35.922096876707975]
  PACE は PArameter- efficient fine-tuning with Consistency rEgularization の一般化である。 PACEは、拡張一般化のための勾配を暗黙的に正規化するだけでなく、微調整および事前訓練されたモデルも暗黙的に整列して知識を保持することを示す。 PACEは、VTAB-1k、FGVC、少数ショット学習、ドメイン適応の4つの視覚適応タスクにおいて、既存のPEFTメソッドよりも優れている。
  論文  参考訳（メタデータ） (2024-09-25T17:56:00Z)
• Revisiting Random Weight Perturbation for Efficiently Improving Generalization [26.278620679294562]
  ディープニューラルネットワーク(DNN)の一般化を改善する2つの方法が提案されている。 本稿では,一般化のためのRWPの利用を再考し,二つの観点から改善を提案する。 拡張RWP法は,特に大規模問題において,一般化の効率化に有効であることを示す。
  論文  参考訳（メタデータ） (2024-03-30T13:18:27Z)
• Graph Out-of-Distribution Generalization via Causal Intervention [69.70137479660113]
  本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。 本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。 本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
  論文  参考訳（メタデータ） (2024-02-18T07:49:22Z)
• Deceptive Path Planning via Reinforcement Learning with Graph Neural Networks [11.099595111978653]
  認知的経路計画(deceptive path planning, DPP)は、真の目標を外部の観測者から隠蔽する経路を設計する問題である。 DPPの既存の方法は、大域的状態観測可能性や完璧なモデル知識のような非現実的な仮定に依存している。 本稿では、任意の重み付きグラフ上でDPPを実行するためのトレーニングポリシーの強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-02-09T17:07:31Z)
• Leveraging Graph Diffusion Models for Network Refinement Tasks [72.54590628084178]
  本稿では,グラフ拡散に基づく新しいグラフ生成フレームワークSGDMを提案する。 我々のフレームワークはグラフ拡散モデルのスケーラビリティと忠実度を向上するだけでなく、逆プロセスを利用して新しい条件付き生成タスクを実行する。
  論文  参考訳（メタデータ） (2023-11-29T18:02:29Z)
• FAM: Relative Flatness Aware Minimization [5.132856559837775]
  平坦性の最適化は1994年に Hochreiter と Schmidthuber によって提案された。 最近の理論的研究は、特定の相対的平坦度測度が一般化に結びつくことを示唆している。 この相対平坦性に基づいて正規化器を導出し、計算が容易で、高速で、効率的で、任意の損失関数を扱う。
  論文  参考訳（メタデータ） (2023-07-05T14:48:24Z)
• Joint Graph Learning and Model Fitting in Laplacian Regularized Stratified Models [5.933030735757292]
  ラプラシア正規化成層モデル(Laplacian regularized Stratified Model、LRSM)は、サブプロブレムの明示的または暗黙的なネットワーク構造を利用するモデルである。 本稿では,LRSMにおけるグラフ重みの重要性と感度を示し,その感度が任意に大きいことを示す。 本稿では,1つの最適化問題を解くことで,モデルパラメータを適合させながらグラフを共同学習する汎用的手法を提案する。
  論文  参考訳（メタデータ） (2023-05-04T06:06:29Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• A Diffusion Theory For Deep Learning Dynamics: Stochastic Gradient Descent Exponentially Favors Flat Minima [91.11332770406007]
  グラディエントDescent (SGD) は, 鋭いミニマよりも指数関数的に平坦なミニマを好んでいる。 また、小さな学習率か大規模なバッチトレーニングのどちらかが、ミニマから逃れるために指数関数的に多くのイテレーションを必要とすることも明らかにした。
  論文  参考訳（メタデータ） (2020-02-10T02:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。