論文の概要: Gradient scarcity with Bilevel Optimization for Graph Learning

• arxiv url: http://arxiv.org/abs/2303.13964v1
• Date: Fri, 24 Mar 2023 12:37:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 14:41:17.352206
• Title: Gradient scarcity with Bilevel Optimization for Graph Learning
• Title（参考訳）: グラフ学習のための2レベル最適化による勾配不足
• Authors: Hashem Ghanem (IMB), Samuel Vaiter (CNRS, JAD), Nicolas Keriven (CNRS, IRISA)
• Abstract要約: 勾配不足は、ノードのサブセットの損失を最小限にすることでグラフを学習する際に発生する。 我々は、この現象の正確な数学的特徴を与え、双レベル最適化にも現れることを証明した。 この問題を緩和するために,グラフ・ツー・グラフモデル(G2G)を用いた潜時グラフ学習,グラフに先行構造を課すグラフ正規化,あるいは直径を縮小した元のグラフよりも大きなグラフを最適化することを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A common issue in graph learning under the semi-supervised setting is referred to as gradient scarcity. That is, learning graphs by minimizing a loss on a subset of nodes causes edges between unlabelled nodes that are far from labelled ones to receive zero gradients. The phenomenon was first described when optimizing the graph and the weights of a Graph Neural Network (GCN) with a joint optimization algorithm. In this work, we give a precise mathematical characterization of this phenomenon, and prove that it also emerges in bilevel optimization, where additional dependency exists between the parameters of the problem. While for GCNs gradient scarcity occurs due to their finite receptive field, we show that it also occurs with the Laplacian regularization model, in the sense that gradients amplitude decreases exponentially with distance to labelled nodes. To alleviate this issue, we study several solutions: we propose to resort to latent graph learning using a Graph-to-Graph model (G2G), graph regularization to impose a prior structure on the graph, or optimizing on a larger graph than the original one with a reduced diameter. Our experiments on synthetic and real datasets validate our analysis and prove the efficiency of the proposed solutions.
• Abstract（参考訳）: 半教師付き環境下でのグラフ学習の一般的な問題は勾配不足と呼ばれる。 すなわち、ノードのサブセットの損失を最小限にすることでグラフを学習すると、ラベル付けされていないノード間のエッジがゼロ勾配を受ける。 この現象は、グラフとグラフニューラルネットワーク(GCN)の重みを共同最適化アルゴリズムで最適化する際に初めて説明された。 本研究では,この現象を正確に数学的に解析し,二段階最適化においても問題パラメータ間の追加依存性が存在することを証明した。 GCNの勾配の不足は、その有限受容場によって生じるが、ラプラシア正規化モデルにおいても、勾配の振幅がラベル付きノードとの距離によって指数関数的に減少することを示す。 この問題を緩和するために,グラフ・ツー・グラフモデル(G2G)を用いた潜時グラフ学習,グラフに先行構造を課すグラフ正規化,あるいは直径を縮小した元のグラフよりも大きなグラフを最適化することを提案する。 合成および実データを用いた実験により,提案手法の有効性が検証された。

関連論文リスト

• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Addressing Heterophily in Node Classification with Graph Echo State Networks [11.52174067809364]
  ノード分類のためのグラフエコー状態ネットワーク(GESN)を用いた異種グラフの課題に対処する。 GESNはグラフのための貯水池計算モデルであり、ノードの埋め込みは訓練されていないメッセージパッシング関数によって計算される。 実験の結果, 貯水池モデルでは, ほぼ完全に訓練された深層モデルに対して, より優れた精度あるいは同等の精度が得られることがわかった。
  論文  参考訳（メタデータ） (2023-05-14T19:42:31Z)
• Deep Manifold Learning with Graph Mining [80.84145791017968]
  グラフマイニングのための非段階的決定層を持つ新しいグラフ深層モデルを提案する。 提案モデルでは,現行モデルと比較して最先端性能を実現している。
  論文  参考訳（メタデータ） (2022-07-18T04:34:08Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• Graph Denoising with Framelet Regularizer [25.542429117462547]
  本稿では,特徴雑音と構造雑音の両面からグラフデータの正則化を行う。 本モデルでは, グラフが汚染されている場合でも, 一般的なグラフ畳み込みと比較して, 性能が著しく向上する。
  論文  参考訳（メタデータ） (2021-11-05T05:17:23Z)
• Graph Sanitation with Application to Node Classification [41.311131936203715]
  質問に答えるために,グラフ衛生問題を導入する。 マイニングモデルの入力の一部として、より良いグラフを学習することで、さまざまな環境でグラフマイニングの恩恵が期待できる。 特に、既存の堅牢なグラフニューラルネットワーク手法よりも25%パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2021-05-19T20:22:15Z)
• Learning Graphs from Smooth Signals under Moment Uncertainty [23.868075779606425]
  与えられたグラフ信号の集合からグラフ構造を推測する問題を検討する。 従来のグラフ学習モデルは、この分布の不確実性を考慮していない。
  論文  参考訳（メタデータ） (2021-05-12T06:47:34Z)
• Multilayer Graph Clustering with Optimized Node Embedding [70.1053472751897]
  多層グラフクラスタリングは、グラフノードをカテゴリまたはコミュニティに分割することを目指しています。 与えられた多層グラフの層をクラスタリングに親しみやすい埋め込みを提案する。 実験の結果,本手法は著しい改善をもたらすことがわかった。
  論文  参考訳（メタデータ） (2021-03-30T17:36:40Z)
• Multilayer Clustered Graph Learning [66.94201299553336]
  我々は、観測された層を代表グラフに適切に集約するために、データ忠実度用語として対照的な損失を用いる。 実験により,本手法がクラスタクラスタw.r.tに繋がることが示された。 クラスタリング問題を解くためのクラスタリングアルゴリズムを学習する。
  論文  参考訳（メタデータ） (2020-10-29T09:58:02Z)
• Line Graph Neural Networks for Link Prediction [71.00689542259052]
  実世界の多くのアプリケーションにおいて古典的なグラフ解析問題であるグラフリンク予測タスクについて検討する。 このフォーマリズムでは、リンク予測問題をグラフ分類タスクに変換する。 本稿では,線グラフをグラフ理論に用いて,根本的に異なる新しい経路を求めることを提案する。 特に、線グラフの各ノードは、元のグラフのユニークなエッジに対応するため、元のグラフのリンク予測問題は、グラフ分類タスクではなく、対応する線グラフのノード分類問題として等価に解決できる。
  論文  参考訳（メタデータ） (2020-10-20T05:54:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。