論文の概要: Optimization-Induced Graph Implicit Nonlinear Diffusion

• arxiv url: http://arxiv.org/abs/2206.14418v1
• Date: Wed, 29 Jun 2022 06:26:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-30 20:23:07.106466
• Title: Optimization-Induced Graph Implicit Nonlinear Diffusion
• Title（参考訳）: 最適化によるグラフ誘導非線形拡散
• Authors: Qi Chen, Yifei Wang, Yisen Wang, Jiansheng Yang, Zhouchen Lin
• Abstract要約: 我々はGIND(Graph Implicit Diffusion)と呼ばれる新しいグラフ畳み込み変種を提案する。 GINDは暗黙的に隣人の無限のホップにアクセスでき、非線型拡散を伴う特徴を適応的に集約することで過度な平滑化を防いでいる。 学習された表現は、明示的な凸最適化目標の最小化として定式化できることを示す。
• 参考スコア（独自算出の注目度）: 64.39772634635273
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the over-smoothing issue, most existing graph neural networks can only capture limited dependencies with their inherently finite aggregation layers. To overcome this limitation, we propose a new kind of graph convolution, called Graph Implicit Nonlinear Diffusion (GIND), which implicitly has access to infinite hops of neighbors while adaptively aggregating features with nonlinear diffusion to prevent over-smoothing. Notably, we show that the learned representation can be formalized as the minimizer of an explicit convex optimization objective. With this property, we can theoretically characterize the equilibrium of our GIND from an optimization perspective. More interestingly, we can induce new structural variants by modifying the corresponding optimization objective. To be specific, we can embed prior properties to the equilibrium, as well as introducing skip connections to promote training stability. Extensive experiments show that GIND is good at capturing long-range dependencies, and performs well on both homophilic and heterophilic graphs with nonlinear diffusion. Moreover, we show that the optimization-induced variants of our models can boost the performance and improve training stability and efficiency as well. As a result, our GIND obtains significant improvements on both node-level and graph-level tasks.
• Abstract（参考訳）: 過剰にスムースな問題のため、既存のグラフニューラルネットワークのほとんどは、本質的に有限の集約層でのみ限定的な依存関係をキャプチャできる。 この制限を克服するために,グラフ暗黙的非線形拡散(gind)と呼ばれる新しいグラフ畳み込みを提案する。 特に,学習表現は明示的な凸最適化目的の最小化として定式化できることを示す。 この性質により、最適化の観点からGINDの平衡を理論的に特徴づけることができる。 さらに興味深いことに、対応する最適化目標を変更することで、新しい構造変異を誘導できる。 具体的には、事前特性を平衡に埋め込むとともに、トレーニング安定性を促進するためにスキップ接続を導入することができる。 広範な実験により、ギンドは長距離依存性を捉えるのに優れており、非線形拡散を持つホモ親和グラフとヘテロ親和グラフの両方でよく機能することが示された。 さらに,モデルの最適化による変形により,性能が向上し,トレーニングの安定性や効率も向上することを示す。 その結果、GINDはノードレベルのタスクとグラフレベルのタスクの両方において大幅に改善されている。

関連論文リスト

• AUGUR, A flexible and efficient optimization algorithm for identification of optimal adsorption sites [0.4188114563181615]
  我々のモデルは、グラフニューラルネットワークとガウス過程を組み合わせて、柔軟で効率的で対称性に配慮した翻訳、回転不変の予測器を作成する。 これは、現在の最先端のアプローチよりもはるかに少ないイテレーションで、大規模で複雑なクラスタの最適位置を決定する。 手作りの特徴に頼らず、あらゆる分子にシームレスに使用することができる。
  論文  参考訳（メタデータ） (2024-09-24T16:03:01Z)
• Controlled Learning of Pointwise Nonlinearities in Neural-Network-Like Architectures [14.93489065234423]
  本稿では,階層型計算アーキテクチャにおける自由形式非線形性のトレーニングのための一般的な変分フレームワークを提案する。 傾斜制約により、1-Lipschitz安定性、堅固な非膨張性、単調性/可逆性といった特性を課すことができる。 本稿では, 非線形性を適切な(一様でない)B-スプラインベースで表現することで, 数値関数最適化問題の解法を示す。
  論文  参考訳（メタデータ） (2024-08-23T14:39:27Z)
• Through the Dual-Prism: A Spectral Perspective on Graph Data Augmentation for Graph Classification [71.36575018271405]
  本稿では,DP-NoiseとDP-Maskを組み合わせたDual-Prism(DP)拡張手法を提案する。 低周波固有値の変動を保ちながら、拡張グラフを生成する際に、臨界特性を大規模に保存できることが判明した。
  論文  参考訳（メタデータ） (2024-01-18T12:58:53Z)
• Achieving Constraints in Neural Networks: A Stochastic Augmented Lagrangian Approach [49.1574468325115]
  DNN(Deep Neural Networks)の正規化は、一般化性の向上とオーバーフィッティングの防止に不可欠である。 制約付き最適化問題としてトレーニングプロセスのフレーミングによるDNN正規化に対する新しいアプローチを提案する。 我々はAugmented Lagrangian (SAL) 法を用いて、より柔軟で効率的な正規化機構を実現する。
  論文  参考訳（メタデータ） (2023-10-25T13:55:35Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Accelerating Scalable Graph Neural Network Inference with Node-Adaptive Propagation [80.227864832092]
  グラフニューラルネットワーク(GNN)は、様々なアプリケーションで例外的な効果を発揮している。 大規模グラフの重大化は,GNNによるリアルタイム推論において重要な課題となる。 本稿では,オンライン伝搬フレームワークと2つの新しいノード適応伝搬手法を提案する。
  論文  参考訳（メタデータ） (2023-10-17T05:03:00Z)
• Implicit Graph Neural Diffusion Networks: Convergence, Generalization, and Over-Smoothing [7.984586585987328]
  Inlicit Graph Neural Networks (GNN)は、グラフ学習問題に対処する上で大きな成功を収めた。 パラメータ化グラフラプラシアン演算子に基づく暗黙グラフ拡散層を設計するための幾何学的枠組みを提案する。 ディリクレエネルギー最小化問題の固定点方程式として, 暗黙のGNN層がどう見えるかを示す。
  論文  参考訳（メタデータ） (2023-08-07T05:22:33Z)
• Descent Steps of a Relation-Aware Energy Produce Heterogeneous Graph Neural Networks [25.59092732148598]
  不均一グラフニューラルネットワーク(GNN)は、半教師付き学習環境においてノード分類タスクにおいて高い性能を達成する。 本稿では、新しい関係認識エネルギー関数を導出する最適化ステップから層を導出する異種GNNアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-06-22T13:48:08Z)
• Restructuring Graph for Higher Homophily via Adaptive Spectral Clustering [7.223313563198697]
  グラフ再構成手法は, 好ましくないグラフに対して, 6つの古典的GNNの性能を平均25%向上させることができることを示す。 強化されたパフォーマンスは最先端のメソッドに匹敵する。
  論文  参考訳（メタデータ） (2022-06-06T06:38:53Z)
• Score-based Generative Modeling of Graphs via the System of Stochastic Differential Equations [57.15855198512551]
  本稿では,連続時間フレームワークを用いたグラフのスコアベース生成モデルを提案する。 本手法は, トレーニング分布に近い分子を生成できるが, 化学価数則に違反しないことを示す。
  論文  参考訳（メタデータ） (2022-02-05T08:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。