論文の概要: Facilitating Graph Neural Networks with Random Walk on Simplicial Complexes

• arxiv url: http://arxiv.org/abs/2310.19285v1
• Date: Mon, 30 Oct 2023 06:03:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 21:36:14.937099
• Title: Facilitating Graph Neural Networks with Random Walk on Simplicial Complexes
• Title（参考訳）: 単純コンプレックス上のランダムウォークによるグラフニューラルネットワークのファシリテート
• Authors: Cai Zhou and Xiyuan Wang and Muhan Zhang
• Abstract要約: ノードレベルのランダムウォークは、グラフニューラルネットワークの改善に広く使用されている。 本稿では,Simplicial Complex (SC) の異なる順序でのランダムウォーキングが,GNNの理論的表現性をいかに促進するかを系統的に分析する。
• 参考スコア（独自算出の注目度）: 27.542173012315413
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Node-level random walk has been widely used to improve Graph Neural Networks. However, there is limited attention to random walk on edge and, more generally, on $k$-simplices. This paper systematically analyzes how random walk on different orders of simplicial complexes (SC) facilitates GNNs in their theoretical expressivity. First, on $0$-simplices or node level, we establish a connection between existing positional encoding (PE) and structure encoding (SE) methods through the bridge of random walk. Second, on $1$-simplices or edge level, we bridge edge-level random walk and Hodge $1$-Laplacians and design corresponding edge PE respectively. In the spatial domain, we directly make use of edge level random walk to construct EdgeRWSE. Based on the spectral analysis of Hodge $1$-Laplcians, we propose Hodge1Lap, a permutation equivariant and expressive edge-level positional encoding. Third, we generalize our theory to random walk on higher-order simplices and propose the general principle to design PE on simplices based on random walk and Hodge Laplacians. Inter-level random walk is also introduced to unify a wide range of simplicial networks. Extensive experiments verify the effectiveness of our random walk-based methods.
• Abstract（参考訳）: ノードレベルのランダムウォークは、グラフニューラルネットワークの改善に広く使用されている。 しかし、エッジ上のランダムウォークや、より一般的には$k$-simplicesへの注意は限定されている。 本稿では,Simplicial Complex (SC) の異なる順序でのランダムウォーキングが,GNNの理論的表現性をいかに促進するかを系統的に分析する。 まず、$0$-simplicesまたはnodeレベルにおいて、ランダムウォークのブリッジを介して既存の位置符号化(pe)と構造符号化(se)メソッドの接続を確立する。 第二に、単体またはエッジレベルでは、エッジレベルのランダムウォークとhodgeをそれぞれ1ドルのlaplacianと対応するedge peに橋渡しします。 空間領域では、エッジレベルのランダムウォークを直接利用してEdgeRWSEを構築する。 Hodge 1-Laplcians のスペクトル解析に基づいて、置換同変および表現的エッジレベルの位置符号化である Hodge1Lap を提案する。 第3に,本理論を高次簡素なランダムウォークに一般化し,ランダムウォークとホッジラプラシアンに基づく簡素なpeを設計する一般原理を提案する。 幅広い単純化されたネットワークを統一するために、レベル間ランダムウォークも導入されている。 ランダムウォーク法の有効性を検証する広範な実験を行った。

関連論文リスト

• Random unitaries in extremely low depth [0.8680580889074451]
  1D線を含む任意の幾何学上のランダム量子回路は、$log n$ 深さで$n$ qubits以上の近似ユニタリな設計をすることができることを証明している。 同様に、1D回路で擬似ランダムユニタリ(PRU)を$textpoly log n $ depthで、全接続回路で$textpoly log n $ depthで構築する。
  論文  参考訳（メタデータ） (2024-07-10T15:27:48Z)
• Efficient unitary designs and pseudorandom unitaries from permutations [35.66857288673615]
  実測値の最初の2Omega(n)$モーメントと無作為位相によるS(N)$置換の指数和が一致することを示す。 我々の証明の核心は、ランダム行列理論における大次元(大きな=N$)展開と方法の間の概念的接続である。
  論文  参考訳（メタデータ） (2024-04-25T17:08:34Z)
• Simple constructions of linear-depth t-designs and pseudorandom unitaries [40.72668922727092]
  一様ランダムなユニタリ、すなわちハール測度から引き出されたユニタリは、多くの有用な性質を持つが、効率的に実装することはできない。 $t-設計はハール測度の最初の$tモーメントを再現するランダムユニタリーであり、擬ランダムユニタリー(PRU)はハール測度と計算的に区別できないランダムユニタリーである。
  論文  参考訳（メタデータ） (2024-04-19T06:13:02Z)
• Designs from Local Random Quantum Circuits with SU(d) Symmetry [10.563048698227115]
  我々は、連続対称性の下で高次ユニタリな$k$-設計を達成できる明示的な局所ユニタリアンサンブルを初めて構築する。 具体的には、4-局所SU$(d)$-対称ハミルトニアンによって生成される畳み込み量子交互群(CQA)を定義する。 すべての$k n(n-3)/2$に対して、SU$(d)$-symmetric $k$-designs となり、$n$はクォーディットの数であることを示す。
  論文  参考訳（メタデータ） (2023-09-15T04:41:10Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
  本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。 そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
  論文  参考訳（メタデータ） (2023-03-06T14:31:09Z)
• A General Framework For Proving The Equivariant Strong Lottery Ticket Hypothesis [15.376680573592997]
  現代のニューラルネットワークは、単なる翻訳対称性以上のものを組み込むことができる。 我々は、Strong Lottery Ticket hypothesis (SLTH) を群$G$の作用を保存する関数に一般化する。 オーバーパラメータ化$textE(2)$-steerable CNNとメッセージパッシングGNNによって、我々の理論を証明します。
  論文  参考訳（メタデータ） (2022-06-09T04:40:18Z)
• Neural Inverse Kinematics [72.85330210991508]
  逆キネマティック(英語版)(IK)法は、キネマティックチェインにおける選択された要素の所望の位置から関節のパラメータを復元する。 本稿では,問題階層構造を用いて,所望の位置に条件付き有効関節角度を逐次サンプリングするニューラルIK法を提案する。
  論文  参考訳（メタデータ） (2022-05-22T14:44:07Z)
• Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
  単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。 単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
  論文  参考訳（メタデータ） (2021-10-28T14:59:41Z)
• Orthogonalizing Convolutional Layers with the Cayley Transform [83.73855414030646]
  直交に制約された畳み込み層をパラメータ化するための代替手法を提案し,評価する。 本手法は,大規模畳み込みにおいても直交性が高次に保たれることを示す。
  論文  参考訳（メタデータ） (2021-04-14T23:54:55Z)
• Patch-wise++ Perturbation for Adversarial Targeted Attacks [132.58673733817838]
  トランスファビリティの高い対比例の作成を目的としたパッチワイズ反復法(PIM)を提案する。 具体的には、各イテレーションのステップサイズに増幅係数を導入し、$epsilon$-constraintをオーバーフローする1ピクセルの全体的な勾配が、その周辺領域に適切に割り当てられる。 現在の攻撃方法と比較して、防御モデルでは35.9%、通常訓練されたモデルでは32.7%、成功率を大幅に向上させた。
  論文  参考訳（メタデータ） (2020-12-31T08:40:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。