論文の概要: Unitary convolutions for learning on graphs and groups

• arxiv url: http://arxiv.org/abs/2410.05499v1
• Date: Mon, 7 Oct 2024 21:09:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 18:18:05.013472
• Title: Unitary convolutions for learning on graphs and groups
• Title（参考訳）: グラフと群に関する学習のためのユニタリ畳み込み
• Authors: Bobak T. Kiani, Lukas Fesser, Melanie Weber,
• Abstract要約: 我々は、訓練中により安定したより深いネットワークを可能にするユニタリグループ畳み込みについて研究する。 論文の主な焦点はグラフニューラルネットワークであり、ユニタリグラフの畳み込みがオーバー・スムーシングを確実に回避していることを示す。 実験結果から,ベンチマークデータセット上でのユニタリグラフ畳み込みネットワークの競合性能が確認できた。
• 参考スコア（独自算出の注目度）: 0.9899763598214121
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data with geometric structure is ubiquitous in machine learning often arising from fundamental symmetries in a domain, such as permutation-invariance in graphs and translation-invariance in images. Group-convolutional architectures, which encode symmetries as inductive bias, have shown great success in applications, but can suffer from instabilities as their depth increases and often struggle to learn long range dependencies in data. For instance, graph neural networks experience instability due to the convergence of node representations (over-smoothing), which can occur after only a few iterations of message-passing, reducing their effectiveness in downstream tasks. Here, we propose and study unitary group convolutions, which allow for deeper networks that are more stable during training. The main focus of the paper are graph neural networks, where we show that unitary graph convolutions provably avoid over-smoothing. Our experimental results confirm that unitary graph convolutional networks achieve competitive performance on benchmark datasets compared to state-of-the-art graph neural networks. We complement our analysis of the graph domain with the study of general unitary convolutions and analyze their role in enhancing stability in general group convolutional architectures.
• Abstract（参考訳）: 幾何学構造を持つデータは、グラフの置換不変性や画像の翻訳不変性といった領域の基本対称性から生じる機械学習においてユビキタスである。 群畳み込みアーキテクチャは、対称性を帰納バイアス(inductive bias)としてエンコードしているが、アプリケーションでは大きな成功を収めている。 例えば、グラフニューラルネットワークはノード表現(オーバー・スムース)の収束によって不安定さを経験する。 ここでは、訓練中により安定したより深いネットワークを可能にするユニタリグループ畳み込みを提案し、研究する。 論文の主な焦点はグラフニューラルネットワークであり、ユニタリグラフの畳み込みがオーバー・スムーシングを確実に回避していることを示す。 実験により,一元グラフ畳み込みネットワークは,最先端のグラフニューラルネットワークと比較して,ベンチマークデータセット上での競合性能を実現することを確認した。 グラフ領域の解析と一般ユニタリ畳み込みの研究を補完し、一般群畳み込みアーキテクチャにおける安定性向上におけるそれらの役割を分析する。

関連論文リスト

• What Improves the Generalization of Graph Transformers? A Theoretical Dive into the Self-attention and Positional Encoding [67.59552859593985]
  自己アテンションと位置エンコーディングを組み込んだグラフトランスフォーマーは、さまざまなグラフ学習タスクのための強力なアーキテクチャとして登場した。 本稿では,半教師付き分類のための浅いグラフ変換器の理論的検討について紹介する。
  論文  参考訳（メタデータ） (2024-06-04T05:30:16Z)
• Formal Verification of Graph Convolutional Networks with Uncertain Node Features and Uncertain Graph Structure [7.133681867718039]
  グラフニューラルネットワークは、機械学習の分野でますます人気が高まっている。 これらは、摂動が本質的に起こる安全クリティカルな環境に適用されている。 本研究は、基礎となる計算におけるすべての要素の依存関係を保存することによって、非通過ギャップに対処する。
  論文  参考訳（メタデータ） (2024-04-23T14:12:48Z)
• Homophily modulates double descent generalization in graph convolution networks [33.703222768801574]
  グラフノイズ,特徴雑音,トレーニングラベル数との相互作用によって,リスクがどのように形成されるかを示す。 我々は解析的洞察を用いて、異種データセット上での最先端グラフ畳み込みネットワークの性能を向上させる。
  論文  参考訳（メタデータ） (2022-12-26T09:57:09Z)
• Towards Relation-centered Pooling and Convolution for Heterogeneous Graph Learning Networks [11.421162988355146]
  不均一グラフニューラルネットワークは,グラフ表現学習において大きな可能性を秘めている。 我々は,PC-HGNという異種グラフ学習ネットワークのための関係中心のPooling and Convolutionを設計し,関係固有サンプリングと相互関係の畳み込みを実現する。 実世界の3つのデータセットにおける最先端グラフ学習モデルとの比較により,提案モデルの性能評価を行った。
  論文  参考訳（メタデータ） (2022-10-31T08:43:32Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• Graph Kernel Neural Networks [53.91024360329517]
  本稿では、グラフ上の内部積を計算するカーネル関数であるグラフカーネルを用いて、標準畳み込み演算子をグラフ領域に拡張することを提案する。 これにより、入力グラフの埋め込みを計算する必要のない完全に構造的なモデルを定義することができる。 私たちのアーキテクチャでは,任意の種類のグラフカーネルをプラグインすることが可能です。
  論文  参考訳（メタデータ） (2021-12-14T14:48:08Z)
• Multilayer Clustered Graph Learning [66.94201299553336]
  我々は、観測された層を代表グラフに適切に集約するために、データ忠実度用語として対照的な損失を用いる。 実験により,本手法がクラスタクラスタw.r.tに繋がることが示された。 クラスタリング問題を解くためのクラスタリングアルゴリズムを学習する。
  論文  参考訳（メタデータ） (2020-10-29T09:58:02Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• Geometrically Principled Connections in Graph Neural Networks [66.51286736506658]
  我々は、幾何学的深層学習の新興分野におけるイノベーションの原動力は、幾何が依然として主要な推進力であるべきだと論じている。 グラフニューラルネットワークとコンピュータグラフィックスとデータ近似モデルとの関係:放射基底関数(RBF) 完全連結層とグラフ畳み込み演算子を組み合わせた新しいビルディングブロックであるアフィンスキップ接続を導入する。
  論文  参考訳（メタデータ） (2020-04-06T13:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。