論文の概要: Set Twister for Single-hop Node Classification

• arxiv url: http://arxiv.org/abs/2112.09752v1
• Date: Fri, 17 Dec 2021 20:27:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-23 07:12:25.837552
• Title: Set Twister for Single-hop Node Classification
• Title（参考訳）: シングルホップノード分類のためのset Twister
• Authors: Yangze Zhou, Vinayak Rao, Bruno Ribeiro
• Abstract要約: 本稿では、単純かつ広く使われている置換不変表現であるDeepSetsを一般化したSet Twisterを紹介する。 いくつかのタスクにおいて、DeepSets上でのSet Twisterの精度向上や、さまざまなグラフニューラルネットワークや集合推論スキームの精度向上が期待できる。
• 参考スコア（独自算出の注目度）: 6.143735952091508
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Node classification is a central task in relational learning, with the current state-of-the-art hinging on two key principles: (i) predictions are permutation-invariant to the ordering of a node's neighbors, and (ii) predictions are a function of the node's $r$-hop neighborhood topology and attributes, $r \geq 2$. Both graph neural networks and collective inference methods (e.g., belief propagation) rely on information from up to $r$-hops away. In this work, we study if the use of more powerful permutation-invariant functions can sometimes avoid the need for classifiers to collect information beyond $1$-hop. Towards this, we introduce a new architecture, the Set Twister, which generalizes DeepSets (Zaheer et al., 2017), a simple and widely-used permutation-invariant representation. Set Twister theoretically increases expressiveness of DeepSets, allowing it to capture higher-order dependencies, while keeping its simplicity and low computational cost. Empirically, we see accuracy improvements of Set Twister over DeepSets as well as a variety of graph neural networks and collective inference schemes in several tasks, while showcasing its implementation simplicity and computational efficiency.
• Abstract（参考訳）: ノード分類はリレーショナルラーニングにおける中心的なタスクであり、現在の最先端技術は2つの原則に基づいています。 (i)予測は、ノードの近傍の順序に置換不変であり、 (ii)予測は、ノードの$r$-hop近傍トポロジーと属性、$r \geq 2$の関数である。 グラフニューラルネットワークと集合的推論手法(例えば、信念伝播)はどちらも最大$r$-hopsの情報を頼りにしている。 本研究では,より強力な置換不変関数を用いることで,分類器が1ドル以上の情報を集める必要性を回避できるかどうかについて検討する。 そのために我々は、単純で広く使われている置換不変表現であるdeepsets(zaheer et al., 2017)を一般化した新しいアーキテクチャであるset twisterを紹介する。 Twisterは理論的にDeepSetsの表現性を高め、単純さと計算コストを低く保ちながら高階の依存関係をキャプチャできる。 実験的には、DeepSetsよりもSet Twisterの精度が向上し、さまざまなグラフニューラルネットワークや集合推論スキームがいくつかのタスクで実現され、その実装の単純さと計算効率が示されている。

関連論文リスト

• Multiscale Hodge Scattering Networks for Data Analysis [0.5243460995467895]
  我々は,simplicial Complex上で測定された信号に対する新しい散乱ネットワークを提案し,これをemphMultiscale Hodge Scattering Networks (MHSNs)と呼ぶ。 我々の構成は、単純複体上の多スケール基底辞書、すなわち $kappa$-GHWT と $kappa$-HGLET に基づいている。
  論文  参考訳（メタデータ） (2023-11-17T01:30:43Z)
• Discrete Graph Auto-Encoder [52.50288418639075]
  離散グラフオートエンコーダ(DGAE)という新しいフレームワークを導入する。 まず、置換同変オートエンコーダを用いてグラフを離散潜在ノード表現の集合に変換する。 2番目のステップでは、離散潜在表現の集合をソートし、特別に設計された自己回帰モデルを用いてそれらの分布を学習する。
  論文  参考訳（メタデータ） (2023-06-13T12:40:39Z)
• Graph Neural Networks with Adaptive Readouts [5.575293536755126]
  異なる領域とグラフ特性にまたがる40以上のデータセットに対して,ニューラルネットワークによる読み出しの有効性を示す。 我々は、近隣の集約数と異なる畳み込み演算子の数に対して、標準読み出しよりも一貫した改善を観察する。
  論文  参考訳（メタデータ） (2022-11-09T15:21:09Z)
• A General Framework For Proving The Equivariant Strong Lottery Ticket Hypothesis [15.376680573592997]
  現代のニューラルネットワークは、単なる翻訳対称性以上のものを組み込むことができる。 我々は、Strong Lottery Ticket hypothesis (SLTH) を群$G$の作用を保存する関数に一般化する。 オーバーパラメータ化$textE(2)$-steerable CNNとメッセージパッシングGNNによって、我々の理論を証明します。
  論文  参考訳（メタデータ） (2022-06-09T04:40:18Z)
• Going Deeper into Permutation-Sensitive Graph Neural Networks [6.685139672294716]
  置換群を経由した効率的な置換感応アグリゲーション機構を考案した。 我々は、我々のアプローチが2次元ワイスフェイラー・リーマン(英語版)(2-WL)グラフ同型テストよりも厳密に強力であることを証明した。
  論文  参考訳（メタデータ） (2022-05-28T08:22:10Z)
• Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning [63.97983530843762]
  グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。 GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。 より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。 本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
  論文  参考訳（メタデータ） (2020-08-31T23:15:40Z)
• Building powerful and equivariant graph neural networks with structural message-passing [74.93169425144755]
  本稿では,2つのアイデアに基づいた,強力かつ同変なメッセージパッシングフレームワークを提案する。 まず、各ノードの周囲の局所的コンテキスト行列を学習するために、特徴に加えてノードの1ホット符号化を伝搬する。 次に,メッセージのパラメトリゼーション手法を提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:15:16Z)
• Towards Deeper Graph Neural Networks with Differentiable Group Normalization [61.20639338417576]
  グラフニューラルネットワーク(GNN)は、隣接するノードを集約することでノードの表現を学習する。 オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスが制限される重要な問題のひとつです。 2つのオーバースムースなメトリクスと新しいテクニック、すなわち微分可能群正規化(DGN)を導入する。
  論文  参考訳（メタデータ） (2020-06-12T07:18:02Z)
• Learn to Predict Sets Using Feed-Forward Neural Networks [63.91494644881925]
  本稿では、ディープフィードフォワードニューラルネットワークを用いた設定予測の課題に対処する。 未知の置換と基数を持つ集合を予測するための新しい手法を提案する。 関連視覚問題に対する集合定式化の有効性を実証する。
  論文  参考訳（メタデータ） (2020-01-30T01:52:07Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。