論文の概要: On the Effectiveness of Hybrid Pooling in Mixup-Based Graph Learning for Language Processing
- arxiv url: http://arxiv.org/abs/2210.03123v3
- Date: Wed, 22 May 2024 02:00:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-26 21:51:50.634597
- Title: On the Effectiveness of Hybrid Pooling in Mixup-Based Graph Learning for Language Processing
- Title（参考訳）: 混合グラフ学習におけるハイブリッドポーリングの有効性について
- Authors: Zeming Dong, Qiang Hu, Zhenya Zhang, Yuejun Guo, Maxime Cordy, Mike Papadakis, Yves Le Traon, Jianjun Zhao,
- Abstract要約: グラフニューラルネットワーク(GNN)ベースのグラフ学習は、自然言語やプログラミング言語処理で人気がある。
近年,グラフ学習タスクにおいてGNNを強化するために,Manifold-Mixupが広く採用されている。
本稿では,グラフプーリング演算子がMixupに基づくグラフ学習の性能に与える影響について検討する。
- 参考スコア（独自算出の注目度）: 20.812886172494082
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph neural network (GNN)-based graph learning has been popular in natural language and programming language processing, particularly in text and source code classification. Typically, GNNs are constructed by incorporating alternating layers which learn transformations of graph node features, along with graph pooling layers that use graph pooling operators (e.g., Max-pooling) to effectively reduce the number of nodes while preserving the semantic information of the graph. Recently, to enhance GNNs in graph learning tasks, Manifold-Mixup, a data augmentation technique that produces synthetic graph data by linearly mixing a pair of graph data and their labels, has been widely adopted. However, the performance of Manifold-Mixup can be highly affected by graph pooling operators, and there have not been many studies that are dedicated to uncovering such affection. To bridge this gap, we take an early step to explore how graph pooling operators affect the performance of Mixup-based graph learning. To that end, we conduct a comprehensive empirical study by applying Manifold-Mixup to a formal characterization of graph pooling based on 11 graph pooling operations (9 hybrid pooling operators, 2 non-hybrid pooling operators). The experimental results on both natural language datasets (Gossipcop, Politifact) and programming language datasets (JAVA250, Python800) demonstrate that hybrid pooling operators are more effective for Manifold-Mixup than the standard Max-pooling and the state-of-the-art graph multiset transformer (GMT) pooling, in terms of producing more accurate and robust GNN models.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)ベースのグラフ学習は、自然言語やプログラミング言語処理、特にテキストやソースコードの分類において人気がある。
通常、GNNはグラフノードの特徴の変換を学習する交互層と、グラフプーリング演算子(例えばMax-pooling)を使用してグラフの意味情報を保存しながらノード数を効果的に削減するグラフプーリング層を組み込むことで構築される。
近年,グラフ学習タスクにおけるGNNを強化すべく,グラフデータとラベルを線形に混合して合成グラフデータを生成するデータ拡張技術であるManifold-Mixupが広く採用されている。
しかし、マニフォールド・ミクスアップの性能はグラフプーリング演算子の影響を強く受けており、そのような愛情を明らかにするための研究は多くない。
このギャップを埋めるために、我々は、グラフプーリングオペレータがMixupベースのグラフ学習のパフォーマンスにどのように影響するかを調査する初期段階を取ります。
そこで我々は,11個のグラフプーリング演算(ハイブリッドプール演算子9個,非ハイブリッドプール演算子2個)に基づくグラフプーリングの形式的特徴付けにManifold-Mixupを適用することで,総合的な実証的研究を行う。
自然言語データセット(Gossipcop, Politifact, Python800)とプログラミング言語データセット(JAVA250, Python800)の実験結果から, ハイブリッドプール演算子は, 標準のMax-poolingや最先端のグラフマルチセット変換器(GMT)よりも, より正確でロバストなGNNモデルの生成に有効であることが示された。
関連論文リスト
- SPGNN: Recognizing Salient Subgraph Patterns via Enhanced Graph Convolution and Pooling [25.555741218526464]
グラフニューラルネットワーク(GNN)は、グラフやネットワークのような非ユークリッドデータ上での機械学習の分野に革命をもたらした。
本稿では,ノード表現をインジェクティブに更新する結合型グラフ畳み込み機構を提案する。
また,WL-SortPoolと呼ばれるグラフプーリングモジュールを設計し,重要なサブグラフパターンをディープラーニングで学習する。
論文 参考訳（メタデータ） (2024-04-21T13:11:59Z) - Co-attention Graph Pooling for Efficient Pairwise Graph Interaction
Learning [19.58671020943416]
グラフニューラルネットワーク(GNN)は、グラフ構造化データからの処理と学習に有効であることが証明されている。
グラフプーリングにおけるコアテンションを用いた相互作用表現抽出のための,新しい,効率的なグラフレベルアプローチを提案する。
筆者らの手法であるCAGPool(Co-Attention Graph Pooling)は,従来の手法と比較して,分類処理と回帰処理の両面での競合性能を示す。
論文 参考訳（メタデータ） (2023-07-28T07:53:34Z) - Graph Mixup with Soft Alignments [49.61520432554505]
本研究では,画像上での使用に成功しているミキサアップによるグラフデータの増大について検討する。
ソフトアライメントによるグラフ分類のための簡易かつ効果的な混合手法であるS-Mixupを提案する。
論文 参考訳（メタデータ） (2023-06-11T22:04:28Z) - Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit
Diversity Modeling [60.0185734837814]
グラフニューラルネットワーク(GNN)は、グラフデータからの学習に広く応用されている。
GNNの一般化能力を強化するため、グラフ強化のような技術を用いて、トレーニンググラフ構造を増強することが慣例となっている。
本研究では,GNNにMixture-of-Experts(MoE)の概念を導入する。
論文 参考訳（メタデータ） (2023-04-06T01:09:36Z) - Edge but not Least: Cross-View Graph Pooling [76.71497833616024]
本稿では,重要なグラフ構造情報を活用するために,クロスビューグラフプーリング(Co-Pooling)手法を提案する。
クロスビュー相互作用、エッジビュープーリング、ノードビュープーリングにより、相互にシームレスに強化され、より情報的なグラフレベルの表現が学習される。
論文 参考訳（メタデータ） (2021-09-24T08:01:23Z) - Graph Pooling via Coarsened Graph Infomax [9.045707667111873]
本稿では,各プーリング層の入力と粗いグラフ間の相互情報を最大化するために,粗いグラフプールインフォマキシング(cgi)を提案する。
相互情報ニューラルを実現するために,コントラスト学習を適用し,正負のサンプルを学習するための自己照査に基づくアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-05-04T03:50:21Z) - Accurate Learning of Graph Representations with Graph Multiset Pooling [45.72542969364438]
本稿では,その構造的依存関係に応じてノード間の相互作用をキャプチャするグラフマルチセットトランス (GMT) を提案する。
実験の結果,GMTはグラフ分類ベンチマークにおいて,最先端のグラフプーリング法を著しく上回っていることがわかった。
論文 参考訳（メタデータ） (2021-02-23T07:45:58Z) - Second-Order Pooling for Graph Neural Networks [62.13156203025818]
グラフプーリングとして2次プールを提案するが、これは上記の課題を自然に解決する。
グラフニューラルネットワークによる2次プールの直接利用は、実用的な問題を引き起こすことを示す。
本稿では,2次プールに基づく2つの新しいグローバルグラフプーリング手法,すなわちバイリニアマッピングと2次プールを提案する。
論文 参考訳（メタデータ） (2020-07-20T20:52:36Z) - Multilevel Graph Matching Networks for Deep Graph Similarity Learning [79.3213351477689]
グラフ構造オブジェクト間のグラフ類似性を計算するためのマルチレベルグラフマッチングネットワーク(MGMN)フレームワークを提案する。
標準ベンチマークデータセットの欠如を補うため、グラフグラフ分類とグラフグラフ回帰タスクの両方のためのデータセットセットを作成し、収集した。
総合的な実験により、MGMNはグラフグラフ分類とグラフグラフ回帰タスクの両方において、最先端のベースラインモデルより一貫して優れていることが示された。
論文 参考訳（メタデータ） (2020-07-08T19:48:19Z) - Graph Pooling with Node Proximity for Hierarchical Representation
Learning [80.62181998314547]
本稿では,ノード近接を利用したグラフプーリング手法を提案し,そのマルチホップトポロジを用いたグラフデータの階層的表現学習を改善する。
その結果,提案したグラフプーリング戦略は,公開グラフ分類ベンチマークデータセットの集合において,最先端のパフォーマンスを達成できることが示唆された。
論文 参考訳（メタデータ） (2020-06-19T13:09:44Z) - CoSimGNN: Towards Large-scale Graph Similarity Computation [5.17905821006887]
グラフニューラルネットワーク(GNN)はこのタスクにデータ駆動型ソリューションを提供する。
既存のGNNベースの手法は、それぞれ2つのグラフを埋め込んだり、グラフ全体のクロスグラフインタラクションをデプロイしたりするが、まだ競合する結果が得られない。
このフレームワークは,まず適応的なプーリング操作で大きなグラフを埋め込んで粗くし,最後に類似点を求めるために粗いグラフにきめ細かな相互作用を展開させる。
論文 参考訳（メタデータ） (2020-05-14T16:33:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。