論文の概要: Enhancing Mixup-Based Graph Learning for Language Processing via Hybrid Pooling

• arxiv url: http://arxiv.org/abs/2210.03123v1
• Date: Thu, 6 Oct 2022 14:37:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 13:06:45.059803
• Title: Enhancing Mixup-Based Graph Learning for Language Processing via Hybrid Pooling
• Title（参考訳）: ハイブリッドポーリングによる言語処理のための混合グラフ学習の強化
• Authors: Zeming Dong, Qiang Hu, Yuejun Guo, Maxime Cordy, Mike Papadakis, Yves Le Traon, and Jianjun Zhao
• Abstract要約: グラフニューラルネットワーク(GNN)は、最近、自然言語やプログラミング言語処理で人気がある。 本稿では,Mixupに基づくデータ拡張手法の有効性に対するグラフプーリング手法の影響について検討する。
• 参考スコア（独自算出の注目度）: 16.49710700412084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs) have recently been popular in natural language and programming language processing, particularly in text and source code classification. Graph pooling which processes node representation into the entire graph representation, which can be used for multiple downstream tasks, e.g., graph classification, is a crucial component of GNNs. Recently, to enhance graph learning, Manifold Mixup, a data augmentation strategy that mixes the graph data vector after the pooling layer, has been introduced. However, since there are a series of graph pooling methods, how they affect the effectiveness of such a Mixup approach is unclear. In this paper, we take the first step to explore the influence of graph pooling methods on the effectiveness of the Mixup-based data augmentation approach. Specifically, 9 types of hybrid pooling methods are considered in the study, e.g., $\mathcal{M}_{sum}(\mathcal{P}_{att},\mathcal{P}_{max})$. The experimental results on both natural language datasets (Gossipcop, Politifact) and programming language datasets (Java250, Python800) demonstrate that hybrid pooling methods are more suitable for Mixup than the standard max pooling and the state-of-the-art graph multiset transformer (GMT) pooling, in terms of metric accuracy and robustness.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は最近、自然言語やプログラミング言語処理、特にテキストやソースコードの分類で人気がある。 グラフ表現全体をノード表現として処理するグラフプーリング(グラフ分類など)は、GNNの重要なコンポーネントである。 近年,グラフ学習を強化するために,プーリング層後にグラフデータベクトルを混合するデータ拡張戦略である manifold mixup が導入された。 しかし、一連のグラフプーリング手法が存在するため、そのような混合アプローチの有効性にどのように影響するかは不明である。 本稿では,グラフプーリング手法がmixupベースのデータ拡張手法の有効性に与える影響を検討するための第一歩を踏み出す。 具体的には、9種類のハイブリッドプール法が研究において考慮されている。例えば、$\mathcal{M}_{sum}(\mathcal{P}_{att},\mathcal{P}_{max})$である。 自然言語データセット (Gossipcop, Politifact) とプログラミング言語データセット (Java250, Python800) の両方の実験結果から, ハイブリットプール法は標準の最大プール法や最先端のグラフマルチセットトランスフォーマー (GMT) よりも, 計量精度とロバストネスの観点から, ミックスアップに適していることが示された。

関連論文リスト

• SPGNN: Recognizing Salient Subgraph Patterns via Enhanced Graph Convolution and Pooling [25.555741218526464]
  グラフニューラルネットワーク(GNN)は、グラフやネットワークのような非ユークリッドデータ上での機械学習の分野に革命をもたらした。 本稿では,ノード表現をインジェクティブに更新する結合型グラフ畳み込み機構を提案する。 また,WL-SortPoolと呼ばれるグラフプーリングモジュールを設計し,重要なサブグラフパターンをディープラーニングで学習する。
  論文  参考訳（メタデータ） (2024-04-21T13:11:59Z)
• Co-attention Graph Pooling for Efficient Pairwise Graph Interaction Learning [19.58671020943416]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データからの処理と学習に有効であることが証明されている。 グラフプーリングにおけるコアテンションを用いた相互作用表現抽出のための,新しい,効率的なグラフレベルアプローチを提案する。 筆者らの手法であるCAGPool(Co-Attention Graph Pooling)は,従来の手法と比較して,分類処理と回帰処理の両面での競合性能を示す。
  論文  参考訳（メタデータ） (2023-07-28T07:53:34Z)
• Graph Mixup with Soft Alignments [49.61520432554505]
  本研究では,画像上での使用に成功しているミキサアップによるグラフデータの増大について検討する。 ソフトアライメントによるグラフ分類のための簡易かつ効果的な混合手法であるS-Mixupを提案する。
  論文  参考訳（メタデータ） (2023-06-11T22:04:28Z)
• Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit Diversity Modeling [60.0185734837814]
  グラフニューラルネットワーク(GNN)は、グラフデータからの学習に広く応用されている。 GNNの一般化能力を強化するため、グラフ強化のような技術を用いて、トレーニンググラフ構造を増強することが慣例となっている。 本研究では,GNNにMixture-of-Experts(MoE)の概念を導入する。
  論文  参考訳（メタデータ） (2023-04-06T01:09:36Z)
• Edge but not Least: Cross-View Graph Pooling [76.71497833616024]
  本稿では,重要なグラフ構造情報を活用するために,クロスビューグラフプーリング(Co-Pooling)手法を提案する。 クロスビュー相互作用、エッジビュープーリング、ノードビュープーリングにより、相互にシームレスに強化され、より情報的なグラフレベルの表現が学習される。
  論文  参考訳（メタデータ） (2021-09-24T08:01:23Z)
• Graph Pooling via Coarsened Graph Infomax [9.045707667111873]
  本稿では,各プーリング層の入力と粗いグラフ間の相互情報を最大化するために,粗いグラフプールインフォマキシング(cgi)を提案する。 相互情報ニューラルを実現するために,コントラスト学習を適用し,正負のサンプルを学習するための自己照査に基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-04T03:50:21Z)
• Accurate Learning of Graph Representations with Graph Multiset Pooling [45.72542969364438]
  本稿では,その構造的依存関係に応じてノード間の相互作用をキャプチャするグラフマルチセットトランス (GMT) を提案する。 実験の結果,GMTはグラフ分類ベンチマークにおいて,最先端のグラフプーリング法を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-02-23T07:45:58Z)
• Second-Order Pooling for Graph Neural Networks [62.13156203025818]
  グラフプーリングとして2次プールを提案するが、これは上記の課題を自然に解決する。 グラフニューラルネットワークによる2次プールの直接利用は、実用的な問題を引き起こすことを示す。 本稿では,2次プールに基づく2つの新しいグローバルグラフプーリング手法,すなわちバイリニアマッピングと2次プールを提案する。
  論文  参考訳（メタデータ） (2020-07-20T20:52:36Z)
• Multilevel Graph Matching Networks for Deep Graph Similarity Learning [79.3213351477689]
  グラフ構造オブジェクト間のグラフ類似性を計算するためのマルチレベルグラフマッチングネットワーク(MGMN)フレームワークを提案する。 標準ベンチマークデータセットの欠如を補うため、グラフグラフ分類とグラフグラフ回帰タスクの両方のためのデータセットセットを作成し、収集した。 総合的な実験により、MGMNはグラフグラフ分類とグラフグラフ回帰タスクの両方において、最先端のベースラインモデルより一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2020-07-08T19:48:19Z)
• Graph Pooling with Node Proximity for Hierarchical Representation Learning [80.62181998314547]
  本稿では,ノード近接を利用したグラフプーリング手法を提案し,そのマルチホップトポロジを用いたグラフデータの階層的表現学習を改善する。 その結果,提案したグラフプーリング戦略は,公開グラフ分類ベンチマークデータセットの集合において,最先端のパフォーマンスを達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-19T13:09:44Z)
• CoSimGNN: Towards Large-scale Graph Similarity Computation [5.17905821006887]
  グラフニューラルネットワーク(GNN)はこのタスクにデータ駆動型ソリューションを提供する。 既存のGNNベースの手法は、それぞれ2つのグラフを埋め込んだり、グラフ全体のクロスグラフインタラクションをデプロイしたりするが、まだ競合する結果が得られない。 このフレームワークは,まず適応的なプーリング操作で大きなグラフを埋め込んで粗くし,最後に類似点を求めるために粗いグラフにきめ細かな相互作用を展開させる。
  論文  参考訳（メタデータ） (2020-05-14T16:33:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。