論文の概要: Tackling Negative Transfer on Graphs

• arxiv url: http://arxiv.org/abs/2402.08907v1
• Date: Wed, 14 Feb 2024 02:46:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-15 17:10:28.578884
• Title: Tackling Negative Transfer on Graphs
• Title（参考訳）: グラフ上の負の転送に取り組む
• Authors: Zehong Wang, Zheyuan Zhang, Chuxu Zhang, Yanfang Ye
• Abstract要約: トランスファーラーニングは、他の関連するタスクから学んだ知識を活用して、ターゲットタスクでの学習を促進することを目的としている。 負の移動は、ソースとターゲットが密接に関連していないときに起こる。 本稿では,グラフ間でサブグラフレベルの知識を伝達する2つの効果的な方法,Subgraph Pooling(SP)とSubgraph Pooling++(SP++)を紹介する。
• 参考スコア（独自算出の注目度）: 42.20656109231714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transfer learning aims to boost the learning on the target task leveraging knowledge learned from other relevant tasks. However, when the source and target are not closely related, the learning performance may be adversely affected, a phenomenon known as negative transfer. In this paper, we investigate the negative transfer in graph transfer learning, which is important yet underexplored. We reveal that, unlike image or text, negative transfer commonly occurs in graph-structured data, even when source and target graphs share semantic similarities. Specifically, we identify that structural differences significantly amplify the dissimilarities in the node embeddings across graphs. To mitigate this, we bring a new insight: for semantically similar graphs, although structural differences lead to significant distribution shift in node embeddings, their impact on subgraph embeddings could be marginal. Building on this insight, we introduce two effective yet elegant methods, Subgraph Pooling (SP) and Subgraph Pooling++ (SP++), that transfer subgraph-level knowledge across graphs. We theoretically analyze the role of SP in reducing graph discrepancy and conduct extensive experiments to evaluate its superiority under various settings. Our code and datasets are available at: https://github.com/Zehong-Wang/Subgraph-Pooling.
• Abstract（参考訳）: トランスファーラーニングは、他の関連するタスクから学んだ知識を活用することを目的としている。 しかし、ソースとターゲットが密接に関連していない場合、学習性能に悪影響を及ぼす可能性がある。 本稿では,グラフ転送学習における負の伝達について検討する。 画像やテキストと異なり、ソースとターゲットのグラフが意味的類似性を共有している場合でも、負の転送はグラフ構造データで一般的に発生する。 具体的には,構造的差異がグラフ間のノード埋め込みの相違を著しく増幅することを示す。 意味的に類似したグラフに対して、構造的な違いはノードの埋め込みにおいて大きな分布シフトをもたらすが、サブグラフの埋め込みへの影響はわずかである。 この知見に基づいて,グラフにまたがるサブグラフレベルの知識を伝達するsubgraph pooling (sp) と subgraph pooling++ (sp++) という2つの効果的かつエレガントな手法を導入する。 グラフの差分低減におけるSPの役割を理論的に解析し,様々な条件下でその優位性を評価するための広範な実験を行う。 私たちのコードとデータセットは、https://github.com/zehong-wang/subgraph-poolingで利用可能です。

関連論文リスト

• SPGNN: Recognizing Salient Subgraph Patterns via Enhanced Graph Convolution and Pooling [25.555741218526464]
  グラフニューラルネットワーク(GNN)は、グラフやネットワークのような非ユークリッドデータ上での機械学習の分野に革命をもたらした。 本稿では,ノード表現をインジェクティブに更新する結合型グラフ畳み込み機構を提案する。 また,WL-SortPoolと呼ばれるグラフプーリングモジュールを設計し,重要なサブグラフパターンをディープラーニングで学習する。
  論文  参考訳（メタデータ） (2024-04-21T13:11:59Z)
• Subgraph Networks Based Contrastive Learning [5.736011243152416]
  グラフコントラスト学習(GCL)は、注釈付きデータ不足の問題を解決する。 既存のGCL手法の多くは、グラフ拡張戦略や相互情報推定操作の設計に重点を置いている。 サブグラフネットワークに基づくコントラスト学習(SGNCL)という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-06T08:52:44Z)
• Capturing Fine-grained Semantics in Contrastive Graph Representation Learning [23.861016307326146]
  グラフコントラスト学習(Graph contrastive learning)は、類似のインスタンスを閉じて、異種インスタンスをプッシュするコントラストタスクを定義する。 グラフコントラスト学習の既存の方法は、グラフに存在する多様な意味論の違いを無視している。 本稿では, グラフコントラスト学習法(FSGCL)を提案する。
  論文  参考訳（メタデータ） (2023-04-23T14:05:05Z)
• Stochastic Subgraph Neighborhood Pooling for Subgraph Classification [2.1270496914042996]
  Subgraph Neighborhood Pooling (SSNP) は、ラベル付けトリックのような計算コストの高い操作をすることなく、サブグラフとその周辺情報を共同で集約する。 実験により、我々のモデルは、トレーニングにおいて最大3倍高速でありながら、最先端の手法(マージンが最大2%)より優れています。
  論文  参考訳（メタデータ） (2023-04-17T18:49:18Z)
• You Only Transfer What You Share: Intersection-Induced Graph Transfer Learning for Link Prediction [79.15394378571132]
  従来見過ごされていた現象を調査し、多くの場合、元のグラフに対して密に連結された補グラフを見つけることができる。 より密度の高いグラフは、選択的で有意義な知識を伝達するための自然なブリッジを提供する元のグラフとノードを共有することができる。 この設定をグラフインターセクション誘導トランスファーラーニング(GITL)とみなし,eコマースや学術共同オーサシップ予測の実践的応用に動機づけられた。
  論文  参考訳（メタデータ） (2023-02-27T22:56:06Z)
• Rethinking Explaining Graph Neural Networks via Non-parametric Subgraph Matching [68.35685422301613]
  そこで我々はMatchExplainerと呼ばれる新しい非パラメトリックな部分グラフマッチングフレームワークを提案し、説明的部分グラフを探索する。 ターゲットグラフと他のインスタンスを結合し、ノードに対応する距離を最小化することで最も重要な結合部分構造を識別する。 合成および実世界のデータセットの実験は、最先端のパラメトリックベースラインをかなりのマージンで上回り、MatchExplainerの有効性を示す。
  論文  参考訳（メタデータ） (2023-01-07T05:14:45Z)
• DOTIN: Dropping Task-Irrelevant Nodes for GNNs [119.17997089267124]
  最近のグラフ学習アプローチでは、学習のためのグラフのサイズを減らすためのプール戦略が導入されている。 我々はDOTIN(underlineDrunderlineopping underlineTask-underlineIrrelevant underlineNodes)と呼ばれる新しいアプローチを設計し、グラフのサイズを減らす。 本手法は,グラフ分類やグラフ編集距離を含むグラフレベルのタスクにおいて,GATを約50%高速化する。
  論文  参考訳（メタデータ） (2022-04-28T12:00:39Z)
• Deconfounded Training for Graph Neural Networks [98.06386851685645]
  本稿では, コンバウンディング効果を緩和し, 臨界情報に対するラッチを緩和する新しいDecon Training(DTP)のパラダイムを提案する。 具体的には、注意モジュールを用いて臨界部分グラフと自明部分グラフをアンタングル化する。 これにより、GNNは、ラベルとの関係が複数のディストリビューションで堅牢である、より信頼性の高いサブグラフをキャプチャできる。
  論文  参考訳（メタデータ） (2021-12-30T15:22:35Z)
• Scalable Graph Neural Networks for Heterogeneous Graphs [12.44278942365518]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを学習するためのパラメトリックモデルの一般的なクラスである。 最近の研究は、GNNが主に機能をスムースにするためにグラフを使用しており、ベンチマークタスクで競合する結果を示していると主張している。 本研究では、これらの結果が異種グラフに拡張可能かどうかを問うとともに、異なるエンティティ間の複数のタイプの関係を符号化する。
  論文  参考訳（メタデータ） (2020-11-19T06:03:35Z)
• Inverse Graph Identification: Can We Identify Node Labels Given Graph Labels? [89.13567439679709]
  グラフ識別(GI)は、グラフ学習において長い間研究されており、特定の応用において不可欠である。 本稿では,逆グラフ識別(Inverse Graph Identification, IGI)と呼ばれる新しい問題を定義する。 本稿では,グラフアテンションネットワーク(GAT)を用いたノードレベルのメッセージパッシング処理を,GIのプロトコルの下でシンプルかつ効果的に行う方法を提案する。
  論文  参考訳（メタデータ） (2020-07-12T12:06:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。