論文の概要: Tackling Negative Transfer on Graphs
- arxiv url: http://arxiv.org/abs/2402.08907v1
- Date: Wed, 14 Feb 2024 02:46:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-15 17:10:28.578884
- Title: Tackling Negative Transfer on Graphs
- Title(参考訳): グラフ上の負の転送に取り組む
- Authors: Zehong Wang, Zheyuan Zhang, Chuxu Zhang, Yanfang Ye
- Abstract要約: トランスファーラーニングは、他の関連するタスクから学んだ知識を活用して、ターゲットタスクでの学習を促進することを目的としている。
負の移動は、ソースとターゲットが密接に関連していないときに起こる。
本稿では,グラフ間でサブグラフレベルの知識を伝達する2つの効果的な方法,Subgraph Pooling(SP)とSubgraph Pooling++(SP++)を紹介する。
- 参考スコア(独自算出の注目度): 42.20656109231714
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transfer learning aims to boost the learning on the target task leveraging
knowledge learned from other relevant tasks. However, when the source and
target are not closely related, the learning performance may be adversely
affected, a phenomenon known as negative transfer. In this paper, we
investigate the negative transfer in graph transfer learning, which is
important yet underexplored. We reveal that, unlike image or text, negative
transfer commonly occurs in graph-structured data, even when source and target
graphs share semantic similarities. Specifically, we identify that structural
differences significantly amplify the dissimilarities in the node embeddings
across graphs. To mitigate this, we bring a new insight: for semantically
similar graphs, although structural differences lead to significant
distribution shift in node embeddings, their impact on subgraph embeddings
could be marginal. Building on this insight, we introduce two effective yet
elegant methods, Subgraph Pooling (SP) and Subgraph Pooling++ (SP++), that
transfer subgraph-level knowledge across graphs. We theoretically analyze the
role of SP in reducing graph discrepancy and conduct extensive experiments to
evaluate its superiority under various settings. Our code and datasets are
available at: https://github.com/Zehong-Wang/Subgraph-Pooling.
- Abstract(参考訳): トランスファーラーニングは、他の関連するタスクから学んだ知識を活用することを目的としている。
しかし、ソースとターゲットが密接に関連していない場合、学習性能に悪影響を及ぼす可能性がある。
本稿では,グラフ転送学習における負の伝達について検討する。
画像やテキストと異なり、ソースとターゲットのグラフが意味的類似性を共有している場合でも、負の転送はグラフ構造データで一般的に発生する。
具体的には,構造的差異がグラフ間のノード埋め込みの相違を著しく増幅することを示す。
意味的に類似したグラフに対して、構造的な違いはノードの埋め込みにおいて大きな分布シフトをもたらすが、サブグラフの埋め込みへの影響はわずかである。
この知見に基づいて,グラフにまたがるサブグラフレベルの知識を伝達するsubgraph pooling (sp) と subgraph pooling++ (sp++) という2つの効果的かつエレガントな手法を導入する。
グラフの差分低減におけるSPの役割を理論的に解析し,様々な条件下でその優位性を評価するための広範な実験を行う。
私たちのコードとデータセットは、https://github.com/zehong-wang/subgraph-poolingで利用可能です。
関連論文リスト
- Subgraph Networks Based Contrastive Learning [4.322746189197653]
グラフコントラスト学習(GCL)は、注釈付きデータ不足の問題を解決する。
既存のGCL手法の多くは、グラフ拡張戦略や相互情報推定操作の設計に重点を置いている。
サブグラフネットワークに基づくコントラスト学習(SGNCL)という新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-06T08:52:44Z) - Capturing Fine-grained Semantics in Contrastive Graph Representation
Learning [23.861016307326146]
グラフコントラスト学習(Graph contrastive learning)は、類似のインスタンスを閉じて、異種インスタンスをプッシュするコントラストタスクを定義する。
グラフコントラスト学習の既存の方法は、グラフに存在する多様な意味論の違いを無視している。
本稿では, グラフコントラスト学習法(FSGCL)を提案する。
論文 参考訳(メタデータ) (2023-04-23T14:05:05Z) - You Only Transfer What You Share: Intersection-Induced Graph Transfer
Learning for Link Prediction [79.15394378571132]
従来見過ごされていた現象を調査し、多くの場合、元のグラフに対して密に連結された補グラフを見つけることができる。
より密度の高いグラフは、選択的で有意義な知識を伝達するための自然なブリッジを提供する元のグラフとノードを共有することができる。
この設定をグラフインターセクション誘導トランスファーラーニング(GITL)とみなし,eコマースや学術共同オーサシップ予測の実践的応用に動機づけられた。
論文 参考訳(メタデータ) (2023-02-27T22:56:06Z) - Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。
近年の研究では、グラフ表現学習における事前学習の有用性が示されている。
本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
論文 参考訳(メタデータ) (2023-02-06T16:26:29Z) - Graph Self-supervised Learning with Accurate Discrepancy Learning [64.69095775258164]
離散性に基づく自己監督型LeArning(D-SLA)と呼ばれる原図と摂動グラフの正確な相違を学習することを目的としたフレームワークを提案する。
本稿では,分子特性予測,タンパク質機能予測,リンク予測タスクなど,グラフ関連下流タスクにおける本手法の有効性を検証する。
論文 参考訳(メタデータ) (2022-02-07T08:04:59Z) - Deconfounded Training for Graph Neural Networks [98.06386851685645]
本稿では, コンバウンディング効果を緩和し, 臨界情報に対するラッチを緩和する新しいDecon Training(DTP)のパラダイムを提案する。
具体的には、注意モジュールを用いて臨界部分グラフと自明部分グラフをアンタングル化する。
これにより、GNNは、ラベルとの関係が複数のディストリビューションで堅牢である、より信頼性の高いサブグラフをキャプチャできる。
論文 参考訳(メタデータ) (2021-12-30T15:22:35Z) - Unbiased Graph Embedding with Biased Graph Observations [52.82841737832561]
基礎となるバイアスのないグラフから学習することで、バイアスのない表現を得るための、原則化された新しい方法を提案する。
この新たな視点に基づいて、そのような基礎となるグラフを明らかにするための2つの補完的手法を提案する。
論文 参考訳(メタデータ) (2021-10-26T18:44:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。