論文の概要: TouchUp-G: Improving Feature Representation through Graph-Centric
Finetuning
- arxiv url: http://arxiv.org/abs/2309.13885v1
- Date: Mon, 25 Sep 2023 05:44:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-26 17:04:38.663901
- Title: TouchUp-G: Improving Feature Representation through Graph-Centric
Finetuning
- Title（参考訳）: TouchUp-G: グラフ中心ファインタニングによる特徴表現の改善
- Authors: Jing Zhu, Xiang Song, Vassilis N. Ioannidis, Danai Koutra, Christos
Faloutsos
- Abstract要約: グラフニューラルネットワーク(GNN)は、多くのハイインパクトな実世界のグラフアプリケーションにおいて最先端のアプローチとなっている。
機能豊富なグラフでは、PMを直接利用して機能を生成するのが一般的である。
PMから抽出されたノード特徴がグラフに依存しず、GNNがグラフ構造とノード特徴の間の潜在的な相関を十分に活用できないため、このプラクティスは準最適である。
- 参考スコア（独自算出の注目度）: 37.318961625795204
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: How can we enhance the node features acquired from Pretrained Models (PMs) to
better suit downstream graph learning tasks? Graph Neural Networks (GNNs) have
become the state-of-the-art approach for many high-impact, real-world graph
applications. For feature-rich graphs, a prevalent practice involves utilizing
a PM directly to generate features, without incorporating any domain adaptation
techniques. Nevertheless, this practice is suboptimal because the node features
extracted from PM are graph-agnostic and prevent GNNs from fully utilizing the
potential correlations between the graph structure and node features, leading
to a decline in GNNs performance. In this work, we seek to improve the node
features obtained from a PM for downstream graph tasks and introduce TOUCHUP-G,
which has several advantages. It is (a) General: applicable to any downstream
graph task, including link prediction which is often employed in recommender
systems; (b) Multi-modal: able to improve raw features of any modality (e.g.
images, texts, audio); (c) Principled: it is closely related to a novel metric,
feature homophily, which we propose to quantify the potential correlations
between the graph structure and node features and we show that TOUCHUP-G can
effectively shrink the discrepancy between the graph structure and node
features; (d) Effective: achieving state-of-the-art results on four real-world
datasets spanning different tasks and modalities.
- Abstract（参考訳）: ダウンストリームグラフ学習タスクに適合するために、事前訓練モデル(PM)から取得したノード機能をどのように拡張すればよいか?
グラフニューラルネットワーク(GNN)は、多くの高度な実世界のグラフアプリケーションにとって最先端のアプローチとなっている。
機能豊富なグラフの場合、一般的なプラクティスはpmを直接利用して、ドメイン適応テクニックを組み込むことなく、機能を生成することである。
しかしながら、PMから抽出されたノード特徴がグラフに依存しず、GNNがグラフ構造とノード特徴の潜在的な相関を完全に活用することを防ぐため、このプラクティスは最適ではない。
本研究では、下流グラフタスクのPMから得られるノード機能を改善し、いくつかの利点を持つTOUCHUP-Gを導入する。
それは
(a) 一般: 推奨システムでよく使用されるリンク予測を含む、ダウンストリームグラフタスクに適用可能なもの
(b)マルチモーダル:任意のモダリティ(画像、テキスト、音声など)の生機能を改善することができる。
(c) 原理: グラフ構造とノード特徴の間の潜在的な相関を定量化するために提案する特徴ホモフィリーという新しい計量と密接に関連しており、TOUCHUP-Gがグラフ構造とノード特徴との差を効果的に縮小できることを示す。
(d)効果的:異なるタスクとモダリティにまたがる4つの実世界のデータセットで最先端の結果を得る。
関連論文リスト
- A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。
我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。
GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文 参考訳（メタデータ） (2024-06-19T22:30:08Z) - Efficient Topology-aware Data Augmentation for High-Degree Graph Neural Networks [2.7523980737007414]
高次グラフ(HDG)上のグラフニューラルネットワーク(GNN)のための効率的かつ効果的なフロントマウントデータ拡張フレームワークであるTADを提案する。
内部では、(i)構造埋め込みによる機能拡張と(ii)トポロジと属性対応グラフのスパース化という、2つの重要なモジュールが含まれている。
TADAは、ノード分類の観点から8つの実ホモ親和性/ヘテロ親和性HDG上でのメインストリームGNNモデルの予測性能を大幅に改善する。
論文 参考訳（メタデータ） (2024-06-08T14:14:19Z) - Self-Attention Empowered Graph Convolutional Network for Structure
Learning and Node Embedding [5.164875580197953]
グラフ構造化データの表現学習では、多くの人気のあるグラフニューラルネットワーク(GNN)が長距離依存をキャプチャできない。
本稿では,自己注意型グラフ畳み込みネットワーク(GCN-SA)と呼ばれる新しいグラフ学習フレームワークを提案する。
提案手法はノードレベルの表現学習において例外的な一般化能力を示す。
論文 参考訳（メタデータ） (2024-03-06T05:00:31Z) - HetGPT: Harnessing the Power of Prompt Tuning in Pre-Trained
Heterogeneous Graph Neural Networks [24.435068514392487]
HetGPTは、グラフニューラルネットワークのトレーニング後プロンプトフレームワークである。
半教師付きノード分類における最先端HGNNの性能を向上させる。
論文 参考訳（メタデータ） (2023-10-23T19:35:57Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳（メタデータ） (2023-08-03T07:00:04Z) - MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。
我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
論文 参考訳（メタデータ） (2022-08-21T15:12:08Z) - Discovering the Representation Bottleneck of Graph Neural Networks from
Multi-order Interactions [51.597480162777074]
グラフニューラルネットワーク(GNN)は、ノード機能を伝搬し、インタラクションを構築するためにメッセージパッシングパラダイムに依存している。
最近の研究は、異なるグラフ学習タスクはノード間の異なる範囲の相互作用を必要とすることを指摘している。
科学領域における2つの共通グラフ構築法、すなわち、emphK-nearest neighbor(KNN)グラフとemphfully-connected(FC)グラフについて検討する。
論文 参考訳（メタデータ） (2022-05-15T11:38:14Z) - Scalable Graph Neural Networks for Heterogeneous Graphs [12.44278942365518]
グラフニューラルネットワーク(GNN)は、グラフ構造化データを学習するためのパラメトリックモデルの一般的なクラスである。
最近の研究は、GNNが主に機能をスムースにするためにグラフを使用しており、ベンチマークタスクで競合する結果を示していると主張している。
本研究では、これらの結果が異種グラフに拡張可能かどうかを問うとともに、異なるエンティティ間の複数のタイプの関係を符号化する。
論文 参考訳（メタデータ） (2020-11-19T06:03:35Z) - Multi-grained Semantics-aware Graph Neural Networks [13.720544777078642]
グラフニューラルネットワーク(GNN)は、グラフの表現学習において強力な技術である。
本研究では,ノードとグラフ表現を対話的に学習する統合モデルAdamGNNを提案する。
14の実世界のグラフデータセットに対する実験により、AdamGNNはノードとグラフの両方のタスクにおいて17の競合するモデルを大幅に上回っていることが示された。
論文 参考訳（メタデータ） (2020-10-01T07:52:06Z) - CatGCN: Graph Convolutional Networks with Categorical Node Features [99.555850712725]
CatGCNはグラフ学習に適したノード機能である。
エンドツーエンドでCatGCNを訓練し、半教師付きノード分類でそれを実証する。
論文 参考訳（メタデータ） (2020-09-11T09:25:17Z) - Distance Encoding: Design Provably More Powerful Neural Networks for
Graph Representation Learning [63.97983530843762]
グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。
GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。
より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。
本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
論文 参考訳（メタデータ） (2020-08-31T23:15:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。