論文の概要: Fine-Tuning Graph Neural Networks via Graph Topology induced Optimal Transport

• arxiv url: http://arxiv.org/abs/2203.10453v1
• Date: Sun, 20 Mar 2022 04:41:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-26 12:23:33.349795
• Title: Fine-Tuning Graph Neural Networks via Graph Topology induced Optimal Transport
• Title（参考訳）: グラフトポロジー誘導最適輸送による微調整グラフニューラルネットワーク
• Authors: Jiying Zhang, Xi Xiao, Long-Kai Huang, Yu Rong and Yatao Bian
• Abstract要約: GTOT-Tuningは、微調整ネットワークによって生成された表現の保存を強化するために、グラフデータの特性を利用する必要がある。 ノード間の隣接関係を利用することで、GTOT正規化器はノードレベルの最適輸送手順を達成する。 各種のGNNバックボーンを持つ8つの下流タスクに対してGTOT-Tuningを評価し,GNNに対して最先端の微調整性能を実現することを実証した。
• 参考スコア（独自算出の注目度）: 28.679909084727594
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, the pretrain-finetuning paradigm has attracted tons of attention in graph learning community due to its power of alleviating the lack of labels problem in many real-world applications. Current studies use existing techniques, such as weight constraint, representation constraint, which are derived from images or text data, to transfer the invariant knowledge from the pre-train stage to fine-tuning stage. However, these methods failed to preserve invariances from graph structure and Graph Neural Network (GNN) style models. In this paper, we present a novel optimal transport-based fine-tuning framework called GTOT-Tuning, namely, Graph Topology induced Optimal Transport fine-Tuning, for GNN style backbones. GTOT-Tuning is required to utilize the property of graph data to enhance the preservation of representation produced by fine-tuned networks. Toward this goal, we formulate graph local knowledge transfer as an Optimal Transport (OT) problem with a structural prior and construct the GTOT regularizer to constrain the fine-tuned model behaviors. By using the adjacency relationship amongst nodes, the GTOT regularizer achieves node-level optimal transport procedures and reduces redundant transport procedures, resulting in efficient knowledge transfer from the pre-trained models. We evaluate GTOT-Tuning on eight downstream tasks with various GNN backbones and demonstrate that it achieves state-of-the-art fine-tuning performance for GNNs.
• Abstract（参考訳）: 近年,グラフ学習コミュニティでは,多くの実世界のアプリケーションにおけるラベル問題を軽減する能力から,事前学習パラダイムが注目されている。 現在の研究では、画像やテキストデータから導かれる重み制約や表現制約といった既存の手法を用いて、不変知識を訓練前の段階から微調整段階へ転送している。 しかし、これらの手法はグラフ構造やグラフニューラルネットワーク(GNN)スタイルのモデルから不変性を保たなかった。 本稿では,GNNスタイルのバックボーンに対して,グラフトポロジーにより誘導される最適トランスポートファインチューニングフレームワークであるGTOT-Tuningを提案する。 GTOT-Tuningは、微調整ネットワークによって生成された表現の保存を強化するために、グラフデータの特性を利用する必要がある。 この目的に向けて,構造事前の最適伝達(ot)問題としてグラフ局所知識伝達を定式化し,微調整モデル動作を制約するgtot正則化器を構築する。 ノード間の隣接関係を利用することで、GTOT正規化器はノードレベルの最適輸送手順を達成し、冗長輸送手順を低減し、事前訓練されたモデルからの効率的な知識伝達をもたらす。 種々のGNNバックボーンを持つ8つの下流タスクに対してGTOT-Tuningを評価し,GNNに対して最先端の微調整性能を実現することを示す。

関連論文リスト

• Make Graph Neural Networks Great Again: A Generic Integration Paradigm of Topology-Free Patterns for Traffic Speed Prediction [29.096421050684516]
  本稿では,現在のGNN手法でトポロジフリーパターンを保存できる汎用モデルを提案する。 具体的には,空間変換器とテンポラル変換器を含むDual Cross-Scale Transformer (DCST) アーキテクチャを開発した。 そこで我々は,既存のGNNベースの手法を教師モデルとみなし,提案したDCSTアーキテクチャを学生モデルとみなす蒸留方式の学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-24T07:32:58Z)
• Gradient Transformation: Towards Efficient and Model-Agnostic Unlearning for Dynamic Graph Neural Networks [66.70786325911124]
  グラフアンラーニングは、ユーザのプライバシ保護と、望ましくないデータによるネガティブな影響軽減に不可欠なツールとして登場した。 DGNNの普及に伴い、動的グラフアンラーニングの実装を検討することが不可欠となる。 DGNNアンラーニングを実装するために,効率的,効率的,モデルに依存しない,事後処理手法を提案する。
  論文  参考訳（メタデータ） (2024-05-23T10:26:18Z)
• Tensor-view Topological Graph Neural Network [16.433092191206534]
  グラフニューラルネットワーク(GNN)は最近、グラフ学習において注目を集めている。 既存のGNNは、各ノード周辺の非常に限られた地区からのローカル情報のみを使用する。 本稿では,単純かつ効果的な深層学習のクラスであるTopological Graph Neural Network (TTG-NN)を提案する。 実データ実験により,提案したTTG-NNは,グラフベンチマークにおいて20の最先端手法より優れていた。
  論文  参考訳（メタデータ） (2024-01-22T14:55:01Z)
• Fine-tuning Graph Neural Networks by Preserving Graph Generative Patterns [13.378277755978258]
  プレトレーニンググラフと下流グラフの間の構造的ばらつきは,バニラ微調整戦略を用いた場合の転送可能性を大幅に制限することを示す。 下流グラフの生成パターンを保存するためにG-Tuningを提案する。 G-Tuningはドメイン内およびドメイン外移行学習実験において平均0.5%と2.6%の改善を示している。
  論文  参考訳（メタデータ） (2023-12-21T05:17:10Z)
• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Training Robust Graph Neural Networks with Topology Adaptive Edge Dropping [116.26579152942162]
  グラフニューラルネットワーク(GNN)は、グラフ構造情報を利用してネットワークデータから表現をモデル化する処理アーキテクチャである。 彼らの成功にもかかわらず、GNNは限られた訓練データから得られる準最適一般化性能に悩まされている。 本稿では、一般化性能を改善し、堅牢なGNNモデルを学習するためのトポロジ適応エッジドロップ法を提案する。
  論文  参考訳（メタデータ） (2021-06-05T13:20:36Z)
• Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
  グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。 PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。 PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-11-13T18:53:21Z)
• Bayesian Spatio-Temporal Graph Convolutional Network for Traffic Forecasting [22.277878492878475]
  本稿では,BSTGCN (Bayesian S-temporal Contemporal Graphal Network) を提案する。 ネットワーク内のグラフ構造は,道路網の物理的トポロジと交通データからエンドツーエンドに学習する。 実世界の2つのデータセットに対する本手法の有効性を検証し,BSTGCNが最先端の手法と比較して優れた性能を発揮することを示した。
  論文  参考訳（メタデータ） (2020-10-15T03:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。