論文の概要: Deep Prompt Tuning for Graph Transformers
- arxiv url: http://arxiv.org/abs/2309.10131v1
- Date: Mon, 18 Sep 2023 20:12:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 17:36:27.290293
- Title: Deep Prompt Tuning for Graph Transformers
- Title（参考訳）: グラフトランスのためのディーププロンプトチューニング
- Authors: Reza Shirkavand, Heng Huang
- Abstract要約: ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。
ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。
事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
- 参考スコア（独自算出の注目度）: 55.2480439325792
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph transformers have gained popularity in various graph-based tasks by
addressing challenges faced by traditional Graph Neural Networks. However, the
quadratic complexity of self-attention operations and the extensive layering in
graph transformer architectures present challenges when applying them to graph
based prediction tasks. Fine-tuning, a common approach, is resource-intensive
and requires storing multiple copies of large models. We propose a novel
approach called deep graph prompt tuning as an alternative to fine-tuning for
leveraging large graph transformer models in downstream graph based prediction
tasks. Our method introduces trainable feature nodes to the graph and pre-pends
task-specific tokens to the graph transformer, enhancing the model's expressive
power. By freezing the pre-trained parameters and only updating the added
tokens, our approach reduces the number of free parameters and eliminates the
need for multiple model copies, making it suitable for small datasets and
scalable to large graphs. Through extensive experiments on various-sized
datasets, we demonstrate that deep graph prompt tuning achieves comparable or
even superior performance to fine-tuning, despite utilizing significantly fewer
task-specific parameters. Our contributions include the introduction of prompt
tuning for graph transformers, its application to both graph transformers and
message passing graph neural networks, improved efficiency and resource
utilization, and compelling experimental results. This work brings attention to
a promising approach to leverage pre-trained models in graph based prediction
tasks and offers new opportunities for exploring and advancing graph
representation learning.
- Abstract（参考訳）: グラフトランスフォーマーは、従来のグラフニューラルネットワークが直面する課題に対処することで、さまざまなグラフベースのタスクで人気を集めている。
しかしながら、グラフトランスフォーマーアーキテクチャの2次的複雑性とグラフベースの予測タスクに適用する際の課題が浮かび上がっている。
ファインチューニングはリソース集約型であり、大規模なモデルのコピーを複数保存する必要がある。
本稿では,下流グラフに基づく予測タスクにおいて,大規模グラフトランスフォーマーモデルを活用するための微調整の代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。
提案手法では,学習可能な特徴ノードをグラフに導入し,タスク固有のトークンをグラフ変換器にプリペンドすることで,モデルの表現力を高める。
事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーの必要性をなくし、小さなデータセットに適合し、大きなグラフにスケーラブルになる。
様々なサイズのデータセットに関する広範な実験を通じて、タスク固有のパラメータを著しく少なくしたにもかかわらず、ディープグラフのプロンプトチューニングが微調整に匹敵する、あるいはさらに優れたパフォーマンスを達成することを示した。
私たちのコントリビューションには、グラフトランスフォーマーのプロンプトチューニングの導入、グラフトランスフォーマーとメッセージパッシンググラフニューラルネットワークへの応用、効率とリソース利用の改善、魅力的な実験結果などが含まれています。
この研究は、グラフベースの予測タスクで事前学習されたモデルを活用するための有望なアプローチに注意を向け、グラフ表現学習を探索し進歩させる新しい機会を提供する。
関連論文リスト
- Generalizing Graph Transformers Across Diverse Graphs and Tasks via Pre-Training on Industrial-Scale Data [34.21420029237621]
PGT(Pre-trained Graph Transformer)と呼ばれるスケーラブルなトランスフォーマーベースのグラフ事前学習フレームワークを導入する。
本フレームワークは,産業用データセットと公共用データセットの両方で最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2024-07-04T14:14:09Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳（メタデータ） (2023-08-03T07:00:04Z) - SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。
提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。
提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
論文 参考訳（メタデータ） (2023-06-19T08:03:25Z) - G-Adapter: Towards Structure-Aware Parameter-Efficient Transfer Learning
for Graph Transformer Networks [0.7118812771905295]
特徴分布シフトの問題から,既存のPEFTをグラフベースタスクへ直接転送することが準最適であることを示す。
本稿では,G-Adapter という新しい構造対応PEFT手法を提案する。
大規模な実験により、G-Adapterは9つのグラフベンチマークデータセットと比較すると、最先端のパフォーマンスが得られることが示された。
論文 参考訳（メタデータ） (2023-05-17T16:10:36Z) - GraphPrompt: Unifying Pre-Training and Downstream Tasks for Graph Neural
Networks [16.455234748896157]
GraphPromptは、グラフに関する新しい事前トレーニングおよびプロンプトフレームワークである。
トレーニング済みタスクとダウンストリームタスクを共通タスクテンプレートに統合する。
また、トレーニング前のモデルから最も関連性の高い知識を見つけるために、下流タスクを支援するための学習可能なプロンプトも採用している。
論文 参考訳（メタデータ） (2023-02-16T02:51:38Z) - Hierarchical Graph Transformer with Adaptive Node Sampling [19.45896788055167]
現在のグラフ変換器の主な欠陥を同定する。
ほとんどのサンプリング戦略は、近隣にのみ焦点をあて、グラフ内の長距離依存を無視している。
本稿では,グラフ粗化を用いた階層型アテンション方式を提案する。
論文 参考訳（メタデータ） (2022-10-08T05:53:25Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳（メタデータ） (2022-03-03T09:53:53Z) - Dynamic Graph Representation Learning via Graph Transformer Networks [41.570839291138114]
動的グラフ変換器 (DGT) を用いた動的グラフ学習手法を提案する。
DGTは、グラフトポロジを効果的に学習し、暗黙のリンクをキャプチャするための時空間符号化を持つ。
DGTはいくつかの最先端のベースラインと比較して優れた性能を示す。
論文 参考訳（メタデータ） (2021-11-19T21:44:23Z) - Promoting Graph Awareness in Linearized Graph-to-Text Generation [72.83863719868364]
局所グラフ構造を符号化する線形化モデルの能力を検討する。
本研究は,モデルの暗黙のグラフ符号化の品質を高めるための解法である。
これらの消音足場は、低リソース設定における下流生成の大幅な改善につながることが分かりました。
論文 参考訳（メタデータ） (2020-12-31T18:17:57Z) - Graph Ordering: Towards the Optimal by Learning [69.72656588714155]
グラフ表現学習は、ノード分類、予測、コミュニティ検出など、多くのグラフベースのアプリケーションで顕著な成功を収めている。
しかし,グラフ圧縮やエッジ分割などのグラフアプリケーションでは,グラフ表現学習タスクに還元することは極めて困難である。
本稿では,このようなアプリケーションの背後にあるグラフ順序付け問題に対して,新しい学習手法を用いて対処することを提案する。
論文 参考訳（メタデータ） (2020-01-18T09:14:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。