Fugu-MT 論文翻訳(概要): G-Adapter: Towards Structure-Aware Parameter-Efficient Transfer Learning for Graph Transformer Networks

論文の概要: G-Adapter: Towards Structure-Aware Parameter-Efficient Transfer Learning for Graph Transformer Networks

arxiv url: http://arxiv.org/abs/2305.10329v1
Date: Wed, 17 May 2023 16:10:36 GMT
ステータス: 処理完了
システム内更新日: 2023-05-18 14:50:31.347525
Title: G-Adapter: Towards Structure-Aware Parameter-Efficient Transfer Learning for Graph Transformer Networks
Title（参考訳）: g-adapter:グラフトランスフォーマーネットワークのための構造認識パラメータ効率の高い転送学習に向けて
Authors: Anchun Gui, Jinqiang Ye and Han Xiao
Abstract要約: 特徴分布シフトの問題から,既存のPEFTをグラフベースタスクへ直接転送することが準最適であることを示す。本稿では,G-Adapter という新しい構造対応PEFT手法を提案する。大規模な実験により、G-Adapterは9つのグラフベンチマークデータセットと比較すると、最先端のパフォーマンスが得られることが示された。
参考スコア（独自算出の注目度）: 0.7118812771905295
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: It has become a popular paradigm to transfer the knowledge of large-scale pre-trained models to various downstream tasks via fine-tuning the entire model parameters. However, with the growth of model scale and the rising number of downstream tasks, this paradigm inevitably meets the challenges in terms of computation consumption and memory footprint issues. Recently, Parameter-Efficient Fine-Tuning (PEFT) (e.g., Adapter, LoRA, BitFit) shows a promising paradigm to alleviate these concerns by updating only a portion of parameters. Despite these PEFTs having demonstrated satisfactory performance in natural language processing, it remains under-explored for the question of whether these techniques could be transferred to graph-based tasks with Graph Transformer Networks (GTNs). Therefore, in this paper, we fill this gap by providing extensive benchmarks with traditional PEFTs on a range of graph-based downstream tasks. Our empirical study shows that it is sub-optimal to directly transfer existing PEFTs to graph-based tasks due to the issue of feature distribution shift. To address this issue, we propose a novel structure-aware PEFT approach, named G-Adapter, which leverages graph convolution operation to introduce graph structure (e.g., graph adjacent matrix) as an inductive bias to guide the updating process. Besides, we propose Bregman proximal point optimization to further alleviate feature distribution shift by preventing the model from aggressive update. Extensive experiments demonstrate that G-Adapter obtains the state-of-the-art performance compared to the counterparts on nine graph benchmark datasets based on two pre-trained GTNs, and delivers tremendous memory footprint efficiency compared to the conventional paradigm.
Abstract（参考訳）: 大規模事前訓練されたモデルの知識を、モデルパラメータ全体を微調整することで、様々な下流タスクに伝達する一般的なパラダイムとなっている。しかし、モデルスケールの増加と下流タスクの増加に伴い、このパラダイムは計算消費とメモリフットプリントの問題において必然的に課題を満たしている。近年、PEFT(Adapter, LoRA, BitFit)はパラメータの一部を更新することでこれらの問題を緩和する有望なパラダイムを示している。これらのPEFTは自然言語処理において良好な性能を示したが、グラフトランスフォーマーネットワーク(GTN)を用いてグラフベースのタスクに変換できるかどうかについては、まだ未定である。そこで本稿では,従来のPEFTを用いて,グラフベースのダウンストリームタスクの広範なベンチマークを提供することにより,このギャップを埋める。本稿では,機能分散シフトの問題から,既存のPEFTをグラフベースタスクへ直接移行することが最適であることを示す。この問題に対処するために,グラフ畳み込み操作を利用してグラフ構造(グラフ隣接行列など)を帰納バイアスとして導入し,更新プロセスを導出する新しい構造対応PEFT手法G-Adapterを提案する。さらに,Bregman近点最適化により,モデルのアグレッシブアップデートを防止し,特徴分布シフトを緩和する。 G-Adapterは2つの事前学習されたGTNに基づいて,9つのグラフベンチマークデータセットと比較すると,最先端の性能が得られ,従来のパラダイムに比べてメモリフットプリント効率が大幅に向上することを示した。

関連論文リスト

A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文参考訳（メタデータ） (2024-06-19T22:30:08Z)
Endowing Pre-trained Graph Models with Provable Fairness [49.8431177748876]
証明可能な公正性を持つ事前学習グラフモデル(GraphPAR)を実現する新しいアダプタチューニングフレームワークを提案する。具体的には、各ノードに対して異なる属性意味を持つノード表現を拡張するために、ノード表現に対するセンシティブなセマンティックオーグメンタを設計する。 GraphPARでは、各ノードの公平性が証明可能であるかどうか、すなわち、予測が特定の機密属性セマンティクスの範囲内で常に公平であるかどうかを定量化する。
論文参考訳（メタデータ） (2024-02-19T14:16:08Z)
Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
論文参考訳（メタデータ） (2023-12-19T06:06:30Z)
p-Laplacian Adaptation for Generative Pre-trained Vision-Language Models [10.713680139939354]
大きなコーパスで事前訓練された視覚言語モデル(VLM)は、下流のタスクで顕著な成功を収めている。 PETLはフル微調整の代替として注目されている。グラフニューラルネットワーク(GNN)において,$p$-Laplacianメッセージパッシングを利用する新しいアダプタアーキテクチャである$p$-adapterを提案する。
論文参考訳（メタデータ） (2023-12-17T05:30:35Z)
HetGPT: Harnessing the Power of Prompt Tuning in Pre-Trained Heterogeneous Graph Neural Networks [24.435068514392487]
HetGPTは、グラフニューラルネットワークのトレーニング後プロンプトフレームワークである。半教師付きノード分類における最先端HGNNの性能を向上させる。
論文参考訳（メタデータ） (2023-10-23T19:35:57Z)
Deep Prompt Tuning for Graph Transformers [55.2480439325792]
ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
論文参考訳（メタデータ） (2023-09-18T20:12:17Z)
SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文参考訳（メタデータ） (2023-08-03T07:00:04Z)
Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文参考訳（メタデータ） (2022-07-18T14:23:31Z)
Fine-Tuning Graph Neural Networks via Graph Topology induced Optimal Transport [28.679909084727594]
GTOT-Tuningは、微調整ネットワークによって生成された表現の保存を強化するために、グラフデータの特性を利用する必要がある。ノード間の隣接関係を利用することで、GTOT正規化器はノードレベルの最適輸送手順を達成する。各種のGNNバックボーンを持つ8つの下流タスクに対してGTOT-Tuningを評価し,GNNに対して最先端の微調整性能を実現することを実証した。
論文参考訳（メタデータ） (2022-03-20T04:41:17Z)
Gophormer: Ego-Graph Transformer for Node Classification [27.491500255498845]
本稿では,egoグラフにフルグラフの代わりにトランスフォーマーを適用した新しいGophormerモデルを提案する。具体的には、変圧器の入力としてエゴグラフをサンプリングするためにNode2Seqモジュールが提案されており、スケーラビリティの課題が軽減されている。エゴグラフサンプリングで導入された不確実性に対処するために,一貫性の正則化とマルチサンプル推論戦略を提案する。
論文参考訳（メタデータ） (2021-10-25T16:43:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。