Fugu-MT 論文翻訳(概要): G-Adapter: Towards Structure-Aware Parameter-Efficient Transfer Learning for Graph Transformer Networks

論文の概要: G-Adapter: Towards Structure-Aware Parameter-Efficient Transfer Learning for Graph Transformer Networks

arxiv url: http://arxiv.org/abs/2305.10329v1
Date: Wed, 17 May 2023 16:10:36 GMT
ステータス: 処理完了
システム内更新日: 2023-05-18 14:50:31.347525
Title: G-Adapter: Towards Structure-Aware Parameter-Efficient Transfer Learning for Graph Transformer Networks
Title（参考訳）: g-adapter:グラフトランスフォーマーネットワークのための構造認識パラメータ効率の高い転送学習に向けて
Authors: Anchun Gui, Jinqiang Ye and Han Xiao
Abstract要約: 特徴分布シフトの問題から,既存のPEFTをグラフベースタスクへ直接転送することが準最適であることを示す。本稿では,G-Adapter という新しい構造対応PEFT手法を提案する。大規模な実験により、G-Adapterは9つのグラフベンチマークデータセットと比較すると、最先端のパフォーマンスが得られることが示された。
参考スコア（独自算出の注目度）: 0.7118812771905295
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: It has become a popular paradigm to transfer the knowledge of large-scale pre-trained models to various downstream tasks via fine-tuning the entire model parameters. However, with the growth of model scale and the rising number of downstream tasks, this paradigm inevitably meets the challenges in terms of computation consumption and memory footprint issues. Recently, Parameter-Efficient Fine-Tuning (PEFT) (e.g., Adapter, LoRA, BitFit) shows a promising paradigm to alleviate these concerns by updating only a portion of parameters. Despite these PEFTs having demonstrated satisfactory performance in natural language processing, it remains under-explored for the question of whether these techniques could be transferred to graph-based tasks with Graph Transformer Networks (GTNs). Therefore, in this paper, we fill this gap by providing extensive benchmarks with traditional PEFTs on a range of graph-based downstream tasks. Our empirical study shows that it is sub-optimal to directly transfer existing PEFTs to graph-based tasks due to the issue of feature distribution shift. To address this issue, we propose a novel structure-aware PEFT approach, named G-Adapter, which leverages graph convolution operation to introduce graph structure (e.g., graph adjacent matrix) as an inductive bias to guide the updating process. Besides, we propose Bregman proximal point optimization to further alleviate feature distribution shift by preventing the model from aggressive update. Extensive experiments demonstrate that G-Adapter obtains the state-of-the-art performance compared to the counterparts on nine graph benchmark datasets based on two pre-trained GTNs, and delivers tremendous memory footprint efficiency compared to the conventional paradigm.
Abstract（参考訳）: 大規模事前訓練されたモデルの知識を、モデルパラメータ全体を微調整することで、様々な下流タスクに伝達する一般的なパラダイムとなっている。しかし、モデルスケールの増加と下流タスクの増加に伴い、このパラダイムは計算消費とメモリフットプリントの問題において必然的に課題を満たしている。近年、PEFT(Adapter, LoRA, BitFit)はパラメータの一部を更新することでこれらの問題を緩和する有望なパラダイムを示している。これらのPEFTは自然言語処理において良好な性能を示したが、グラフトランスフォーマーネットワーク(GTN)を用いてグラフベースのタスクに変換できるかどうかについては、まだ未定である。そこで本稿では,従来のPEFTを用いて,グラフベースのダウンストリームタスクの広範なベンチマークを提供することにより,このギャップを埋める。本稿では,機能分散シフトの問題から,既存のPEFTをグラフベースタスクへ直接移行することが最適であることを示す。この問題に対処するために,グラフ畳み込み操作を利用してグラフ構造(グラフ隣接行列など)を帰納バイアスとして導入し,更新プロセスを導出する新しい構造対応PEFT手法G-Adapterを提案する。さらに,Bregman近点最適化により,モデルのアグレッシブアップデートを防止し,特徴分布シフトを緩和する。 G-Adapterは2つの事前学習されたGTNに基づいて,9つのグラフベンチマークデータセットと比較すると,最先端の性能が得られ,従来のパラダイムに比べてメモリフットプリント効率が大幅に向上することを示した。

関連論文リスト

Transducer Tuning: Efficient Model Adaptation for Software Tasks Using Code Property Graphs [8.26418657158164]
アプローチは、コードプロパティグラフ(CPG)を使用して下流のコードタスクに大規模なモデルを適用するテクニックである。我々のアプローチではTransducerと呼ばれるモジュラーコンポーネントを導入し、CPGからの構造化情報と依存性情報によってコード埋め込みを強化します。その結果,最大99%のトレーニング可能なパラメータを削減し,最大99%のメモリ削減を実現した。
論文参考訳（メタデータ） (2024-12-18T03:25:17Z)
DHIL-GT: Scalable Graph Transformer with Decoupled Hierarchy Labeling [10.556366638048384]
Graph Transformer(GT)は最近、グラフ構造化データ学習のための有望なニューラルネットワークアーキテクチャとして登場した。 DHIL-GTはスケーラブルなグラフ変換器で,グラフ計算を個別のステージに完全に分離することで,ネットワーク学習を簡略化する。 DHIL-GTは、大規模ベンチマーク上の既存のスケーラブルグラフ変換器の設計よりも、計算の高速化とミニバッチ能力の点で効率的である。
論文参考訳（メタデータ） (2024-12-06T02:59:01Z)
A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文参考訳（メタデータ） (2024-06-19T22:30:08Z)
Endowing Pre-trained Graph Models with Provable Fairness [49.8431177748876]
証明可能な公正性を持つ事前学習グラフモデル(GraphPAR)を実現する新しいアダプタチューニングフレームワークを提案する。具体的には、各ノードに対して異なる属性意味を持つノード表現を拡張するために、ノード表現に対するセンシティブなセマンティックオーグメンタを設計する。 GraphPARでは、各ノードの公平性が証明可能であるかどうか、すなわち、予測が特定の機密属性セマンティクスの範囲内で常に公平であるかどうかを定量化する。
論文参考訳（メタデータ） (2024-02-19T14:16:08Z)
Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
論文参考訳（メタデータ） (2023-12-19T06:06:30Z)
HetGPT: Harnessing the Power of Prompt Tuning in Pre-Trained Heterogeneous Graph Neural Networks [22.775933880072294]
HetGPTは、グラフニューラルネットワークのトレーニング後プロンプトフレームワークである。半教師付きノード分類における最先端HGNNの性能を向上させる。
論文参考訳（メタデータ） (2023-10-23T19:35:57Z)
Deep Prompt Tuning for Graph Transformers [55.2480439325792]
ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
論文参考訳（メタデータ） (2023-09-18T20:12:17Z)
SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文参考訳（メタデータ） (2023-08-03T07:00:04Z)
Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文参考訳（メタデータ） (2022-07-18T14:23:31Z)
Fine-Tuning Graph Neural Networks via Graph Topology induced Optimal Transport [28.679909084727594]
GTOT-Tuningは、微調整ネットワークによって生成された表現の保存を強化するために、グラフデータの特性を利用する必要がある。ノード間の隣接関係を利用することで、GTOT正規化器はノードレベルの最適輸送手順を達成する。各種のGNNバックボーンを持つ8つの下流タスクに対してGTOT-Tuningを評価し,GNNに対して最先端の微調整性能を実現することを実証した。
論文参考訳（メタデータ） (2022-03-20T04:41:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。