論文の概要: Does Graph Prompt Work? A Data Operation Perspective with Theoretical Analysis

• arxiv url: http://arxiv.org/abs/2410.01635v1
• Date: Wed, 2 Oct 2024 15:07:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 16:23:10.213472
• Title: Does Graph Prompt Work? A Data Operation Perspective with Theoretical Analysis
• Title（参考訳）: グラフプロンプトは有効か?理論解析によるデータ操作の展望
• Authors: Qunzhong Wang, Xiangguo Sun, Hong Cheng,
• Abstract要約: 本稿では,データ操作の観点からグラフのプロンプトを厳密に解析する理論的枠組みを提案する。 グラフ変換演算子に近似する能力を示す形式的保証定理を提供する。 グラフプロンプトによってこれらのデータ操作の誤差の上限を導出し、この議論をグラフのバッチに拡張する。
• 参考スコア（独自算出の注目度）: 7.309233340654514
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, graph prompting has emerged as a promising research direction, enabling the learning of additional tokens or subgraphs appended to the original graphs without requiring retraining of pre-trained graph models across various applications. This novel paradigm, shifting from the traditional pretraining and finetuning to pretraining and prompting has shown significant empirical success in simulating graph data operations, with applications ranging from recommendation systems to biological networks and graph transferring. However, despite its potential, the theoretical underpinnings of graph prompting remain underexplored, raising critical questions about its fundamental effectiveness. The lack of rigorous theoretical proof of why and how much it works is more like a dark cloud over the graph prompt area to go further. To fill this gap, this paper introduces a theoretical framework that rigorously analyzes graph prompting from a data operation perspective. Our contributions are threefold: First, we provide a formal guarantee theorem, demonstrating graph prompts capacity to approximate graph transformation operators, effectively linking upstream and downstream tasks. Second, we derive upper bounds on the error of these data operations by graph prompts for a single graph and extend this discussion to batches of graphs, which are common in graph model training. Third, we analyze the distribution of data operation errors, extending our theoretical findings from linear graph models (e.g., GCN) to non-linear graph models (e.g., GAT). Extensive experiments support our theoretical results and confirm the practical implications of these guarantees.
• Abstract（参考訳）: 近年、グラフプロンプトは有望な研究方向として現れており、様々なアプリケーションにまたがる事前学習されたグラフモデルの再トレーニングを必要とせずに、元のグラフに追加のトークンやサブグラフの学習を可能にしている。 このパラダイムは、従来の事前訓練や微調整から事前訓練や促進へと移行し、リコメンデーションシステムから生物学的ネットワーク、グラフ転送に至るまで、グラフデータ操作をシミュレートする実験的な成功を示している。 しかし、その可能性にもかかわらず、グラフの急進的な理論的な基盤は未解明のままであり、その基本的な効果について批判的な疑問を提起している。 なぜどれだけ機能するのかという厳密な理論的な証明が欠如していることは、グラフ上の暗い雲のように見える。 このギャップを埋めるために,データ操作の観点からグラフのプロンプトを厳格に解析する理論的枠組みを提案する。 まず、グラフがグラフ変換演算子に近似する能力を示し、上流と下流のタスクを効果的にリンクする。 第2に、グラフプロンプトによってこれらのデータ操作の誤差の上限を導出し、この議論をグラフモデルトレーニングで一般的なグラフのバッチに拡張する。 第3に、データ操作誤差の分布を分析し、線形グラフモデル(例えばGCN)から非線形グラフモデル(例えばGAT)まで理論的な結果を拡張する。 大規模な実験は、我々の理論結果を支持し、これらの保証の実践的意味を裏付けるものである。

関連論文リスト

• Parametric Graph Representations in the Era of Foundation Models: A Survey and Position [69.48708136448694]
  グラフは、包括的なリレーショナルデータをモデル化するために、過去数十年間、ビッグデータとAIで広く使われてきた。 有意義なグラフ法則の同定は、様々な応用の有効性を著しく向上させることができる。
  論文  参考訳（メタデータ） (2024-10-16T00:01:31Z)
• Inductive Graph Alignment Prompt: Bridging the Gap between Graph Pre-training and Inductive Fine-tuning From Spectral Perspective [13.277779426525056]
  グラフ事前学習と微調整」パラダイムはグラフニューラルネットワーク(GNN)を大幅に改善した しかし、事前学習と微調整の段階でのデータとタスクの差が大きいため、モデルの性能は依然として限られている。 Inductive Graph Alignment Prompt(IGAP)と呼ばれる新しいグラフプロンプト方式を提案する。
  論文  参考訳（メタデータ） (2024-02-21T06:25:54Z)
• Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
  コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。 近年の研究では、グラフ表現学習における事前学習の有用性が示されている。 本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
  論文  参考訳（メタデータ） (2023-02-06T16:26:29Z)
• Robust Causal Graph Representation Learning against Confounding Effects [21.380907101361643]
  本稿では,ロバスト因果グラフ表現学習(RCGRL)を提案する。 RCGRLは、無条件のモーメント制約の下でインストゥルメンタル変数を生成するアクティブなアプローチを導入し、グラフ表現学習モデルにより、共同設立者を排除している。
  論文  参考訳（メタデータ） (2022-08-18T01:31:25Z)
• Learning node embeddings via summary graphs: a brief theoretical analysis [55.25628709267215]
  グラフ表現学習は多くのグラフマイニングアプリケーションにおいて重要な役割を果たすが、大規模なグラフの埋め込みを学習することは依然として問題である。 最近の研究は、グラフの要約(つまり、より小さな要約グラフへの埋め込みを学習し、元のグラフのノード埋め込みを復元することでスケーラビリティを向上させる。 本稿では,導入したカーネル行列に基づく3つの特定の埋め込み学習手法について,詳細な理論的解析を行う。
  論文  参考訳（メタデータ） (2022-07-04T04:09:50Z)
• Principle of Relevant Information for Graph Sparsification [27.54740921723433]
  グラフスペーシフィケーションは、グラフの構造的特性を維持しながら、グラフのエッジ数を減らすことを目的としている。 我々は、関係情報原理(PRI)から着想を得て、グラフスカラー化の汎用的で効果的な情報理論の定式化を提案する。 本稿では,グラフスペーシフィケーション,グラフ正規化マルチタスク学習,医用画像由来の脳ネットワーク分類の3つの応用例を示す。
  論文  参考訳（メタデータ） (2022-05-31T21:00:42Z)
• Learning on Random Balls is Sufficient for Estimating (Some) Graph Parameters [28.50409304490877]
  本研究では,部分観測環境におけるグラフ分類問題の理論的枠組みを開発する。 ランダムにサンプリングされた部分グラフで動作する新しいグラフ分類モデルを提案する。
  論文  参考訳（メタデータ） (2021-11-05T08:32:46Z)
• Unbiased Graph Embedding with Biased Graph Observations [52.82841737832561]
  基礎となるバイアスのないグラフから学習することで、バイアスのない表現を得るための、原則化された新しい方法を提案する。 この新たな視点に基づいて、そのような基礎となるグラフを明らかにするための2つの補完的手法を提案する。
  論文  参考訳（メタデータ） (2021-10-26T18:44:37Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• Deep Learning for Learning Graph Representations [58.649784596090385]
  グラフデータのマイニングはコンピュータ科学においてポピュラーな研究トピックとなっている。 ネットワークデータの膨大な量は、効率的な分析に大きな課題をもたらしている。 これはグラフ表現の出現を動機付け、グラフを低次元ベクトル空間にマッピングする。
  論文  参考訳（メタデータ） (2020-01-02T02:13:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。