論文の概要: GCoT: Chain-of-Thought Prompt Learning for Graphs

• arxiv url: http://arxiv.org/abs/2502.08092v1
• Date: Wed, 12 Feb 2025 03:33:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:50:44.041721
• Title: GCoT: Chain-of-Thought Prompt Learning for Graphs
• Title（参考訳）: GCoT:グラフの連鎖学習
• Authors: Xingtong Yu, Chang Zhou, Zhongwei Kuai, Xinming Zhang, Yuan Fang,
• Abstract要約: 思考の連鎖(CoT)は自然言語処理(NLP)において顕著な成功を収めた しかし、その膨大なポテンシャルはグラフに対してほとんど探索されていない。 テキストフリーグラフのための最初のCoTプロンプト学習フレームワークであるGCoTを提案する。
• 参考スコア（独自算出の注目度）: 31.010620233375402
• License:
• Abstract: Chain-of-thought (CoT) prompting has achieved remarkable success in natural language processing (NLP). However, its vast potential remains largely unexplored for graphs. This raises an interesting question: How can we design CoT prompting for graphs to guide graph models to learn step by step? On one hand, unlike natural languages, graphs are non-linear and characterized by complex topological structures. On the other hand, many graphs lack textual data, making it difficult to formulate language-based CoT prompting. In this work, we propose the first CoT prompt learning framework for text-free graphs, GCoT. Specifically, we decompose the adaptation process for each downstream task into a series of inference steps, with each step consisting of prompt-based inference, ``thought'' generation, and thought-conditioned prompt learning. While the steps mimic CoT prompting in NLP, the exact mechanism differs significantly. Specifically, at each step, an input graph, along with a prompt, is first fed into a pre-trained graph encoder for prompt-based inference. We then aggregate the hidden layers of the encoder to construct a ``thought'', which captures the working state of each node in the current step. Conditioned on this thought, we learn a prompt specific to each node based on the current state. These prompts are fed into the next inference step, repeating the cycle. To evaluate and analyze the effectiveness of GCoT, we conduct comprehensive experiments on eight public datasets, which demonstrate the advantage of our approach.
• Abstract（参考訳）: 思考の連鎖(CoT)は自然言語処理(NLP)において顕著な成功を収めた。 しかし、その膨大なポテンシャルはグラフに対してほとんど探索されていない。 グラフモデルがステップバイステップで学習できるように、グラフのプロンプトとしてCoTを設計するにはどうすればよいのか? 一方、自然言語とは異なり、グラフは非線型であり、複雑な位相構造によって特徴づけられる。 一方、多くのグラフにはテキストデータがないため、言語ベースのCoTプロンプトの定式化が困難である。 本研究では,テキストフリーグラフのための最初のCoTプロンプト学習フレームワークであるGCoTを提案する。 具体的には、各下流タスクの適応処理を一連の推論ステップに分解し、各ステップは、プロンプトベース推論、「考え」生成、思考条件付きプロンプト学習からなる。 ステップはNLPでCoTプロンプトを模倣するが、正確なメカニズムは著しく異なる。 具体的には、各ステップにおいて、入力グラフとプロンプトが最初に訓練済みのグラフエンコーダに入力され、プロンプトベースの推論を行う。 次に、エンコーダの隠されたレイヤを集約して、現在のステップで各ノードの動作状態をキャプチャする `thinkt'' を構築する。 この考え方を前提として,現在の状態に基づいて各ノードに固有のプロンプトを学習する。 これらのプロンプトは次の推論ステップに送られ、サイクルを繰り返す。 GCoTの有効性を評価・分析するために、我々は8つの公開データセットで包括的な実験を行い、このアプローチの利点を実証した。

関連論文リスト

• GraphSOS: Graph Sampling and Order Selection to Help LLMs Understand Graphs Better [13.742220809751627]
  GraphSOSは、グラフデータを自然言語テキストに変換する新しいフレームワークである。 Order Selector Moduleはグラフの適切なシリアライズ順序を保証するもので、Subgraph Smpling Moduleはより良い推論のためにより良い構造を持つサブグラフをサンプリングする。 ノード分類とグラフ問合せのための複数のデータセットの実験は、GraphSOSがグラフタスクにおけるLLMのパフォーマンスと能力を改善することを示した。
  論文  参考訳（メタデータ） (2025-01-24T11:55:57Z)
• Instance-Aware Graph Prompt Learning [71.26108600288308]
  本稿では,インスタンス対応グラフプロンプト学習(IA-GPL)について紹介する。 このプロセスでは、軽量アーキテクチャを使用して各インスタンスの中間プロンプトを生成する。 複数のデータセットと設定で実施された実験は、最先端のベースラインと比較して、IA-GPLの優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-11-26T18:38:38Z)
• ProG: A Graph Prompt Learning Benchmark [17.229372585695092]
  グラフプロンプト学習が「プレトレイン・ファインチューン」に代わる有望な選択肢として登場 グラフプロンプト学習のための総合ベンチマークを初めて導入する。 本稿では,さまざまなグラフプロンプトモデルの実行を合理化する,使いやすいオープンソースライブラリである'ProG'を紹介する。
  論文  参考訳（メタデータ） (2024-06-08T04:17:48Z)
• G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
  現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。 一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。 G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
  論文  参考訳（メタデータ） (2024-02-12T13:13:04Z)
• Self-Pro: A Self-Prompt and Tuning Framework for Graph Neural Networks [10.794305560114903]
  Self-Promptは、モデルとデータ自体に基づいたグラフのプロンプトフレームワークである。 非対称なグラフコントラスト学習を導入し、不均質に対処し、プリテキストと下流タスクの目的を整合させる。 11のベンチマークデータセットに対する広範な実験を行い、その優位性を実証する。
  論文  参考訳（メタデータ） (2023-10-16T12:58:04Z)
• From Cluster Assumption to Graph Convolution: Graph-based Semi-Supervised Learning Revisited [51.24526202984846]
  グラフベースの半教師付き学習(GSSL)は、長い間ホットな研究トピックだった。 グラフ畳み込みネットワーク (GCN) は, 有望な性能を示す主要な技術となっている。
  論文  参考訳（メタデータ） (2023-09-24T10:10:21Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• All in One: Multi-task Prompting for Graph Neural Networks [30.457491401821652]
  本稿では,グラフモデルのための新しいマルチタスクプロンプト手法を提案する。 まず、グラフプロンプトと言語プロンプトのフォーマットを、プロンプトトークン、トークン構造、挿入パターンで統一する。 次に、様々なグラフアプリケーションのタスク空間を調査し、下流の問題をグラフレベルのタスクに再構成する。
  論文  参考訳（メタデータ） (2023-07-04T06:27:31Z)
• Can Language Models Solve Graph Problems in Natural Language? [51.28850846990929]
  大型言語モデル (LLM) は暗黙的なグラフィカル構造を持つ様々なタスクに採用されている。 自然言語をシミュレーションするグラフベース問題解決のベンチマークであるNLGraphを提案する。
  論文  参考訳（メタデータ） (2023-05-17T08:29:21Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。