Fugu-MT 論文翻訳(概要): PRODIGY: Enabling In-context Learning Over Graphs

論文の概要: PRODIGY: Enabling In-context Learning Over Graphs

arxiv url: http://arxiv.org/abs/2305.12600v1
Date: Sun, 21 May 2023 23:16:30 GMT
ステータス: 処理完了
システム内更新日: 2023-05-23 19:15:23.592848
Title: PRODIGY: Enabling In-context Learning Over Graphs
Title（参考訳）: PRODIGY: グラフ上でのコンテキスト内学習の実現
Authors: Qian Huang, Hongyu Ren, Peng Chen, Gregor Kr\v{z}manc, Daniel Zeng, Percy Liang, Jure Leskovec
Abstract要約: コンテキスト内学習(In-context learning)とは、事前訓練されたモデルが、新しい多様な下流タスクに適応する能力である。 ProDIGYは,グラフ上でのコンテキスト内学習を可能にする最初の事前学習フレームワークである。
参考スコア（独自算出の注目度）: 112.19056551153454
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In-context learning is the ability of a pretrained model to adapt to novel and diverse downstream tasks by conditioning on prompt examples, without optimizing any parameters. While large language models have demonstrated this ability, how in-context learning could be performed over graphs is unexplored. In this paper, we develop \textbf{Pr}etraining \textbf{O}ver \textbf{D}iverse \textbf{I}n-Context \textbf{G}raph S\textbf{y}stems (PRODIGY), the first pretraining framework that enables in-context learning over graphs. The key idea of our framework is to formulate in-context learning over graphs with a novel \emph{prompt graph} representation, which connects prompt examples and queries. We then propose a graph neural network architecture over the prompt graph and a corresponding family of in-context pretraining objectives. With PRODIGY, the pretrained model can directly perform novel downstream classification tasks on unseen graphs via in-context learning. We provide empirical evidence of the effectiveness of our framework by showcasing its strong in-context learning performance on tasks involving citation networks and knowledge graphs. Our approach outperforms the in-context learning accuracy of contrastive pretraining baselines with hard-coded adaptation by 18\% on average across all setups. Moreover, it also outperforms standard finetuning with limited data by 33\% on average with in-context learning.
Abstract（参考訳）: インコンテキスト学習(In-context learning)とは、事前訓練されたモデルが、パラメータを最適化することなく、プロンプトの例を条件にすることで、新規で多様な下流タスクに適応する能力である。大規模な言語モデルでは、この能力が実証されているが、グラフ上でのコンテキスト内学習の方法が未検討である。本稿では,グラフ上での文脈学習を可能にする最初の事前学習フレームワークであるtextbf{Pr}etraining \textbf{O}ver \textbf{D}iverse \textbf{I}n-Context \textbf{G}raph S\textbf{y}stems (PRODIGY)を開発する。私たちのフレームワークの重要なアイデアは、プロンプトの例とクエリをつなぐ新しい\emph{prompt graph}表現で、グラフ上のインコンテキスト学習を定式化することです。次に,プロンプトグラフ上のグラフニューラルネットワークアーキテクチャと,それに対応するコンテキスト内事前学習対象のファミリを提案する。 PRODIGYにより、事前訓練されたモデルは、コンテキスト内学習を通じて、目に見えないグラフ上の新しい下流分類タスクを直接実行することができる。引用ネットワークや知識グラフを含むタスクに対して,強い文脈内学習性能を示すことによって,フレームワークの有効性を示す実証的な証拠を提供する。ハードコード適応によるコントラストプレトレーニングベースラインの文脈内学習精度を,全設定平均で18\%向上させた。さらに、コンテキスト内学習では、制限されたデータで標準の微調整を平均33\%上回っている。

関連論文リスト

GRENADE: Graph-Centric Language Model for Self-Supervised Representation Learning on Text-Attributed Graphs [22.282756544376493]
テキスト分散グラフ上での自己教師型表現学習の問題を解決するために,新しいグラフ中心言語モデルGRENADEを開発した。 GRENADEは、事前訓練された言語モデルとグラフニューラルネットワークの両方の相乗効果を利用して、2つの専門的な自己教師付き学習アルゴリズムを最適化する。提案したグラフ中心の自己教師型学習アルゴリズムは、GRENADEが情報的テキスト意味論だけでなく、テキスト対応グラフの構造的コンテキスト情報を取得するのに有効である。
論文参考訳（メタデータ） (2023-10-23T17:18:35Z)
SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文参考訳（メタデータ） (2023-08-03T07:00:04Z)
Enhancing Dialogue Generation via Dynamic Graph Knowledge Aggregation [23.54754465832362]
従来のグラフニューラルネットワーク(GNN)では、グラフに渡すメッセージはテキストとは独立している。このトレーニング体制は、グラフ知識とテキストの間に意味的なギャップをもたらす。知識グラフ強化対話生成のための新しいフレームワークを提案する。
論文参考訳（メタデータ） (2023-06-28T13:21:00Z)
ConGraT: Self-Supervised Contrastive Pretraining for Joint Graph and Text Embeddings [20.25180279903009]
テキスト分散グラフ(TAG)におけるテキストとノードの分離表現を共同学習するためのContrastive Graph-Text Pretraining(ConGraT)を提案する。提案手法は言語モデル(LM)とグラフニューラルネットワーク(GNN)を訓練し,CLIPにインスパイアされたバッチワイドコントラスト学習目標を用いて,それらの表現を共通の潜在空間に整列させる。実験により、ConGraTは、ノードとテキストのカテゴリ分類、リンク予測、言語モデリングなど、さまざまな下流タスクのベースラインよりも優れていることが示された。
論文参考訳（メタデータ） (2023-05-23T17:53:30Z)
CADGE: Context-Aware Dialogue Generation Enhanced with Graph-Structured Knowledge Aggregation [21.331251731675668]
常識知識は多くの自然言語処理タスクに不可欠である。既存の研究は通常、グラフ知識を従来のグラフニューラルネットワーク(GNN)に組み込む。これらの異なる表現学習段階は、ニューラルネットワークが入力知識の両タイプに含まれる全体的な文脈を学習するのに最適であるかもしれない、と我々は主張する。
論文参考訳（メタデータ） (2023-05-10T16:31:35Z)
Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文参考訳（メタデータ） (2022-03-03T09:53:53Z)
GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文参考訳（メタデータ） (2021-05-06T12:20:41Z)
GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文参考訳（メタデータ） (2020-06-17T16:18:35Z)
Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文参考訳（メタデータ） (2020-04-29T14:22:42Z)
A Graph Convolutional Topic Model for Short and Noisy Text Streams [2.578242050187029]
グラフ畳み込みネットワーク(GCN)をトピックモデルに統合する新しいグラフ畳み込みトピックモデル(GCTM)を提案する。我々は、人間の知識グラフ(Wordnet)と事前学習した単語埋め込み(Word2vec)から構築したグラフの両方を用いて、我々の手法を評価するための広範な実験を行った。本手法は,確率的予測測度とトピックコヒーレンスの観点から,最先端のベースラインよりもはるかに優れた性能を実現する。
論文参考訳（メタデータ） (2020-03-13T05:09:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。