論文の概要: Structure Pretraining and Prompt Tuning for Knowledge Graph Transfer

• arxiv url: http://arxiv.org/abs/2303.03922v1
• Date: Fri, 3 Mar 2023 02:58:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-08 15:02:56.359252
• Title: Structure Pretraining and Prompt Tuning for Knowledge Graph Transfer
• Title（参考訳）: 知識グラフ転送のための構造事前学習とプロンプトチューニング
• Authors: Wen Zhang, Yushan Zhu, Mingyang Chen, Yuxia Geng, Yufeng Huang, Yajing Xu, Wenting Song, Huajun Chen
• Abstract要約: 知識グラフ事前学習モデルKGTransformerを提案する。 サンプルサブグラフを入力として,KGTransformerを3つの自己教師型タスクで事前訓練する。 我々はKGTransformerを3つのタスク、トリプル分類、ゼロショット画像分類、質問応答で評価する。
• 参考スコア（独自算出の注目度）: 22.8376402253312
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge graphs (KG) are essential background knowledge providers in many tasks. When designing models for KG-related tasks, one of the key tasks is to devise the Knowledge Representation and Fusion (KRF) module that learns the representation of elements from KGs and fuses them with task representations. While due to the difference of KGs and perspectives to be considered during fusion across tasks, duplicate and ad hoc KRF modules design are conducted among tasks. In this paper, we propose a novel knowledge graph pretraining model KGTransformer that could serve as a uniform KRF module in diverse KG-related tasks. We pretrain KGTransformer with three self-supervised tasks with sampled sub-graphs as input. For utilization, we propose a general prompt-tuning mechanism regarding task data as a triple prompt to allow flexible interactions between task KGs and task data. We evaluate pretrained KGTransformer on three tasks, triple classification, zero-shot image classification, and question answering. KGTransformer consistently achieves better results than specifically designed task models. Through experiments, we justify that the pretrained KGTransformer could be used off the shelf as a general and effective KRF module across KG-related tasks. The code and datasets are available at https://github.com/zjukg/KGTransformer.
• Abstract（参考訳）: 知識グラフ(KG)は多くのタスクにおいて重要なバックグラウンド知識プロバイダである。 KG関連タスクのモデルを設計する場合、キーとなるタスクの1つは、KGから要素の表現を学習し、それらをタスク表現と融合する知識表現と融合(KRF)モジュールを考案することである。 タスク間の融合において考慮すべきKGと視点の違いにより、重複かつアドホックなKRFモジュールの設計がタスク間で行われる。 本稿では,様々なタスクにおいて一様krfモジュールとして機能する知識グラフ事前学習モデルkgトランスフォーマを提案する。 サンプルサブグラフを入力として,KGTransformerを3つの自己教師型タスクで事前訓練する。 本稿では,タスクKGとタスクデータ間の柔軟な相互作用を可能にするために,タスクデータに関する一般的なプロンプトチューニング機構を提案する。 予備訓練したKGTransformerを3つのタスク、トリプル分類、ゼロショット画像分類、質問応答で評価する。 KGTransformerは特別に設計されたタスクモデルよりも優れた結果が得られる。 実験により, 事前学習したKGTransformerは, KG関連タスクにまたがる汎用かつ効果的なKRFモジュールとして, 棚から外れることを正当化した。 コードとデータセットはhttps://github.com/zjukg/kgtransformerで入手できる。

関連論文リスト

• Decoding on Graphs: Faithful and Sound Reasoning on Knowledge Graphs through Generation of Well-Formed Chains [66.55612528039894]
  知識グラフ(KG)は質問応答(QA)のための信頼できる知識ソースとして機能する。 我々は、LLMとKGの深い相乗効果を促進する新しいフレームワークであるDoG(Decoding on Graphs)を提案する。 様々なKGQAタスクに対して異なるバックグラウンドKGを用いた実験により、DoGが優れた、堅牢なパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:01:40Z)
• Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
  我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。 GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
  論文  参考訳（メタデータ） (2024-04-23T04:47:22Z)
• Task-Oriented GNNs Training on Large Knowledge Graphs for Accurate and Efficient Modeling [5.460112864687281]
  本稿では,大規模知識グラフ(KG)を用いたタスク指向HGNN学習におけるTOSG抽出の自動化手法であるKG-TOSAを提案する。 KG-TOSAは、最新のHGNN手法により、トレーニング時間とメモリ使用量を最大70%削減し、精度や推論時間などのモデル性能を向上させる。
  論文  参考訳（メタデータ） (2024-03-09T01:17:26Z)
• Collaborative Knowledge Graph Fusion by Exploiting the Open Corpus [59.20235923987045]
  知識表現の質を維持しながら、新たに収穫した3倍の知識グラフを豊かにすることは困難である。 本稿では,付加コーパスから得られる情報を用いてKGを精製するシステムを提案する。
  論文  参考訳（メタデータ） (2022-06-15T12:16:10Z)
• MEKER: Memory Efficient Knowledge Embedding Representation for Link Prediction and Question Answering [65.62309538202771]
  知識グラフ(KG)は、事実を象徴的に構造化した記憶装置である。 KG埋め込みには、実世界の暗黙的な情報を必要とするNLPタスクで使用される簡潔なデータが含まれている。 リンク予測タスクとKGに基づく質問応答においてSOTAに比較可能な性能をもたらすメモリ効率のよいKG埋め込みモデルを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:47:03Z)
• Sequence-to-Sequence Knowledge Graph Completion and Question Answering [8.207403859762044]
  既製のエンコーダ・デコーダ変換器モデルは,スケーラブルで汎用的なKGEモデルとして機能することを示す。 我々は,KGリンク予測をシーケンス・ツー・シーケンス・タスクとして用い,従来のKGE手法による3つのスコアリングアプローチを自己回帰復号化と交換することで,これを実現する。
  論文  参考訳（メタデータ） (2022-03-19T13:01:49Z)
• Identify, Align, and Integrate: Matching Knowledge Graphs to Commonsense Reasoning Tasks [81.03233931066009]
  与えられたタスクの目的に整合した知識グラフ(KG)を選択することは重要である。 候補者KGがタスクの推論のギャップを正しく識別し、正確に埋めることができるかを評価するアプローチを示す。 このkg-to-taskマッチングを,知識-タスク識別,知識-タスクアライメント,知識-タスク統合という3つのフェーズで示す。
  論文  参考訳（メタデータ） (2021-04-20T18:23:45Z)
• Toward Subgraph-Guided Knowledge Graph Question Generation with Graph Neural Networks [53.58077686470096]
  知識グラフ(KG)質問生成(QG)は,KGから自然言語質問を生成することを目的とする。 本研究は,KGサブグラフから質問を生成し,回答をターゲットとする,より現実的な環境に焦点を当てる。
  論文  参考訳（メタデータ） (2020-04-13T15:43:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。