論文の概要: Towards Foundation Models for Knowledge Graph Reasoning
- arxiv url: http://arxiv.org/abs/2310.04562v1
- Date: Fri, 6 Oct 2023 20:00:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 17:38:46.753788
- Title: Towards Foundation Models for Knowledge Graph Reasoning
- Title(参考訳): 知識グラフ推論の基礎モデルに向けて
- Authors: Mikhail Galkin, Xinyu Yuan, Hesham Mostafa, Jian Tang, Zhaocheng Zhu
- Abstract要約: 知識グラフ(KG)は、一般に重複しない異なる実体と関係語彙を持つ。
本稿では、普遍的および伝達可能なグラフ表現を学習するためのアプローチであるULTRAを提案する。
様々な大きさの未確認グラフ上の単一事前学習ULTRAモデルのゼロショット帰納的推論性能は、特定のグラフ上で訓練された強いベースラインよりも、しばしば同等かそれ以上である。
- 参考スコア(独自算出の注目度): 20.14113476336901
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Foundation models in language and vision have the ability to run inference on
any textual and visual inputs thanks to the transferable representations such
as a vocabulary of tokens in language. Knowledge graphs (KGs) have different
entity and relation vocabularies that generally do not overlap. The key
challenge of designing foundation models on KGs is to learn such transferable
representations that enable inference on any graph with arbitrary entity and
relation vocabularies. In this work, we make a step towards such foundation
models and present ULTRA, an approach for learning universal and transferable
graph representations. ULTRA builds relational representations as a function
conditioned on their interactions. Such a conditioning strategy allows a
pre-trained ULTRA model to inductively generalize to any unseen KG with any
relation vocabulary and to be fine-tuned on any graph. Conducting link
prediction experiments on 57 different KGs, we find that the zero-shot
inductive inference performance of a single pre-trained ULTRA model on unseen
graphs of various sizes is often on par or better than strong baselines trained
on specific graphs. Fine-tuning further boosts the performance.
- Abstract(参考訳): 言語および視覚の基盤モデルは、言語におけるトークンの語彙のような転送可能な表現のおかげで、任意のテキストおよび視覚入力で推論を実行することができる。
知識グラフ(KG)は、一般に重複しない異なる実体と関係語彙を持つ。
KGs の基本モデルを設計する上で鍵となる課題は、任意の実体と関係語彙を持つ任意のグラフ上の推論を可能にするような変換可能な表現を学ぶことである。
本研究では,そのような基礎モデルへの一歩を踏み出し,普遍的および移動可能なグラフ表現を学習するためのアプローチであるULTRAを提示する。
ULTRAはリレーショナル表現を、それらの相互作用に条件付けられた関数として構築する。
このような条件付け戦略により、事前訓練されたULTRAモデルは任意の関係語彙を持つ任意の未知のKGに誘導的に一般化し、任意のグラフ上で微調整することができる。
57種類の異なるkgのリンク予測実験を行った結果,未観測のグラフ上の単一事前学習されたウルトラモデルのゼロショットインダクティブ推論性能は,特定のグラフで訓練された強いベースラインと同等かそれ以上であることが判明した。
微調整はパフォーマンスをさらに向上させる。
関連論文リスト
- Narrating Causal Graphs with Large Language Models [1.437446768735628]
本研究では、因果グラフからテキストを生成するための、大規模事前学習言語モデルの能力について検討する。
これらのグラフにエンコードされた因果推論は、医療やマーケティングのような多様なアプリケーションをサポートすることができる。
結果として、生成AIのユーザは、いくつかの例だけでモデルをトレーニングするときに、同様のパフォーマンスが得られるため、将来のアプリケーションをより早くデプロイできる可能性が示唆されている。
論文 参考訳(メタデータ) (2024-03-11T19:19:59Z) - UniGraph: Learning a Cross-Domain Graph Foundation Model From Natural
Language [41.722898353772656]
We present our UniGraph framework, designed to training a graph foundation model can generalizing to unseen graphs and task across various domain。
本稿では,MGM(Masked Graph Modeling)に基づく自己教師型学習目標を持つバックボーンネットワークとして,言語モデル(LM)とグラフニューラルネットワーク(GNN)のケースケードアーキテクチャを提案する。
さまざまなグラフ学習タスクやドメインにわたる包括的な実験は、目に見えないグラフの自己教師付き表現学習、少数ショットのインコンテキスト転送、ゼロショット転送におけるモデルの有効性を実証する。
論文 参考訳(メタデータ) (2024-02-21T09:06:31Z) - When Graph Data Meets Multimodal: A New Paradigm for Graph Understanding
and Reasoning [54.84870836443311]
本稿では,画像エンコーディングとマルチモーダル技術を統合することで,グラフデータの理解と推論を行う新しいパラダイムを提案する。
このアプローチは, GPT-4Vの高度な機能を利用して, 命令応答形式によるグラフデータの理解を可能にする。
研究は、このパラダイムを様々なグラフタイプで評価し、特に中国のOCRパフォーマンスと複雑な推論タスクにおいて、モデルの強みと弱みを強調した。
論文 参考訳(メタデータ) (2023-12-16T08:14:11Z) - Hi-ArG: Exploring the Integration of Hierarchical Argumentation Graphs
in Language Pretraining [62.069374456021016]
議論を整理する新しい構造である階層的議論グラフ(Hi-ArG)を提案する。
また,テキストグラフマルチモーダルモデルであるGreaseArGや,グラフ情報を付加した新たな事前学習フレームワークなど,Hi-ArGを活用するための2つのアプローチを導入する。
論文 参考訳(メタデータ) (2023-12-01T19:03:38Z) - Faithful Path Language Modelling for Explainable Recommendation over
Knowledge Graph [16.531887794171666]
PEARLMは,言語モデリングによるユーザ行動や製品側の知識を効率的に捉える新しい手法である。
我々のアプローチでは、知識グラフの埋め込みは言語モデルによってKG上の経路から直接学習され、同じ最適化空間におけるエンティティと関係を統一する。
論文 参考訳(メタデータ) (2023-10-25T08:14:49Z) - GRENADE: Graph-Centric Language Model for Self-Supervised Representation
Learning on Text-Attributed Graphs [22.282756544376493]
テキスト分散グラフ上での自己教師型表現学習の問題を解決するために,新しいグラフ中心言語モデルGRENADEを開発した。
GRENADEは、事前訓練された言語モデルとグラフニューラルネットワークの両方の相乗効果を利用して、2つの専門的な自己教師付き学習アルゴリズムを最適化する。
提案したグラフ中心の自己教師型学習アルゴリズムは、GRENADEが情報的テキスト意味論だけでなく、テキスト対応グラフの構造的コンテキスト情報を取得するのに有効である。
論文 参考訳(メタデータ) (2023-10-23T17:18:35Z) - One for All: Towards Training One Graph Model for All Classification
Tasks [64.74879508476636]
様々なグラフタスクの統一モデルは、主にグラフ学習領域に固有の課題のために、まだ探索されていない。
上記の課題に対処するために単一のグラフモデルを使用できる最初の汎用フレームワークである textbfOne for All (OFA) を提案する。
OFAは様々なタスクでうまく機能し、グラフ上の最初の汎用のクロスドメイン分類モデルとなる。
論文 参考訳(メタデータ) (2023-09-29T21:15:26Z) - I Know What You Do Not Know: Knowledge Graph Embedding via
Co-distillation Learning [16.723470319188102]
知識グラフの埋め込みは、実体と関係のベクトル表現を学習しようとする。
近年の研究では、事前学習された言語モデルを用いて、実体や関係のテキスト情報に基づいて埋め込みを学習している。
我々は,グラフ構造とテキスト情報の補完を利用するKG Embeddingの共蒸留学習手法であるCoLEを提案する。
論文 参考訳(メタデータ) (2022-08-21T07:34:37Z) - Explanation Graph Generation via Pre-trained Language Models: An
Empirical Study with Contrastive Learning [84.35102534158621]
エンドツーエンドで説明グラフを生成する事前学習言語モデルについて検討する。
本稿では,ノードとエッジの編集操作によるグラフ摂動の簡易かつ効果的な方法を提案する。
提案手法は,説明グラフの構造的精度と意味的精度を両立させる。
論文 参考訳(メタデータ) (2022-04-11T00:58:27Z) - GraphFormers: GNN-nested Transformers for Representation Learning on
Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。
提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。
さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文 参考訳(メタデータ) (2021-05-06T12:20:41Z) - Iterative Context-Aware Graph Inference for Visual Dialog [126.016187323249]
本稿では,新しいコンテキスト認識グラフ(CAG)ニューラルネットワークを提案する。
グラフの各ノードは、オブジェクトベース(視覚)と履歴関連(テキスト)コンテキスト表現の両方を含む、共同意味機能に対応している。
論文 参考訳(メタデータ) (2020-04-05T13:09:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。