Fugu-MT 論文翻訳(概要): Towards Foundation Models for Knowledge Graph Reasoning

論文の概要: Towards Foundation Models for Knowledge Graph Reasoning

arxiv url: http://arxiv.org/abs/2310.04562v2
Date: Tue, 9 Apr 2024 19:48:22 GMT
ステータス: 処理完了
システム内更新日: 2024-04-11 19:25:41.096673
Title: Towards Foundation Models for Knowledge Graph Reasoning
Title（参考訳）: 知識グラフ推論の基礎モデルに向けて
Authors: Mikhail Galkin, Xinyu Yuan, Hesham Mostafa, Jian Tang, Zhaocheng Zhu,
Abstract要約: 知識グラフ(KG)は、一般に重複しない異なる実体と関係語彙を持つ。本稿では、普遍的および伝達可能なグラフ表現を学習するためのアプローチであるULTRAを提案する。様々な大きさの未確認グラフ上の単一事前学習ULTRAモデルのゼロショット帰納的推論性能は、特定のグラフ上で訓練された強いベースラインよりも、しばしば同等かそれ以上である。
参考スコア（独自算出の注目度）: 18.77355708537997
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Foundation models in language and vision have the ability to run inference on any textual and visual inputs thanks to the transferable representations such as a vocabulary of tokens in language. Knowledge graphs (KGs) have different entity and relation vocabularies that generally do not overlap. The key challenge of designing foundation models on KGs is to learn such transferable representations that enable inference on any graph with arbitrary entity and relation vocabularies. In this work, we make a step towards such foundation models and present ULTRA, an approach for learning universal and transferable graph representations. ULTRA builds relational representations as a function conditioned on their interactions. Such a conditioning strategy allows a pre-trained ULTRA model to inductively generalize to any unseen KG with any relation vocabulary and to be fine-tuned on any graph. Conducting link prediction experiments on 57 different KGs, we find that the zero-shot inductive inference performance of a single pre-trained ULTRA model on unseen graphs of various sizes is often on par or better than strong baselines trained on specific graphs. Fine-tuning further boosts the performance.
Abstract（参考訳）: 言語と視覚の基盤モデルは、言語におけるトークンの語彙のような転送可能な表現のおかげで、任意のテキストおよび視覚入力で推論を実行することができる。知識グラフ(KG)は、一般に重複しない異なる実体と関係語彙を持つ。 KGs 上で基礎モデルを設計する上での鍵となる課題は、任意の実体と関係語彙を持つ任意のグラフ上の推論を可能にするような伝達可能な表現を学習することである。本研究では,そのような基礎モデルへの一歩を踏み出し,普遍的かつ伝達可能なグラフ表現を学習するためのアプローチであるULTRAを提示する。 ULTRAはリレーショナル表現を、それらの相互作用に条件付けられた関数として構築する。このような条件付け戦略により、事前訓練されたULTRAモデルは任意の関係語彙を持つ任意の未知のKGに誘導的に一般化し、任意のグラフ上で微調整することができる。 57個の異なるKG上でリンク予測実験を行い、様々な大きさの未知グラフ上の1つの事前学習されたULTRAモデルのゼロショット帰納的推論性能は、特定のグラフ上で訓練された強いベースラインよりもしばしば同等かそれ以上であることを示した。微調整はパフォーマンスをさらに向上させる。

関連論文リスト

Graph-Dictionary Signal Model for Sparse Representations of Multivariate Data [49.77103348208835]
グラフの有限集合がラプラシアンの重み付き和を通してデータ分布の関係を特徴付けるグラフ辞書信号モデルを定義する。本稿では,観測データからグラフ辞書表現を推論するフレームワークを提案する。我々は,脳活動データに基づく運動画像復号作業におけるグラフ辞書表現を利用して,従来の手法よりも想像的な動きをよりよく分類する。
論文参考訳（メタデータ） (2024-11-08T17:40:43Z)
Towards Graph Foundation Models: The Perspective of Zero-shot Reasoning on Knowledge Graphs [14.392577069212292]
我々は、ゼロショット学習を用いて、多様なグラフタスクを効果的に一般化する統合グラフ推論フレームワークSCOREを紹介する。 SCOREを38種類のグラフデータセットを用いて評価し、ノードレベル、リンクレベル、グラフレベルのタスクを複数のドメインでカバーする。
論文参考訳（メタデータ） (2024-10-16T14:26:08Z)
Verbalized Graph Representation Learning: A Fully Interpretable Graph Model Based on Large Language Models Throughout the Entire Process [8.820909397907274]
完全に解釈可能な言語グラフ表現学習法(VGRL)を提案する。従来のグラフ機械学習モデルとは対照的に、VGRLはこのパラメータ空間をテキスト記述に制約する。 VGRLの有効性を実証的に評価するために,いくつかの研究を行った。
論文参考訳（メタデータ） (2024-10-02T12:07:47Z)
UniGraph: Learning a Unified Cross-Domain Foundation Model for Text-Attributed Graphs [30.635472655668078]
Text-Attributed Graphs (TAG) は、さまざまなドメインにまたがる見えないグラフやタスクに一般化することができる。本稿では,言語モデル (LM) とグラフニューラルネットワーク (GNN) をバックボーンネットワークとして,新しいケースドアーキテクチャを提案する。本モデルの有効性を,未確認グラフの自己教師型表現学習,少数ショットインコンテキスト転送,ゼロショット転送で実証する。
論文参考訳（メタデータ） (2024-02-21T09:06:31Z)
When Graph Data Meets Multimodal: A New Paradigm for Graph Understanding and Reasoning [54.84870836443311]
本稿では,画像エンコーディングとマルチモーダル技術を統合することで,グラフデータの理解と推論を行う新しいパラダイムを提案する。このアプローチは, GPT-4Vの高度な機能を利用して, 命令応答形式によるグラフデータの理解を可能にする。研究は、このパラダイムを様々なグラフタイプで評価し、特に中国のOCRパフォーマンスと複雑な推論タスクにおいて、モデルの強みと弱みを強調した。
論文参考訳（メタデータ） (2023-12-16T08:14:11Z)
Hi-ArG: Exploring the Integration of Hierarchical Argumentation Graphs in Language Pretraining [62.069374456021016]
議論を整理する新しい構造である階層的議論グラフ(Hi-ArG)を提案する。また,テキストグラフマルチモーダルモデルであるGreaseArGや,グラフ情報を付加した新たな事前学習フレームワークなど,Hi-ArGを活用するための2つのアプローチを導入する。
論文参考訳（メタデータ） (2023-12-01T19:03:38Z)
One for All: Towards Training One Graph Model for All Classification Tasks [61.656962278497225]
様々なグラフタスクの統一モデルは、主にグラフ学習領域に固有の課題のために、まだ探索されていない。上記の課題に対処するために単一のグラフモデルを使用できる最初の汎用フレームワークである textbfOne for All (OFA) を提案する。 OFAは様々なタスクでうまく機能し、グラフ上の最初の汎用のクロスドメイン分類モデルとなる。
論文参考訳（メタデータ） (2023-09-29T21:15:26Z)
ConGraT: Self-Supervised Contrastive Pretraining for Joint Graph and Text Embeddings [20.25180279903009]
テキスト分散グラフ(TAG)におけるテキストとノードの分離表現を共同学習するためのContrastive Graph-Text Pretraining(ConGraT)を提案する。提案手法は言語モデル(LM)とグラフニューラルネットワーク(GNN)を訓練し,CLIPにインスパイアされたバッチワイドコントラスト学習目標を用いて,それらの表現を共通の潜在空間に整列させる。実験により、ConGraTは、ノードとテキストのカテゴリ分類、リンク予測、言語モデリングなど、さまざまな下流タスクのベースラインよりも優れていることが示された。
論文参考訳（メタデータ） (2023-05-23T17:53:30Z)
I Know What You Do Not Know: Knowledge Graph Embedding via Co-distillation Learning [16.723470319188102]
知識グラフの埋め込みは、実体と関係のベクトル表現を学習しようとする。近年の研究では、事前学習された言語モデルを用いて、実体や関係のテキスト情報に基づいて埋め込みを学習している。我々は,グラフ構造とテキスト情報の補完を利用するKG Embeddingの共蒸留学習手法であるCoLEを提案する。
論文参考訳（メタデータ） (2022-08-21T07:34:37Z)
Explanation Graph Generation via Pre-trained Language Models: An Empirical Study with Contrastive Learning [84.35102534158621]
エンドツーエンドで説明グラフを生成する事前学習言語モデルについて検討する。本稿では,ノードとエッジの編集操作によるグラフ摂動の簡易かつ効果的な方法を提案する。提案手法は,説明グラフの構造的精度と意味的精度を両立させる。
論文参考訳（メタデータ） (2022-04-11T00:58:27Z)
GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文参考訳（メタデータ） (2021-05-06T12:20:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。