論文の概要: Structure Guided Multi-modal Pre-trained Transformer for Knowledge Graph Reasoning

• arxiv url: http://arxiv.org/abs/2307.03591v1
• Date: Thu, 6 Jul 2023 16:04:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-10 12:20:58.851225
• Title: Structure Guided Multi-modal Pre-trained Transformer for Knowledge Graph Reasoning
• Title（参考訳）: 知識グラフ推論のための構造誘導マルチモーダル事前学習トランス
• Authors: Ke Liang, Sihang Zhou, Yue Liu, Lingyuan Meng, Meng Liu, Xinwang Liu
• Abstract要約: SGMPTと呼ばれる知識グラフ推論のためのグラフ構造案内型マルチモーダル事前学習変換器を提案する。 我々の知る限り、SGMPTは知識グラフの基盤となる構造情報をマイニングするマルチモーダルKGRのための最初のMPTモデルである。 我々のSGMPTは、既存の最先端モデルよりも優れており、設計戦略の有効性が証明されている。
• 参考スコア（独自算出の注目度）: 41.691551152718745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal knowledge graphs (MKGs), which intuitively organize information in various modalities, can benefit multiple practical downstream tasks, such as recommendation systems, and visual question answering. However, most MKGs are still far from complete, which motivates the flourishing of MKG reasoning models. Recently, with the development of general artificial architectures, the pretrained transformer models have drawn increasing attention, especially for multimodal scenarios. However, the research of multimodal pretrained transformer (MPT) for knowledge graph reasoning (KGR) is still at an early stage. As the biggest difference between MKG and other multimodal data, the rich structural information underlying the MKG still cannot be fully leveraged in existing MPT models. Most of them only utilize the graph structure as a retrieval map for matching images and texts connected with the same entity. This manner hinders their reasoning performances. To this end, we propose the graph Structure Guided Multimodal Pretrained Transformer for knowledge graph reasoning, termed SGMPT. Specifically, the graph structure encoder is adopted for structural feature encoding. Then, a structure-guided fusion module with two different strategies, i.e., weighted summation and alignment constraint, is first designed to inject the structural information into both the textual and visual features. To the best of our knowledge, SGMPT is the first MPT model for multimodal KGR, which mines the structural information underlying the knowledge graph. Extensive experiments on FB15k-237-IMG and WN18-IMG, demonstrate that our SGMPT outperforms existing state-of-the-art models, and prove the effectiveness of the designed strategies.
• Abstract（参考訳）: 様々なモダリティで情報を直感的に整理するマルチモーダル知識グラフ(MKG)は、レコメンデーションシステムや視覚的質問応答など、複数の下流業務に役立てることができる。 しかし、ほとんどのMKGは完成には程遠いため、MKG推論モデルの繁栄の動機となっている。 近年,汎用人工建築の発展に伴い,特にマルチモーダルシナリオにおいて,事前学習型トランスフォーマーモデルに注目が集まっている。 しかし、知識グラフ推論(KGR)のためのマルチモーダル事前学習変換器(MPT)の研究はまだ初期段階にある。 MKGと他のマルチモーダルデータとの最大の違いとして、MKGの基盤となる豊富な構造情報は、既存のMPTモデルでは十分に活用できない。 それらの多くは、同じエンティティに接続された画像とテキストをマッチングするための検索マップとして、グラフ構造のみを使用する。 このやり方は彼らの推論パフォーマンスを妨げる。 そこで,本研究では知識グラフ推論のためのグラフ構造誘導マルチモーダルプリトレーニングトランス(sgmpt)を提案する。 具体的には、構造特徴符号化にグラフ構造エンコーダを用いる。 次に、2つの異なる戦略、すなわち重み付き和とアライメント制約を持つ構造誘導型融合モジュールを最初に設計し、構造情報をテキストと視覚の両方に注入する。 我々の知る限り、SGMPTは知識グラフの基盤となる構造情報をマイニングするマルチモーダルKGRのための最初のMPTモデルである。 FB15k-237-IMGとWN18-IMGの大規模な実験により、SGMPTが既存の最先端モデルより優れ、設計戦略の有効性が証明された。

関連論文リスト

• Transformer-Based Multimodal Knowledge Graph Completion with Link-Aware Contexts [3.531533402602335]
  マルチモーダル知識グラフ補完(MMKGC)は、マルチモーダル知識グラフ(MMKG)における欠落リンクの予測を目的とする。 既存のMMKGCアプローチは主に知識グラフ埋め込み(KGE)モデルを拡張している。 本稿では,トランスフォーマーをベースとしたKGEモデルと,事前学習したVLMが生成するクロスモーダルコンテキストを統合した新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-26T22:23:14Z)
• Tokenization, Fusion, and Augmentation: Towards Fine-grained Multi-modal Entity Representation [51.80447197290866]
  マルチモーダル知識グラフ補完(MMKGC)は、与えられた知識グラフから観測されていない知識を発見することを目的としている。 既存のMMKGCメソッドは通常、事前訓練されたモデルでマルチモーダルな特徴を抽出する。 エンティティの微細なマルチモーダル表現をトークン化し、融合し、拡張する新しいフレームワークであるMyGOを紹介します。
  論文  参考訳（メタデータ） (2024-04-15T05:40:41Z)
• Noise-powered Multi-modal Knowledge Graph Representation Framework [52.95468915728721]
  マルチモーダル・プレトレーニングの台頭は、統合されたマルチモーダル知識グラフ表現学習フレームワークの必要性を強調している。 モードレベルのノイズマスキングを備えたトランスフォーマーアーキテクチャを用いた新しいSNAG手法を提案する。 提案手法は10個のデータセットにまたがってSOTA性能を実現し,その汎用性を実証する。
  論文  参考訳（メタデータ） (2024-03-11T15:48:43Z)
• Contextualized Structural Self-supervised Learning for Ontology Matching [0.9402105308876642]
  我々はLaKERMapと呼ばれる新しい自己教師型学習フレームワークを導入する。 LaKERMapは暗黙の知識をトランスフォーマーに統合することで、概念の文脈的および構造的情報を活用する。 我々の革新的なアプローチから得られた知見は、LaKERMapがアライメント品質と推論時間で最先端のシステムを上回っていることを示している。
  論文  参考訳（メタデータ） (2023-10-05T18:51:33Z)
• Pre-training Transformers for Knowledge Graph Completion [81.4078733132239]
  知識グラフの伝達可能な表現を学習するための新しい帰納的KG表現モデル(iHT)を提案する。 iHT はエンティティエンコーダ (BERT など) と、Transformer によってパラメータ化される隣り合うリレーショナルスコアリング関数からなる。 提案手法は,従来のSOTAモデルに比べて25%以上の相対的相互ランクの改善が得られた。
  論文  参考訳（メタデータ） (2023-03-28T02:10:37Z)
• IMKGA-SM: Interpretable Multimodal Knowledge Graph Answer Prediction via Sequence Modeling [3.867363075280544]
  マルチモーダル知識グラフリンク予測は,マルチモーダルデータに対するリンク予測タスクの精度と効率を向上させることを目的としている。 シーケンスモデリングによる解釈可能なマルチモーダル知識グラフアンサー予測(IMKGA-SM)の開発 モデルは、異なるサイズのマルチモーダルリンク予測データセットに基づいて、SOTAベースラインよりもはるかに優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-01-06T10:08:11Z)
• A Survey of Knowledge Graph Reasoning on Graph Types: Static, Dynamic, and Multimodal [57.8455911689554]
  知識グラフ推論(KGR)は、知識グラフに基づくマイニング論理則に基づいて、既存の事実から新しい事実を推論することを目的としている。 質問応答やレコメンデーションシステムなど、多くのAIアプリケーションでKGを使うことに大きなメリットがあることが証明されている。
  論文  参考訳（メタデータ） (2022-12-12T08:40:04Z)
• Hybrid Transformer with Multi-level Fusion for Multimodal Knowledge Graph Completion [112.27103169303184]
  マルチモーダル知識グラフ(MKG)は、視覚テキストの事実知識を整理する。 MKGformerは、マルチモーダルリンク予測、マルチモーダルRE、マルチモーダルNERの4つのデータセット上でSOTA性能を得ることができる。
  論文  参考訳（メタデータ） (2022-05-04T23:40:04Z)
• Multi-modal Entity Alignment in Hyperbolic Space [13.789898717291251]
  ハイパボリック・マルチモーダル・エンティティアライメント(HMEA)の新たな多モード・エンティティアライメント手法を提案する。 まず、ハイパーボリックグラフ畳み込みネットワーク(HGCN)を用いて、エンティティの構造表現を学習する。 次に、双曲空間の構造と視覚表現を組み合わせて、集約された埋め込みを用いて潜在的なアライメントの結果を予測する。
  論文  参考訳（メタデータ） (2021-06-07T13:45:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。