論文の概要: Structure Guided Multi-modal Pre-trained Transformer for Knowledge Graph Reasoning

• arxiv url: http://arxiv.org/abs/2307.03591v1
• Date: Thu, 6 Jul 2023 16:04:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-10 12:20:58.851225
• Title: Structure Guided Multi-modal Pre-trained Transformer for Knowledge Graph Reasoning
• Title（参考訳）: 知識グラフ推論のための構造誘導マルチモーダル事前学習トランス
• Authors: Ke Liang, Sihang Zhou, Yue Liu, Lingyuan Meng, Meng Liu, Xinwang Liu
• Abstract要約: SGMPTと呼ばれる知識グラフ推論のためのグラフ構造案内型マルチモーダル事前学習変換器を提案する。 我々の知る限り、SGMPTは知識グラフの基盤となる構造情報をマイニングするマルチモーダルKGRのための最初のMPTモデルである。 我々のSGMPTは、既存の最先端モデルよりも優れており、設計戦略の有効性が証明されている。
• 参考スコア（独自算出の注目度）: 41.691551152718745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal knowledge graphs (MKGs), which intuitively organize information in various modalities, can benefit multiple practical downstream tasks, such as recommendation systems, and visual question answering. However, most MKGs are still far from complete, which motivates the flourishing of MKG reasoning models. Recently, with the development of general artificial architectures, the pretrained transformer models have drawn increasing attention, especially for multimodal scenarios. However, the research of multimodal pretrained transformer (MPT) for knowledge graph reasoning (KGR) is still at an early stage. As the biggest difference between MKG and other multimodal data, the rich structural information underlying the MKG still cannot be fully leveraged in existing MPT models. Most of them only utilize the graph structure as a retrieval map for matching images and texts connected with the same entity. This manner hinders their reasoning performances. To this end, we propose the graph Structure Guided Multimodal Pretrained Transformer for knowledge graph reasoning, termed SGMPT. Specifically, the graph structure encoder is adopted for structural feature encoding. Then, a structure-guided fusion module with two different strategies, i.e., weighted summation and alignment constraint, is first designed to inject the structural information into both the textual and visual features. To the best of our knowledge, SGMPT is the first MPT model for multimodal KGR, which mines the structural information underlying the knowledge graph. Extensive experiments on FB15k-237-IMG and WN18-IMG, demonstrate that our SGMPT outperforms existing state-of-the-art models, and prove the effectiveness of the designed strategies.
• Abstract（参考訳）: 様々なモダリティで情報を直感的に整理するマルチモーダル知識グラフ(MKG)は、レコメンデーションシステムや視覚的質問応答など、複数の下流業務に役立てることができる。 しかし、ほとんどのMKGは完成には程遠いため、MKG推論モデルの繁栄の動機となっている。 近年,汎用人工建築の発展に伴い,特にマルチモーダルシナリオにおいて,事前学習型トランスフォーマーモデルに注目が集まっている。 しかし、知識グラフ推論(KGR)のためのマルチモーダル事前学習変換器(MPT)の研究はまだ初期段階にある。 MKGと他のマルチモーダルデータとの最大の違いとして、MKGの基盤となる豊富な構造情報は、既存のMPTモデルでは十分に活用できない。 それらの多くは、同じエンティティに接続された画像とテキストをマッチングするための検索マップとして、グラフ構造のみを使用する。 このやり方は彼らの推論パフォーマンスを妨げる。 そこで,本研究では知識グラフ推論のためのグラフ構造誘導マルチモーダルプリトレーニングトランス(sgmpt)を提案する。 具体的には、構造特徴符号化にグラフ構造エンコーダを用いる。 次に、2つの異なる戦略、すなわち重み付き和とアライメント制約を持つ構造誘導型融合モジュールを最初に設計し、構造情報をテキストと視覚の両方に注入する。 我々の知る限り、SGMPTは知識グラフの基盤となる構造情報をマイニングするマルチモーダルKGRのための最初のMPTモデルである。 FB15k-237-IMGとWN18-IMGの大規模な実験により、SGMPTが既存の最先端モデルより優れ、設計戦略の有効性が証明された。

関連論文リスト

• Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting [50.181824673039436]
  本稿では,グラフ構造情報をメッセージパッシングなしで学習するグラフ構造自己コントラスト(GSSC)フレームワークを提案する。 提案するフレームワークは,構造情報を事前知識として暗黙的にのみ組み込む,MLP(Multi-Layer Perceptrons)に基づいている。 これはまず、近傍の潜在的非形式的あるいはノイズの多いエッジを取り除くために構造的スペーシングを適用し、その後、スペーシングされた近傍で構造的自己コントラストを行い、ロバストなノード表現を学ぶ。
  論文  参考訳（メタデータ） (2024-09-09T12:56:02Z)
• MyGO: Discrete Modality Information as Fine-Grained Tokens for Multi-modal Knowledge Graph Completion [51.80447197290866]
  MMKGの微細なモダリティ情報を処理・融合・拡張するためにMyGOを導入する。 MyGOは、マルチモーダルな生データをきめ細かい離散トークンとしてトークン化し、クロスモーダルなエンティティエンコーダでエンティティ表現を学習する。 標準MMKGCベンチマーク実験により,本手法が最新の20モデルを上回ることがわかった。
  論文  参考訳（メタデータ） (2024-04-15T05:40:41Z)
• Contextualized Structural Self-supervised Learning for Ontology Matching [0.9402105308876642]
  我々はLaKERMapと呼ばれる新しい自己教師型学習フレームワークを導入する。 LaKERMapは暗黙の知識をトランスフォーマーに統合することで、概念の文脈的および構造的情報を活用する。 我々の革新的なアプローチから得られた知見は、LaKERMapがアライメント品質と推論時間で最先端のシステムを上回っていることを示している。
  論文  参考訳（メタデータ） (2023-10-05T18:51:33Z)
• Pre-training Transformers for Knowledge Graph Completion [81.4078733132239]
  知識グラフの伝達可能な表現を学習するための新しい帰納的KG表現モデル(iHT)を提案する。 iHT はエンティティエンコーダ (BERT など) と、Transformer によってパラメータ化される隣り合うリレーショナルスコアリング関数からなる。 提案手法は,従来のSOTAモデルに比べて25%以上の相対的相互ランクの改善が得られた。
  論文  参考訳（メタデータ） (2023-03-28T02:10:37Z)
• IMKGA-SM: Interpretable Multimodal Knowledge Graph Answer Prediction via Sequence Modeling [3.867363075280544]
  マルチモーダル知識グラフリンク予測は,マルチモーダルデータに対するリンク予測タスクの精度と効率を向上させることを目的としている。 シーケンスモデリングによる解釈可能なマルチモーダル知識グラフアンサー予測(IMKGA-SM)の開発 モデルは、異なるサイズのマルチモーダルリンク予測データセットに基づいて、SOTAベースラインよりもはるかに優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-01-06T10:08:11Z)
• A Survey of Knowledge Graph Reasoning on Graph Types: Static, Dynamic, and Multimodal [57.8455911689554]
  知識グラフ推論(KGR)は、知識グラフに基づくマイニング論理則に基づいて、既存の事実から新しい事実を推論することを目的としている。 質問応答やレコメンデーションシステムなど、多くのAIアプリケーションでKGを使うことに大きなメリットがあることが証明されている。
  論文  参考訳（メタデータ） (2022-12-12T08:40:04Z)
• Knowledge Graph Completion with Pre-trained Multimodal Transformer and Twins Negative Sampling [13.016173217017597]
  本稿では,VBKGC(VisualBERT-enhanced Knowledge Graph Completion Model)を提案する。 VBKGCは、エンティティの深く融合したマルチモーダル情報をキャプチャし、それらをKGCモデルに統合することができる。 リンク予測タスクにおいて,VBKGCの優れた性能を示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-09-15T06:50:31Z)
• Hybrid Transformer with Multi-level Fusion for Multimodal Knowledge Graph Completion [112.27103169303184]
  マルチモーダル知識グラフ(MKG)は、視覚テキストの事実知識を整理する。 MKGformerは、マルチモーダルリンク予測、マルチモーダルRE、マルチモーダルNERの4つのデータセット上でSOTA性能を得ることができる。
  論文  参考訳（メタデータ） (2022-05-04T23:40:04Z)
• Multi-modal Entity Alignment in Hyperbolic Space [13.789898717291251]
  ハイパボリック・マルチモーダル・エンティティアライメント(HMEA)の新たな多モード・エンティティアライメント手法を提案する。 まず、ハイパーボリックグラフ畳み込みネットワーク(HGCN)を用いて、エンティティの構造表現を学習する。 次に、双曲空間の構造と視覚表現を組み合わせて、集約された埋め込みを用いて潜在的なアライメントの結果を予測する。
  論文  参考訳（メタデータ） (2021-06-07T13:45:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。