論文の概要: MMKGR: Multi-hop Multi-modal Knowledge Graph Reasoning

• arxiv url: http://arxiv.org/abs/2209.01416v1
• Date: Sat, 3 Sep 2022 13:07:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-07 14:43:18.231612
• Title: MMKGR: Multi-hop Multi-modal Knowledge Graph Reasoning
• Title（参考訳）: MMKGR:マルチホップマルチモーダル知識グラフ推論
• Authors: Shangfei Zheng, Weiqing Wang, Jianfeng Qu, Hongzhi Yin, Wei Chen and Lei Zhao
• Abstract要約: MMKGR(Multi-hop Multi-modal Knowledge Graph Reasoning)という新しいモデルを提案する。 本モデルは,(1)十分な注意相互作用と雑音低減により効果的なマルチモーダル補間特徴を生成するために設計された統合ゲートアテンションネットワーク,(2)マルチホップ推論プロセスによって欠落要素を予測するために提案される補間特徴認識強化学習法を含む。 実験の結果,MMKGRはMKG推論タスクにおける最先端手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 40.60328470622483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-modal knowledge graphs (MKGs) include not only the relation triplets, but also related multi-modal auxiliary data (i.e., texts and images), which enhance the diversity of knowledge. However, the natural incompleteness has significantly hindered the applications of MKGs. To tackle the problem, existing studies employ the embedding-based reasoning models to infer the missing knowledge after fusing the multi-modal features. However, the reasoning performance of these methods is limited due to the following problems: (1) ineffective fusion of multi-modal auxiliary features; (2) lack of complex reasoning ability as well as inability to conduct the multi-hop reasoning which is able to infer more missing knowledge. To overcome these problems, we propose a novel model entitled MMKGR (Multi-hop Multi-modal Knowledge Graph Reasoning). Specifically, the model contains the following two components: (1) a unified gate-attention network which is designed to generate effective multi-modal complementary features through sufficient attention interaction and noise reduction; (2) a complementary feature-aware reinforcement learning method which is proposed to predict missing elements by performing the multi-hop reasoning process, based on the features obtained in component (1). The experimental results demonstrate that MMKGR outperforms the state-of-the-art approaches in the MKG reasoning task.
• Abstract（参考訳）: マルチモーダル知識グラフ(mkgs)には、関係三重項だけでなく、関連するマルチモーダル補助データ(テキストや画像など)も含まれており、知識の多様性を高めている。 しかし, 自然不完全性はmkgの応用を著しく阻害している。 この問題に取り組むために、既存の研究では、マルチモーダルな特徴を融合した後の知識の欠如を推測するために、埋め込みに基づく推論モデルを採用している。 しかし, これらの手法の推論性能は, 1) マルチモーダルな補助的特徴の非効率な融合, (2) 複雑な推論能力の欠如, および, より多くの知識の欠落を推測できるマルチホップ推論の実行能力の欠如などによって制限されている。 これらの問題を解決するために,MMKGR(Multi-hop Multi-modal Knowledge Graph Reasoning)という新しいモデルを提案する。 具体的には,(1)十分な注意相互作用と雑音低減により効果的なマルチモーダル補完特徴を生成するために設計された統合ゲートアテンションネットワーク,(2)コンポーネント(1)で得られた特徴に基づいてマルチホップ推論処理を行うことで,欠落要素を予測するための補完特徴認識強化学習手法,の2つの要素を含む。 実験の結果,MMKGRはMKG推論タスクにおける最先端手法よりも優れていた。

関連論文リスト

• Multimodal Reasoning with Multimodal Knowledge Graph [19.899398342533722]
  大規模言語モデル(LLM)を用いたマルチモーダル推論は、幻覚や、不十分な知識や時代遅れな知識の存在に悩まされることが多い。 マルチモーダル知識グラフを用いたマルチモーダル推論(MR-MKG)手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T07:13:23Z)
• Multiple Heads are Better than One: Mixture of Modality Knowledge Experts for Entity Representation Learning [51.80447197290866]
  高品質なマルチモーダル実体表現を学習することは、マルチモーダル知識グラフ(MMKG)表現学習の重要な目標である。 既存の手法は、エレガントなエンティティワイドマルチモーダル融合戦略の構築に重点を置いている。 適応型マルチモーダルな実体表現を学習するために,Mixture of Modality Knowledge Expert (MoMoK) を用いた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-27T06:36:17Z)
• Cantor: Inspiring Multimodal Chain-of-Thought of MLLM [83.6663322930814]
  視覚的コンテキスト獲得と論理的推論の集約は、視覚的推論タスクに取り組む上で重要であると我々は主張する。 我々はCantorと呼ばれる革新的なマルチモーダルCoTフレームワークを提案し、その特徴は知覚決定アーキテクチャである。 提案手法の有効性を実証し,マルチモーダルCoT性能の大幅な向上を示した。
  論文  参考訳（メタデータ） (2024-04-24T17:59:48Z)
• Zero-Shot Relational Learning for Multimodal Knowledge Graphs [31.215889061734295]
  主な課題の1つは、関連するトレーニングデータなしで新たに発見された関係を推測することである。 既存の作業はマルチモーダル情報の活用をサポートしておらず、未調査のままである。 多様なマルチモーダル情報と知識グラフ構造を統合するために, マルチモーダル学習者, 構造コンソリエータ埋め込みジェネレータという3つのコンポーネントからなる新しいエンドツーエンドフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-09T11:14:45Z)
• MAGDi: Structured Distillation of Multi-Agent Interaction Graphs Improves Reasoning in Smaller Language Models [61.479419734006825]
  我々は,複数言語モデル (LLM) エージェント間の推論相互作用をより小さなLMに構造化した新しい蒸留法であるMAGDiを紹介する。 7つの広く使われているコモンセンスおよび数学推論ベンチマークの実験は、MAGDiがより小さなモデルの推論能力を改善することを示している。 我々は、MAGDiが領域外タスクの一般化性を高め、基礎となる学生モデルのサイズと強度に正にスケールし、自己整合性を適用する際により大きな改善をもたらすことを示すため、広範囲な分析を行った。
  論文  参考訳（メタデータ） (2024-02-02T18:35:14Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• Multimodal Analogical Reasoning over Knowledge Graphs [43.76819868795101]
  本稿では,知識グラフに対するマルチモーダルな類似推論という新たな課題を紹介する。 具体的には、マルチモーダルなアナロジカル推論データセット(MARS)とマルチモーダルな知識グラフMarKGを構築する。 本稿では,構造写像理論を動機としたTransformer (MarT) を用いたモデル非依存型マルチモーダル類似推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-01T16:24:15Z)
• Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question Answering [35.40919477319811]
  本稿では,事前学習された言語モデルにマルチホップ関係推論モジュールを組み込む新しい知識認識手法を提案する。 外部知識グラフから抽出したサブグラフに対して、マルチホップ、マルチリレーショナル推論を行う。 パスベースの推論手法とグラフニューラルネットワークを統合して、より優れた解釈性とスケーラビリティを実現する。
  論文  参考訳（メタデータ） (2020-05-01T23:10:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。