論文の概要: MMKGR: Multi-hop Multi-modal Knowledge Graph Reasoning
- arxiv url: http://arxiv.org/abs/2209.01416v1
- Date: Sat, 3 Sep 2022 13:07:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-07 14:43:18.231612
- Title: MMKGR: Multi-hop Multi-modal Knowledge Graph Reasoning
- Title(参考訳): MMKGR:マルチホップマルチモーダル知識グラフ推論
- Authors: Shangfei Zheng, Weiqing Wang, Jianfeng Qu, Hongzhi Yin, Wei Chen and
Lei Zhao
- Abstract要約: MMKGR(Multi-hop Multi-modal Knowledge Graph Reasoning)という新しいモデルを提案する。
本モデルは,(1)十分な注意相互作用と雑音低減により効果的なマルチモーダル補間特徴を生成するために設計された統合ゲートアテンションネットワーク,(2)マルチホップ推論プロセスによって欠落要素を予測するために提案される補間特徴認識強化学習法を含む。
実験の結果,MMKGRはMKG推論タスクにおける最先端手法よりも優れていた。
- 参考スコア(独自算出の注目度): 40.60328470622483
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-modal knowledge graphs (MKGs) include not only the relation triplets,
but also related multi-modal auxiliary data (i.e., texts and images), which
enhance the diversity of knowledge. However, the natural incompleteness has
significantly hindered the applications of MKGs. To tackle the problem,
existing studies employ the embedding-based reasoning models to infer the
missing knowledge after fusing the multi-modal features. However, the reasoning
performance of these methods is limited due to the following problems: (1)
ineffective fusion of multi-modal auxiliary features; (2) lack of complex
reasoning ability as well as inability to conduct the multi-hop reasoning which
is able to infer more missing knowledge. To overcome these problems, we propose
a novel model entitled MMKGR (Multi-hop Multi-modal Knowledge Graph Reasoning).
Specifically, the model contains the following two components: (1) a unified
gate-attention network which is designed to generate effective multi-modal
complementary features through sufficient attention interaction and noise
reduction; (2) a complementary feature-aware reinforcement learning method
which is proposed to predict missing elements by performing the multi-hop
reasoning process, based on the features obtained in component (1). The
experimental results demonstrate that MMKGR outperforms the state-of-the-art
approaches in the MKG reasoning task.
- Abstract(参考訳): マルチモーダル知識グラフ(mkgs)には、関係三重項だけでなく、関連するマルチモーダル補助データ(テキストや画像など)も含まれており、知識の多様性を高めている。
しかし, 自然不完全性はmkgの応用を著しく阻害している。
この問題に取り組むために、既存の研究では、マルチモーダルな特徴を融合した後の知識の欠如を推測するために、埋め込みに基づく推論モデルを採用している。
しかし, これらの手法の推論性能は, 1) マルチモーダルな補助的特徴の非効率な融合, (2) 複雑な推論能力の欠如, および, より多くの知識の欠落を推測できるマルチホップ推論の実行能力の欠如などによって制限されている。
これらの問題を解決するために,MMKGR(Multi-hop Multi-modal Knowledge Graph Reasoning)という新しいモデルを提案する。
具体的には,(1)十分な注意相互作用と雑音低減により効果的なマルチモーダル補完特徴を生成するために設計された統合ゲートアテンションネットワーク,(2)コンポーネント(1)で得られた特徴に基づいてマルチホップ推論処理を行うことで,欠落要素を予測するための補完特徴認識強化学習手法,の2つの要素を含む。
実験の結果,MMKGRはMKG推論タスクにおける最先端手法よりも優れていた。
関連論文リスト
- MAGDi: Structured Distillation of Multi-Agent Interaction Graphs
Improves Reasoning in Smaller Language Models [67.1618494080025]
我々は,複数言語モデル (LLM) エージェント間の推論相互作用をより小さなLMに構造化した新しい蒸留法であるMAGDiを紹介する。
7つの広く使われているコモンセンスと数学推論ベンチマークの実験は、MAGDiがより小さなモデルの推論能力を改善することを示している。
論文 参考訳(メタデータ) (2024-02-02T18:35:14Z) - Generative Multimodal Models are In-Context Learners [62.31022638619485]
我々は37億のパラメータを持つ生成的マルチモーダルモデルであるEmu2を紹介し、大規模マルチモーダルシーケンスで訓練する。
Emu2は、マルチモーダルなインコンテキスト学習能力を示し、オンザフライ推論を必要とするタスクを解決しようとさえしている。
論文 参考訳(メタデータ) (2023-12-20T18:59:58Z) - Unified Multi-modal Unsupervised Representation Learning for
Skeleton-based Action Understanding [62.70450216120704]
教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。
我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。
UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
論文 参考訳(メタデータ) (2023-11-06T13:56:57Z) - What Makes for Robust Multi-Modal Models in the Face of Missing
Modalities? [35.19295402483624]
我々は、情報理論の観点から、欠落するモダリティに遭遇するマルチモーダルモデルのシナリオをモデル化する。
UME-MMA(Uni-Modal Ensemble with Missing Modality Adaptation)を紹介する。
UME-MMAは、マルチモーダルモデルのための一様事前訓練重みを用いて特徴抽出を強化し、欠落したモダリティデータ拡張技術を用いて、モダリティのない状況に適応する。
論文 参考訳(メタデータ) (2023-10-10T07:47:57Z) - Exploiting Modality-Specific Features For Multi-Modal Manipulation
Detection And Grounding [54.49214267905562]
マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。
本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。
本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
論文 参考訳(メタデータ) (2023-09-22T06:55:41Z) - Chain-of-Thought Prompt Distillation for Multimodal Named Entity
Recognition and Multimodal Relation Extraction [8.169359626365619]
思考のテキストチェーン(CoT) -- 中間推論ステップのシーケンスを生成します。
本稿では,大規模言語モデルからのコモンセンス推論能力を同化するための新しい条件付きプロンプト蒸留法を提案する。
我々のアプローチは最先端の精度を達成し、解釈可能性、データ効率、ドメイン間の一般化に関する多くの利点を示す。
論文 参考訳(メタデータ) (2023-06-25T04:33:56Z) - Multimodal Analogical Reasoning over Knowledge Graphs [43.76819868795101]
本稿では,知識グラフに対するマルチモーダルな類似推論という新たな課題を紹介する。
具体的には、マルチモーダルなアナロジカル推論データセット(MARS)とマルチモーダルな知識グラフMarKGを構築する。
本稿では,構造写像理論を動機としたTransformer (MarT) を用いたモデル非依存型マルチモーダル類似推論フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-01T16:24:15Z) - MISA: Modality-Invariant and -Specific Representations for Multimodal
Sentiment Analysis [48.776247141839875]
本稿では,2つの異なる部分空間に各モダリティを投影する新しいフレームワーク MISA を提案する。
最初の部分空間はモダリティ不変(modality-invariant)であり、モダリティにまたがる表現はその共通点を学び、モダリティギャップを減少させる。
一般的な感情分析ベンチマークであるMOSIとMOSEIの実験は、最先端モデルよりも大幅に向上したことを示す。
論文 参考訳(メタデータ) (2020-05-07T15:13:23Z) - Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question
Answering [35.40919477319811]
本稿では,事前学習された言語モデルにマルチホップ関係推論モジュールを組み込む新しい知識認識手法を提案する。
外部知識グラフから抽出したサブグラフに対して、マルチホップ、マルチリレーショナル推論を行う。
パスベースの推論手法とグラフニューラルネットワークを統合して、より優れた解釈性とスケーラビリティを実現する。
論文 参考訳(メタデータ) (2020-05-01T23:10:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。