論文の概要: Multimodal Analogical Reasoning over Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2210.00312v1
• Date: Sat, 1 Oct 2022 16:24:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 14:57:49.067128
• Title: Multimodal Analogical Reasoning over Knowledge Graphs
• Title（参考訳）: 知識グラフを用いたマルチモーダル解析
• Authors: Ningyu Zhang, Lei Li, Xiang Chen, Xiaozhuan Liang, Shumin Deng, Huajun Chen
• Abstract要約: 本稿では,知識グラフに対するマルチモーダルな類似推論という新たな課題を紹介する。 具体的には、マルチモーダルなアナロジカル推論データセット(MARS)とマルチモーダルな知識グラフMarKGを構築する。 本稿では,構造写像理論を動機としたTransformer (MarT) を用いたモデル非依存型マルチモーダル類似推論フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 43.76819868795101
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Analogical reasoning is fundamental to human cognition and holds an important place in various fields. However, previous studies mainly focus on single-modal analogical reasoning and ignore taking advantage of structure knowledge. Notably, the research in cognitive psychology has demonstrated that information from multimodal sources always brings more powerful cognitive transfer than single modality sources. To this end, we introduce the new task of multimodal analogical reasoning over knowledge graphs, which requires multimodal reasoning ability with the help of background knowledge. Specifically, we construct a Multimodal Analogical Reasoning dataSet (MARS) and a multimodal knowledge graph MarKG. We evaluate with multimodal knowledge graph embedding and pre-trained Transformer baselines, illustrating the potential challenges of the proposed task. We further propose a novel model-agnostic Multimodal analogical reasoning framework with Transformer (MarT) motivated by the structure mapping theory, which can obtain better performance.
• Abstract（参考訳）: アナロジー推論は人間の認知の基本であり、様々な分野で重要な位置を占めている。 しかし、従来の研究は主に単様類推と構造知識の活用に重点を置いていた。 特に、認知心理学の研究は、マルチモーダルソースからの情報が常に単一のモーダルソースよりも強力な認知伝達をもたらすことを示した。 そこで本研究では,背景知識の助けを借りて,マルチモーダル推論能力を必要とする知識グラフに対するマルチモーダル類似推論という新たなタスクを導入する。 具体的には、マルチモーダルアナロジカル推論データセット(MARS)とマルチモーダル知識グラフMarKGを構築する。 マルチモーダルナレッジグラフ埋め込みと事前学習されたトランスフォーマーベースラインを用いて評価を行い,提案課題の可能性を示す。 さらに,構造マッピング理論によって動機付けられたTransformer (MarT) を用いたモデル非依存型マルチモーダル類似推論フレームワークを提案する。

関連論文リスト

• GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。 本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• Multiple Heads are Better than One: Mixture of Modality Knowledge Experts for Entity Representation Learning [51.80447197290866]
  高品質なマルチモーダル実体表現を学習することは、マルチモーダル知識グラフ(MMKG)表現学習の重要な目標である。 既存の手法は、エレガントなエンティティワイドマルチモーダル融合戦略の構築に重点を置いている。 適応型マルチモーダルな実体表現を学習するために,Mixture of Modality Knowledge Expert (MoMoK) を用いた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-27T06:36:17Z)
• Cantor: Inspiring Multimodal Chain-of-Thought of MLLM [83.6663322930814]
  視覚的コンテキスト獲得と論理的推論の集約は、視覚的推論タスクに取り組む上で重要であると我々は主張する。 我々はCantorと呼ばれる革新的なマルチモーダルCoTフレームワークを提案し、その特徴は知覚決定アーキテクチャである。 提案手法の有効性を実証し,マルチモーダルCoT性能の大幅な向上を示した。
  論文  参考訳（メタデータ） (2024-04-24T17:59:48Z)
• Zero-Shot Relational Learning for Multimodal Knowledge Graphs [31.215889061734295]
  主な課題の1つは、関連するトレーニングデータなしで新たに発見された関係を推測することである。 既存の作業はマルチモーダル情報の活用をサポートしておらず、未調査のままである。 多様なマルチモーダル情報と知識グラフ構造を統合するために, マルチモーダル学習者, 構造コンソリエータ埋め込みジェネレータという3つのコンポーネントからなる新しいエンドツーエンドフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-09T11:14:45Z)
• Chain-of-Thought Prompt Distillation for Multimodal Named Entity Recognition and Multimodal Relation Extraction [8.169359626365619]
  思考のテキストチェーン(CoT) -- 中間推論ステップのシーケンスを生成します。 本稿では,大規模言語モデルからのコモンセンス推論能力を同化するための新しい条件付きプロンプト蒸留法を提案する。 我々のアプローチは最先端の精度を達成し、解釈可能性、データ効率、ドメイン間の一般化に関する多くの利点を示す。
  論文  参考訳（メタデータ） (2023-06-25T04:33:56Z)
• Foundations and Recent Trends in Multimodal Machine Learning: Principles, Challenges, and Open Questions [68.6358773622615]
  本稿では,マルチモーダル機械学習の計算的基礎と理論的基礎について概説する。 本稿では,表現,アライメント,推論,生成,伝達,定量化という,6つの技術課題の分類法を提案する。 最近の技術的成果は、この分類のレンズを通して示され、研究者は新しいアプローチの類似点と相違点を理解することができる。
  論文  参考訳（メタデータ） (2022-09-07T19:21:19Z)
• MMKGR: Multi-hop Multi-modal Knowledge Graph Reasoning [40.60328470622483]
  MMKGR(Multi-hop Multi-modal Knowledge Graph Reasoning)という新しいモデルを提案する。 本モデルは,(1)十分な注意相互作用と雑音低減により効果的なマルチモーダル補間特徴を生成するために設計された統合ゲートアテンションネットワーク,(2)マルチホップ推論プロセスによって欠落要素を予測するために提案される補間特徴認識強化学習法を含む。 実験の結果,MMKGRはMKG推論タスクにおける最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-09-03T13:07:02Z)
• Multimodal foundation models are better simulators of the human brain [65.10501322822881]
  1500万の画像テキストペアを事前訓練した,新たに設計されたマルチモーダル基礎モデルを提案する。 視覚的エンコーダも言語的エンコーダもマルチモーダルで訓練され,脳に近いことが判明した。
  論文  参考訳（メタデータ） (2022-08-17T12:36:26Z)
• Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question Answering [35.40919477319811]
  本稿では,事前学習された言語モデルにマルチホップ関係推論モジュールを組み込む新しい知識認識手法を提案する。 外部知識グラフから抽出したサブグラフに対して、マルチホップ、マルチリレーショナル推論を行う。 パスベースの推論手法とグラフニューラルネットワークを統合して、より優れた解釈性とスケーラビリティを実現する。
  論文  参考訳（メタデータ） (2020-05-01T23:10:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。