論文の概要: Multimodal Analogical Reasoning over Knowledge Graphs
- arxiv url: http://arxiv.org/abs/2210.00312v1
- Date: Sat, 1 Oct 2022 16:24:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 14:57:49.067128
- Title: Multimodal Analogical Reasoning over Knowledge Graphs
- Title(参考訳): 知識グラフを用いたマルチモーダル解析
- Authors: Ningyu Zhang, Lei Li, Xiang Chen, Xiaozhuan Liang, Shumin Deng, Huajun
Chen
- Abstract要約: 本稿では,知識グラフに対するマルチモーダルな類似推論という新たな課題を紹介する。
具体的には、マルチモーダルなアナロジカル推論データセット(MARS)とマルチモーダルな知識グラフMarKGを構築する。
本稿では,構造写像理論を動機としたTransformer (MarT) を用いたモデル非依存型マルチモーダル類似推論フレームワークを提案する。
- 参考スコア(独自算出の注目度): 43.76819868795101
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Analogical reasoning is fundamental to human cognition and holds an important
place in various fields. However, previous studies mainly focus on single-modal
analogical reasoning and ignore taking advantage of structure knowledge.
Notably, the research in cognitive psychology has demonstrated that information
from multimodal sources always brings more powerful cognitive transfer than
single modality sources. To this end, we introduce the new task of multimodal
analogical reasoning over knowledge graphs, which requires multimodal reasoning
ability with the help of background knowledge. Specifically, we construct a
Multimodal Analogical Reasoning dataSet (MARS) and a multimodal knowledge graph
MarKG. We evaluate with multimodal knowledge graph embedding and pre-trained
Transformer baselines, illustrating the potential challenges of the proposed
task. We further propose a novel model-agnostic Multimodal analogical reasoning
framework with Transformer (MarT) motivated by the structure mapping theory,
which can obtain better performance.
- Abstract(参考訳): アナロジー推論は人間の認知の基本であり、様々な分野で重要な位置を占めている。
しかし、従来の研究は主に単様類推と構造知識の活用に重点を置いていた。
特に、認知心理学の研究は、マルチモーダルソースからの情報が常に単一のモーダルソースよりも強力な認知伝達をもたらすことを示した。
そこで本研究では,背景知識の助けを借りて,マルチモーダル推論能力を必要とする知識グラフに対するマルチモーダル類似推論という新たなタスクを導入する。
具体的には、マルチモーダルアナロジカル推論データセット(MARS)とマルチモーダル知識グラフMarKGを構築する。
マルチモーダルナレッジグラフ埋め込みと事前学習されたトランスフォーマーベースラインを用いて評価を行い,提案課題の可能性を示す。
さらに,構造マッピング理論によって動機付けられたTransformer (MarT) を用いたモデル非依存型マルチモーダル類似推論フレームワークを提案する。
関連論文リスト
- Generative Multi-Modal Knowledge Retrieval with Large Language Models [75.70313858231833]
マルチモーダル知識検索のための革新的なエンドツーエンド生成フレームワークを提案する。
我々のフレームワークは,大規模言語モデル(LLM)が仮想知識ベースとして効果的に機能するという事実を生かしている。
強いベースラインと比較すると,すべての評価指標に対して3.0%から14.6%の大幅な改善が見られた。
論文 参考訳(メタデータ) (2024-01-16T08:44:29Z) - Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical
Reasoning Capabilities of Language Models [58.76688462256284]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
一つのタスクトレーニング,複数タスクトレーニング,および思考知識の蒸留微調整手法の連鎖について検討し,異なる論理的推論カテゴリにおけるモデルの性能を評価する。
論文 参考訳(メタデータ) (2023-10-02T01:00:50Z) - Chain-of-Thought Prompt Distillation for Multimodal Named Entity
Recognition and Multimodal Relation Extraction [8.169359626365619]
思考のテキストチェーン(CoT) -- 中間推論ステップのシーケンスを生成します。
本稿では,大規模言語モデルからのコモンセンス推論能力を同化するための新しい条件付きプロンプト蒸留法を提案する。
我々のアプローチは最先端の精度を達成し、解釈可能性、データ効率、ドメイン間の一般化に関する多くの利点を示す。
論文 参考訳(メタデータ) (2023-06-25T04:33:56Z) - Interpretable Multimodal Misinformation Detection with Logic Reasoning [31.97249246223621]
本稿では,多モーダル誤情報検出のための論理モデルを提案する。
本稿では,意味のある論理節の自動生成と評価を容易にするニューラル表現を用いた記号論理要素のパラメータ化を行う。
3つの公開データセットの結果は、我々のモデルの有効性と汎用性を示している。
論文 参考訳(メタデータ) (2023-05-10T08:16:36Z) - Foundations and Recent Trends in Multimodal Machine Learning:
Principles, Challenges, and Open Questions [68.6358773622615]
本稿では,マルチモーダル機械学習の計算的基礎と理論的基礎について概説する。
本稿では,表現,アライメント,推論,生成,伝達,定量化という,6つの技術課題の分類法を提案する。
最近の技術的成果は、この分類のレンズを通して示され、研究者は新しいアプローチの類似点と相違点を理解することができる。
論文 参考訳(メタデータ) (2022-09-07T19:21:19Z) - MMKGR: Multi-hop Multi-modal Knowledge Graph Reasoning [40.60328470622483]
MMKGR(Multi-hop Multi-modal Knowledge Graph Reasoning)という新しいモデルを提案する。
本モデルは,(1)十分な注意相互作用と雑音低減により効果的なマルチモーダル補間特徴を生成するために設計された統合ゲートアテンションネットワーク,(2)マルチホップ推論プロセスによって欠落要素を予測するために提案される補間特徴認識強化学習法を含む。
実験の結果,MMKGRはMKG推論タスクにおける最先端手法よりも優れていた。
論文 参考訳(メタデータ) (2022-09-03T13:07:02Z) - Multimodal foundation models are better simulators of the human brain [65.10501322822881]
1500万の画像テキストペアを事前訓練した,新たに設計されたマルチモーダル基礎モデルを提案する。
視覚的エンコーダも言語的エンコーダもマルチモーダルで訓練され,脳に近いことが判明した。
論文 参考訳(メタデータ) (2022-08-17T12:36:26Z) - Language Generation with Multi-Hop Reasoning on Commonsense Knowledge
Graph [124.45799297285083]
知識グラフの構造的情報と意味的情報の両方を活用することで、コモンセンスを意識したテキスト生成が促進されると主張している。
本稿では,外部コモンセンス知識グラフから抽出したマルチリレーショナルパスに基づいて,動的マルチホップ推論を用いた事前学習モデルを実現するマルチホップ推論フロー(GRF)の生成を提案する。
論文 参考訳(メタデータ) (2020-09-24T13:55:32Z) - Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question
Answering [35.40919477319811]
本稿では,事前学習された言語モデルにマルチホップ関係推論モジュールを組み込む新しい知識認識手法を提案する。
外部知識グラフから抽出したサブグラフに対して、マルチホップ、マルチリレーショナル推論を行う。
パスベースの推論手法とグラフニューラルネットワークを統合して、より優れた解釈性とスケーラビリティを実現する。
論文 参考訳(メタデータ) (2020-05-01T23:10:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。