論文の概要: Knowledge Graphs Meet Multi-Modal Learning: A Comprehensive Survey
- arxiv url: http://arxiv.org/abs/2402.05391v4
- Date: Mon, 26 Feb 2024 09:57:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 18:27:39.074611
- Title: Knowledge Graphs Meet Multi-Modal Learning: A Comprehensive Survey
- Title（参考訳）: マルチモーダル学習を満たしたナレッジグラフ:包括的調査
- Authors: Zhuo Chen, Yichi Zhang, Yin Fang, Yuxia Geng, Lingbing Guo, Xiang
Chen, Qian Li, Wen Zhang, Jiaoyan Chen, Yushan Zhu, Jiaqi Li, Xiaoze Liu,
Jeff Z. Pan, Ningyu Zhang, Huajun Chen
- Abstract要約: 本調査は,KG-driven Multi-Modal Learning(KG4MM)とMulti-Modal Knowledge Graph(MM4KG)の2つの主要な側面におけるKG認識研究に焦点を当てる。
KG対応マルチモーダル学習タスクと本質的MMKGタスクの2つの主要なタスクカテゴリについて検討した。
これらのタスクの多くに対して、定義、評価ベンチマークを提供し、関連する研究を行うための重要な洞察を概説する。
- 参考スコア（独自算出の注目度）: 61.8716670402084
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge Graphs (KGs) play a pivotal role in advancing various AI
applications, with the semantic web community's exploration into multi-modal
dimensions unlocking new avenues for innovation. In this survey, we carefully
review over 300 articles, focusing on KG-aware research in two principal
aspects: KG-driven Multi-Modal (KG4MM) learning, where KGs support multi-modal
tasks, and Multi-Modal Knowledge Graph (MM4KG), which extends KG studies into
the MMKG realm. We begin by defining KGs and MMKGs, then explore their
construction progress. Our review includes two primary task categories:
KG-aware multi-modal learning tasks, such as Image Classification and Visual
Question Answering, and intrinsic MMKG tasks like Multi-modal Knowledge Graph
Completion and Entity Alignment, highlighting specific research trajectories.
For most of these tasks, we provide definitions, evaluation benchmarks, and
additionally outline essential insights for conducting relevant research.
Finally, we discuss current challenges and identify emerging trends, such as
progress in Large Language Modeling and Multi-modal Pre-training strategies.
This survey aims to serve as a comprehensive reference for researchers already
involved in or considering delving into KG and multi-modal learning research,
offering insights into the evolving landscape of MMKG research and supporting
future work.
- Abstract（参考訳）: 知識グラフ(KG)は、セマンティックWebコミュニティがイノベーションのための新たな道を開くマルチモーダルな次元を探求する中で、さまざまなAIアプリケーションを進める上で重要な役割を果たす。
本稿では,KGがマルチモーダルタスクをサポートするKG駆動型マルチモーダル学習(KG4MM)と,KG研究をMMKG領域に拡張するMulti-Modal Knowledge Graph(MM4KG)の2つの主要な側面について,300以上の論文を慎重にレビューする。
まず、KGとMMKGを定義し、その構築の進捗を調査する。
我々のレビューでは、画像分類や視覚質問回答のようなKG対応のマルチモーダル学習タスクと、マルチモーダル知識グラフ補完やエンティティアライメントのような固有のMMKGタスクの2つの主要なタスクカテゴリが紹介されている。
これらのタスクのほとんどは、定義、評価ベンチマークを提供し、関連する研究を行うために必要な洞察を概説します。
最後に,現在の課題を議論し,大規模言語モデリングの進展やマルチモーダル事前学習戦略など,新たなトレンドを特定する。
この調査は、既にKGとマルチモーダルラーニング研究に関わっており、MMKG研究の進化の展望を提供し、今後の研究を支援するための総合的な参考となることを目的としている。
関連論文リスト
- Multiple Heads are Better than One: Mixture of Modality Knowledge Experts for Entity Representation Learning [51.80447197290866]
高品質なマルチモーダル実体表現を学習することは、マルチモーダル知識グラフ(MMKG)表現学習の重要な目標である。
既存の手法は、エレガントなエンティティワイドマルチモーダル融合戦略の構築に重点を置いている。
適応型マルチモーダルな実体表現を学習するために,Mixture of Modality Knowledge Expert (MoMoK) を用いた新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-27T06:36:17Z) - A Survey on Extractive Knowledge Graph Summarization: Applications,
Approaches, Evaluation, and Future Directions [9.668678976640022]
抽出KG要約は、凝縮した情報でコンパクトな部分グラフを蒸留することを目的としている。
本稿では,その応用を体系的に概説し,学際的な研究から既存の方法の分類を定めている。
今後の方向性は、我々の広範囲かつ比較的なレビューに基づいて策定されます。
論文 参考訳（メタデータ） (2024-02-19T09:49:53Z) - SKG: A Versatile Information Retrieval and Analysis Framework for
Academic Papers with Semantic Knowledge Graphs [9.668240269886413]
本稿では,抽象概念やメタ情報から意味概念を統合してコーパスを表現するセマンティック知識グラフを提案する。
SKGは、高い多様性と豊富な情報コンテンツが格納されているため、学術文献における様々なセマンティッククエリをサポートすることができる。
論文 参考訳（メタデータ） (2023-06-07T20:16:08Z) - LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities and Future Opportunities [66.36633042421387]
知識グラフ(KG)の構築と推論のための大規模言語モデル(LLM)の評価。
我々は,LLMと外部ソースを用いたマルチエージェントベースのアプローチであるAutoKGを提案し,KGの構築と推論を行う。
論文 参考訳（メタデータ） (2023-05-22T15:56:44Z) - UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question
Answering Over Knowledge Graph [89.98762327725112]
KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。
我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
論文 参考訳（メタデータ） (2022-12-02T04:08:09Z) - Reasoning over Multi-view Knowledge Graphs [59.99051368907095]
ROMAは、マルチビューKG上で論理クエリに応答する新しいフレームワークである。
大規模(数百万の事実など)のKGや粒度の細かいビューまでスケールする。
トレーニング中に観測されていない構造やKGビューのクエリを一般化する。
論文 参考訳（メタデータ） (2022-09-27T21:32:20Z) - Multi-Modal Knowledge Graph Construction and Application: A Survey [17.203534055251435]
知識グラフのマルチモーダル化は、人間レベルのマシンインテリジェンスの実現に向けた必然的な重要なステップである。
まず、テキストや画像によって構築されたMMKGの定義と、マルチモーダルなタスクやテクニックに関する予備的な定義を示す。
次に,MMKGの構築と適用における課題,進歩,機会を,それぞれ体系的に検討し,それぞれの解の強度と弱さを詳細に分析した。
論文 参考訳（メタデータ） (2022-02-11T17:31:12Z) - Multimodality in Meta-Learning: A Comprehensive Survey [34.69292359136745]
このサーベイは、マルチモーダリティに基づくメタラーニングの展望を概観する。
我々はまず,メタラーニングとマルチモーダリティの定義と,この成長分野における研究課題を定式化する。
そこで我々は,マルチモーダルタスクと組み合わせた典型的なメタ学習アルゴリズムを体系的に議論する新しい分類法を提案する。
論文 参考訳（メタデータ） (2021-09-28T09:16:12Z) - KACC: A Multi-task Benchmark for Knowledge Abstraction, Concretization
and Completion [99.47414073164656]
包括的知識グラフ(KG)は、インスタンスレベルのエンティティグラフとオントロジーレベルの概念グラフを含む。
2ビューのKGは、知識の抽象化、包括化、完成に関する人間の能力を「シミュレーション」するためのモデルのためのテストベッドを提供する。
我々は,データセットのスケール,タスクカバレッジ,難易度の観点から,既存のベンチマークを改善した統一KGベンチマークを提案する。
論文 参考訳（メタデータ） (2020-04-28T16:21:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。