論文の概要: Continual Multimodal Knowledge Graph Construction
- arxiv url: http://arxiv.org/abs/2305.08698v1
- Date: Mon, 15 May 2023 14:58:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-16 14:06:25.984597
- Title: Continual Multimodal Knowledge Graph Construction
- Title(参考訳): 連続的マルチモーダル知識グラフ構築
- Authors: Xiang Chen, Jintian Zhang, Xiaohan Wang, Tongtong Wu, Shumin Deng,
Yongheng Wang, Luo Si, Huajun Chen, Ningyu Zhang
- Abstract要約: マルチモーダル知識グラフ構築(MMKC、Multimodal Knowledge Graph Construction)は、複数のモーダルを通して実体と関係を構造化した表現を作成する過程を指す。
本研究は, 破滅的な忘れ込み現象の解明と, 様々な形態のデータから抽出された過去の知識の保持に焦点をあてる。
連続マルチモーダル知識グラフ構築のための長寿命マルチモーダル一貫性変換フレームワーク(LMC)を提案する。
- 参考スコア(独自算出の注目度): 58.65022596152196
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal Knowledge Graph Construction (MMKC) refers to the process of
creating a structured representation of entities and relationships through
multiple modalities such as text, images, videos, etc. However, existing MMKC
models have limitations in handling the introduction of new entities and
relations due to the dynamic nature of the real world. Moreover, most
state-of-the-art studies in MMKC only consider entity and relation extraction
from text data while neglecting other multi-modal sources. Meanwhile, the
current continual setting for knowledge graph construction only consider entity
and relation extraction from text data while neglecting other multi-modal
sources. Therefore, there arises the need to explore the challenge of
continuous multimodal knowledge graph construction to address the phenomenon of
catastrophic forgetting and ensure the retention of past knowledge extracted
from different forms of data. This research focuses on investigating this
complex topic by developing lifelong multimodal benchmark datasets. Based on
the empirical findings that several state-of-the-art MMKC models, when trained
on multimedia data, might unexpectedly underperform compared to those solely
utilizing textual resources in a continual setting, we propose a Lifelong
MultiModal Consistent Transformer Framework (LMC) for continuous multimodal
knowledge graph construction. By combining the advantages of consistent KGC
strategies within the context of continual learning, we achieve greater balance
between stability and plasticity. Our experiments demonstrate the superior
performance of our method over prevailing continual learning techniques or
multimodal approaches in dynamic scenarios. Code and datasets can be found at
https://github.com/zjunlp/ContinueMKGC.
- Abstract(参考訳): マルチモーダル知識グラフ構築(MMKC、Multimodal Knowledge Graph Construction)は、テキスト、画像、ビデオなどの複数のモダリティを通じて実体と関係を構造化した表現を作成する過程を指す。
しかし、既存のMMKCモデルは、現実世界の動的な性質により、新しい実体の導入や関係の扱いに制限がある。
さらに、mmkcの最先端の研究のほとんどは、テキストデータからのエンティティと関係抽出のみを考慮し、他のマルチモーダルな情報源を無視している。
一方、知識グラフ構築のための現在の連続的な設定は、他のマルチモーダルソースを無視しながら、テキストデータから実体と関係を抽出することしか考慮していない。
したがって、破壊的忘れの現象に対処し、異なる形式のデータから抽出された過去の知識の保持を確保するために、連続的マルチモーダル知識グラフ構築の課題を探求する必要がある。
この研究は、生涯にわたるマルチモーダルベンチマークデータセットの開発によって、この複雑なトピックを調査することに焦点を当てている。
マルチメディアデータを用いた学習において,複数の最先端mmkcモデルが,テキスト資源のみを連続的に利用するモデルに比べ,予期せぬほど過小評価される可能性があるという経験的知見に基づいて,連続多様知識グラフ構築のための生涯的マルチモーダル一貫性トランスフォーマフレームワーク(lmc)を提案する。
連続学習の文脈における一貫したkgc戦略の利点を組み合わせることで,安定性と可塑性のバランスが向上する。
本実験は,動的シナリオにおける連続学習手法やマルチモーダルアプローチよりも優れた性能を示す。
コードとデータセットはhttps://github.com/zjunlp/ContinueMKGCで見ることができる。
関連論文リスト
- MyGO: Discrete Modality Information as Fine-Grained Tokens for Multi-modal Knowledge Graph Completion [51.80447197290866]
MMKGの微細なモダリティ情報を処理・融合・拡張するためにMyGOを導入する。
MyGOは、マルチモーダルな生データをきめ細かい離散トークンとしてトークン化し、クロスモーダルなエンティティエンコーダでエンティティ表現を学習する。
標準MMKGCベンチマーク実験により,本手法が最新の20モデルを上回ることがわかった。
論文 参考訳(メタデータ) (2024-04-15T05:40:41Z) - Contextualization Distillation from Large Language Model for Knowledge
Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。
提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。
多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文 参考訳(メタデータ) (2024-01-28T08:56:49Z) - Contextualized Structural Self-supervised Learning for Ontology Matching [0.9402105308876642]
我々はLaKERMapと呼ばれる新しい自己教師型学習フレームワークを導入する。
LaKERMapは暗黙の知識をトランスフォーマーに統合することで、概念の文脈的および構造的情報を活用する。
我々の革新的なアプローチから得られた知見は、LaKERMapがアライメント品質と推論時間で最先端のシステムを上回っていることを示している。
論文 参考訳(メタデータ) (2023-10-05T18:51:33Z) - Enhancing Human-like Multi-Modal Reasoning: A New Challenging Dataset
and Comprehensive Framework [51.44863255495668]
マルチモーダル推論は、人間のような知性を示す人工知能システムの追求において重要な要素である。
提案するマルチモーダル推論(COCO-MMR)データセットは,オープンエンド質問の集合を包含する新しいデータセットである。
画像とテキストエンコーダを強化するために,マルチホップ・クロスモーダル・アテンションや文レベルのコントラスト学習などの革新的な手法を提案する。
論文 参考訳(メタデータ) (2023-07-24T08:58:25Z) - Information Screening whilst Exploiting! Multimodal Relation Extraction
with Feature Denoising and Multimodal Topic Modeling [96.75821232222201]
既存のマルチモーダル関係抽出(MRE)研究は、内部情報過剰利用と外部情報過多という2つの共存課題に直面している。
内部情報スクリーニングと外部情報活用を同時に実現する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-19T14:56:57Z) - VERITE: A Robust Benchmark for Multimodal Misinformation Detection
Accounting for Unimodal Bias [17.107961913114778]
マルチモーダルの誤報は ソーシャルメディアのプラットフォームで 増え続けている問題です
本研究では,広範に使用されているMDDベンチマークにおいて,一様偏差の存在を調査・同定する。
リアルな合成学習データを生成するための新しい手法であるCrossmodal HArd Synthetic MisAlignment (CHASMA)を導入する。
論文 参考訳(メタデータ) (2023-04-27T12:28:29Z) - Continual Variational Autoencoder Learning via Online Cooperative
Memorization [11.540150938141034]
変分オートエンコーダ(VAE)は連続的な学習分類タスクでうまく使われている。
しかし、連続学習で学んだクラスやデータベースに対応する仕様で画像を生成する能力はよく理解されていない。
我々は、CLを動的最適輸送問題として定式化する新しい理論フレームワークを開発する。
次に,新しいメモリバッファリング手法,すなわちオンライン協調記憶(OCM)フレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-20T18:19:27Z) - Hybrid Transformer with Multi-level Fusion for Multimodal Knowledge
Graph Completion [112.27103169303184]
マルチモーダル知識グラフ(MKG)は、視覚テキストの事実知識を整理する。
MKGformerは、マルチモーダルリンク予測、マルチモーダルRE、マルチモーダルNERの4つのデータセット上でSOTA性能を得ることができる。
論文 参考訳(メタデータ) (2022-05-04T23:40:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。