論文の概要: Continual Multimodal Knowledge Graph Construction
- arxiv url: http://arxiv.org/abs/2305.08698v2
- Date: Tue, 1 Aug 2023 10:23:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-02 17:38:19.250767
- Title: Continual Multimodal Knowledge Graph Construction
- Title(参考訳): 連続的マルチモーダル知識グラフ構築
- Authors: Xiang Chen, Ningyu Zhang, Jintian Zhang, Xiaohan Wang, Tongtong Wu, Xi
Chen, Yongheng Wang, Huajun Chen
- Abstract要約: マルチモーダル知識グラフ構築(MKGC)は、テキストや画像などの複数のモーダルを使って実体と関係の構造化表現を作成する。
知識グラフ構築のための現在の連続的な設定は、主にテキストデータから実体と関係を抽出することに焦点を当てている。
連続学習における一貫したマルチモーダル最適化の強みを生かした連続MKGCのための一貫したマルチモーダル・コンセント・トランスフォーマ・フレームワーク(LMC)を提案する。
- 参考スコア(独自算出の注目度): 36.82031177254863
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal Knowledge Graph Construction (MKGC) involves creating structured
representations of entities and relations using multiple modalities, such as
text and images. However, existing MKGC models face challenges in handling the
addition of new entities and relations in dynamic real-world scenarios. The
current continual setting for knowledge graph construction mainly focuses on
entity and relation extraction from text data, overlooking other multimodal
sources. Therefore, there arises the need to explore the challenge of continual
MKGC to address the phenomenon of catastrophic forgetting and ensure the
retention of past knowledge extracted from different forms of data. This
research focuses on investigating this complex topic by developing lifelong
MKGC benchmark datasets. Based on the empirical findings that several typical
MKGC models, when trained on multimedia data, might unexpectedly underperform
compared to those solely utilizing textual resources in a continual setting, we
propose a Lifelong MultiModal Consistent Transformer Framework (LMC) for
continual MKGC, which plays the strengths of the consistent multimodal
optimization in continual learning and leads to a better stability-plasticity
trade-off. Our experiments demonstrate the superior performance of our method
over prevailing continual learning techniques or multimodal approaches in
dynamic scenarios. Code and datasets can be found at
https://github.com/zjunlp/ContinueMKGC.
- Abstract(参考訳): マルチモーダル知識グラフ構築(MKGC)は、テキストや画像などの複数のモーダルを使って実体と関係の構造化表現を作成する。
しかし、既存のMKGCモデルは、動的な現実のシナリオにおける新しいエンティティや関係の追加に対処する際の課題に直面している。
現在の知識グラフ構築のための連続的な設定は、主にテキストデータから実体と関係を抽出し、他のマルチモーダルソースを見渡すことに焦点を当てている。
したがって、破壊的忘れの現象に対処し、異なる形式のデータから抽出された過去の知識の保持を確保するために、連続的mkgcの課題を探求する必要がある。
本研究は、生涯にわたるmkgcベンチマークデータセットの開発によって、この複雑なトピックを調査することに焦点を当てている。
マルチメディアデータを用いたMKGCモデルでは,テキストリソースのみを連続的に活用するモデルに比べて,予期せぬパフォーマンスが低いという実証的な結果から,連続学習における一貫したマルチモーダル最適化の長所を担い,安定性と可塑性のトレードオフが向上する,連続的なMKGCのための長寿命マルチモーダル一貫性変換フレームワーク(LMC)を提案する。
本実験は,動的シナリオにおける連続学習手法やマルチモーダルアプローチよりも優れた性能を示す。
コードとデータセットはhttps://github.com/zjunlp/ContinueMKGCで見ることができる。
関連論文リスト
- MyGO: Discrete Modality Information as Fine-Grained Tokens for Multi-modal Knowledge Graph Completion [51.80447197290866]
MMKGの微細なモダリティ情報を処理・融合・拡張するためにMyGOを導入する。
MyGOは、マルチモーダルな生データをきめ細かい離散トークンとしてトークン化し、クロスモーダルなエンティティエンコーダでエンティティ表現を学習する。
標準MMKGCベンチマーク実験により,本手法が最新の20モデルを上回ることがわかった。
論文 参考訳(メタデータ) (2024-04-15T05:40:41Z) - Contextualization Distillation from Large Language Model for Knowledge
Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。
提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。
多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文 参考訳(メタデータ) (2024-01-28T08:56:49Z) - Contextualized Structural Self-supervised Learning for Ontology Matching [0.9402105308876642]
我々はLaKERMapと呼ばれる新しい自己教師型学習フレームワークを導入する。
LaKERMapは暗黙の知識をトランスフォーマーに統合することで、概念の文脈的および構造的情報を活用する。
我々の革新的なアプローチから得られた知見は、LaKERMapがアライメント品質と推論時間で最先端のシステムを上回っていることを示している。
論文 参考訳(メタデータ) (2023-10-05T18:51:33Z) - Enhancing Human-like Multi-Modal Reasoning: A New Challenging Dataset
and Comprehensive Framework [51.44863255495668]
マルチモーダル推論は、人間のような知性を示す人工知能システムの追求において重要な要素である。
提案するマルチモーダル推論(COCO-MMR)データセットは,オープンエンド質問の集合を包含する新しいデータセットである。
画像とテキストエンコーダを強化するために,マルチホップ・クロスモーダル・アテンションや文レベルのコントラスト学習などの革新的な手法を提案する。
論文 参考訳(メタデータ) (2023-07-24T08:58:25Z) - Information Screening whilst Exploiting! Multimodal Relation Extraction
with Feature Denoising and Multimodal Topic Modeling [96.75821232222201]
既存のマルチモーダル関係抽出(MRE)研究は、内部情報過剰利用と外部情報過多という2つの共存課題に直面している。
内部情報スクリーニングと外部情報活用を同時に実現する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-19T14:56:57Z) - VERITE: A Robust Benchmark for Multimodal Misinformation Detection
Accounting for Unimodal Bias [17.107961913114778]
マルチモーダルの誤報は ソーシャルメディアのプラットフォームで 増え続けている問題です
本研究では,広範に使用されているMDDベンチマークにおいて,一様偏差の存在を調査・同定する。
リアルな合成学習データを生成するための新しい手法であるCrossmodal HArd Synthetic MisAlignment (CHASMA)を導入する。
論文 参考訳(メタデータ) (2023-04-27T12:28:29Z) - Continual Variational Autoencoder Learning via Online Cooperative
Memorization [11.540150938141034]
変分オートエンコーダ(VAE)は連続的な学習分類タスクでうまく使われている。
しかし、連続学習で学んだクラスやデータベースに対応する仕様で画像を生成する能力はよく理解されていない。
我々は、CLを動的最適輸送問題として定式化する新しい理論フレームワークを開発する。
次に,新しいメモリバッファリング手法,すなわちオンライン協調記憶(OCM)フレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-20T18:19:27Z) - Hybrid Transformer with Multi-level Fusion for Multimodal Knowledge
Graph Completion [112.27103169303184]
マルチモーダル知識グラフ(MKG)は、視覚テキストの事実知識を整理する。
MKGformerは、マルチモーダルリンク予測、マルチモーダルRE、マルチモーダルNERの4つのデータセット上でSOTA性能を得ることができる。
論文 参考訳(メタデータ) (2022-05-04T23:40:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。