論文の概要: Continual Multimodal Knowledge Graph Construction

• arxiv url: http://arxiv.org/abs/2305.08698v1
• Date: Mon, 15 May 2023 14:58:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-16 14:06:25.984597
• Title: Continual Multimodal Knowledge Graph Construction
• Title（参考訳）: 連続的マルチモーダル知識グラフ構築
• Authors: Xiang Chen, Jintian Zhang, Xiaohan Wang, Tongtong Wu, Shumin Deng, Yongheng Wang, Luo Si, Huajun Chen, Ningyu Zhang
• Abstract要約: マルチモーダル知識グラフ構築(MMKC、Multimodal Knowledge Graph Construction)は、複数のモーダルを通して実体と関係を構造化した表現を作成する過程を指す。 本研究は, 破滅的な忘れ込み現象の解明と, 様々な形態のデータから抽出された過去の知識の保持に焦点をあてる。 連続マルチモーダル知識グラフ構築のための長寿命マルチモーダル一貫性変換フレームワーク(LMC)を提案する。
• 参考スコア（独自算出の注目度）: 58.65022596152196
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Knowledge Graph Construction (MMKC) refers to the process of creating a structured representation of entities and relationships through multiple modalities such as text, images, videos, etc. However, existing MMKC models have limitations in handling the introduction of new entities and relations due to the dynamic nature of the real world. Moreover, most state-of-the-art studies in MMKC only consider entity and relation extraction from text data while neglecting other multi-modal sources. Meanwhile, the current continual setting for knowledge graph construction only consider entity and relation extraction from text data while neglecting other multi-modal sources. Therefore, there arises the need to explore the challenge of continuous multimodal knowledge graph construction to address the phenomenon of catastrophic forgetting and ensure the retention of past knowledge extracted from different forms of data. This research focuses on investigating this complex topic by developing lifelong multimodal benchmark datasets. Based on the empirical findings that several state-of-the-art MMKC models, when trained on multimedia data, might unexpectedly underperform compared to those solely utilizing textual resources in a continual setting, we propose a Lifelong MultiModal Consistent Transformer Framework (LMC) for continuous multimodal knowledge graph construction. By combining the advantages of consistent KGC strategies within the context of continual learning, we achieve greater balance between stability and plasticity. Our experiments demonstrate the superior performance of our method over prevailing continual learning techniques or multimodal approaches in dynamic scenarios. Code and datasets can be found at https://github.com/zjunlp/ContinueMKGC.
• Abstract（参考訳）: マルチモーダル知識グラフ構築(MMKC、Multimodal Knowledge Graph Construction)は、テキスト、画像、ビデオなどの複数のモダリティを通じて実体と関係を構造化した表現を作成する過程を指す。 しかし、既存のMMKCモデルは、現実世界の動的な性質により、新しい実体の導入や関係の扱いに制限がある。 さらに、mmkcの最先端の研究のほとんどは、テキストデータからのエンティティと関係抽出のみを考慮し、他のマルチモーダルな情報源を無視している。 一方、知識グラフ構築のための現在の連続的な設定は、他のマルチモーダルソースを無視しながら、テキストデータから実体と関係を抽出することしか考慮していない。 したがって、破壊的忘れの現象に対処し、異なる形式のデータから抽出された過去の知識の保持を確保するために、連続的マルチモーダル知識グラフ構築の課題を探求する必要がある。 この研究は、生涯にわたるマルチモーダルベンチマークデータセットの開発によって、この複雑なトピックを調査することに焦点を当てている。 マルチメディアデータを用いた学習において,複数の最先端mmkcモデルが,テキスト資源のみを連続的に利用するモデルに比べ,予期せぬほど過小評価される可能性があるという経験的知見に基づいて,連続多様知識グラフ構築のための生涯的マルチモーダル一貫性トランスフォーマフレームワーク(lmc)を提案する。 連続学習の文脈における一貫したkgc戦略の利点を組み合わせることで,安定性と可塑性のバランスが向上する。 本実験は,動的シナリオにおける連続学習手法やマルチモーダルアプローチよりも優れた性能を示す。 コードとデータセットはhttps://github.com/zjunlp/ContinueMKGCで見ることができる。

関連論文リスト

• Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
  蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-11T07:36:19Z)
• Multi-Epoch learning with Data Augmentation for Deep Click-Through Rate Prediction [53.88231294380083]
  非連続的な学習シナリオと連続的な学習シナリオの両方に適合する、新しいMulti-Epoch Learning with Data Augmentation (MEDA)フレームワークを導入する。 MEDAは、その後のトレーニングデータへの埋め込み層の依存性を減らし、過度な適合を最小化する。 実験の結果,プレトレーニングした層が新しい埋め込み空間に適応し,過度に適合することなく性能を向上できることが確認された。
  論文  参考訳（メタデータ） (2024-06-27T04:00:15Z)
• Neuro-Inspired Information-Theoretic Hierarchical Perception for Multimodal Learning [16.8379583872582]
  我々は,情報ボトルネックの概念を利用する情報理論階層知覚(ITHP)モデルを開発した。 我々は、ITHPがマルチモーダル学習シナリオにおいて重要な情報を一貫して蒸留し、最先端のベンチマークより優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-15T01:34:44Z)
• Continual Learning with Pre-Trained Models: A Survey [61.97613090666247]
  継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。 本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
  論文  参考訳（メタデータ） (2024-01-29T18:27:52Z)
• MACO: A Modality Adversarial and Contrastive Framework for Modality-missing Multi-modal Knowledge Graph Completion [18.188971531961663]
  本稿では,MMKGCにおけるモダリティ欠落問題を解決するために,モダリティ対向・コントラッシブ・フレームワーク(MACO)を提案する。 MACOは、MMKGCモデルに組み込むことができる欠落したモダリティ特徴を生成するために、ジェネレータと識別器を逆さまに訓練する。
  論文  参考訳（メタデータ） (2023-08-13T06:29:38Z)
• VERITE: A Robust Benchmark for Multimodal Misinformation Detection Accounting for Unimodal Bias [17.107961913114778]
  マルチモーダルの誤報は ソーシャルメディアのプラットフォームで 増え続けている問題です 本研究では,広範に使用されているMDDベンチマークにおいて,一様偏差の存在を調査・同定する。 リアルな合成学習データを生成するための新しい手法であるCrossmodal HArd Synthetic MisAlignment (CHASMA)を導入する。
  論文  参考訳（メタデータ） (2023-04-27T12:28:29Z)
• New Insights for the Stability-Plasticity Dilemma in Online Continual Learning [21.664470275289407]
  マルチスケール特徴適応ネットワーク(MuFAN)というオンライン連続学習フレームワークを提案する。 MuFANはSVHN、CIFAR100、miniImageNet、CORe50データセット上で、最先端の継続的な学習方法よりも優れている。
  論文  参考訳（メタデータ） (2023-02-17T07:43:59Z)
• Online Continual Learning via the Meta-learning Update with Multi-scale Knowledge Distillation and Data Augmentation [4.109784267309124]
  継続的な学習は、一連のタスクから現在のタスクを迅速かつ継続的に学習することを目的としている。 この手法の一般的な制限は、前のタスクと現在のタスクの間のデータ不均衡である。 マルチスケール知識蒸留とデータ拡張によるメタラーニング更新という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-12T10:03:53Z)
• A Unified Continuous Learning Framework for Multi-modal Knowledge Discovery and Pre-training [73.7507857547549]
  本稿では,継続的学習フレームワークにおける知識発見とマルチモーダル事前学習の統合を提案する。 知識発見のために、事前訓練されたモデルを用いてグラフ上のクロスモーダルリンクを識別する。 モデル事前トレーニングでは、モデル更新をガイドする外部知識として知識グラフが使用される。
  論文  参考訳（メタデータ） (2022-06-11T16:05:06Z)
• DisenKGAT: Knowledge Graph Embedding with Disentangled Graph Attention Network [48.38954651216983]
  本稿では,知識グラフのための新しいDistangled Knowledge Graph Attention Network (DisenKGAT)を提案する。 DisenKGATは、マイクロディケンジメントとマクロディケンジメントの両方を使用して、知識グラフの背後にある表現を利用する。 私たちの仕事は、様々なスコア関数に適応する強力な堅牢性と柔軟性を持っています。
  論文  参考訳（メタデータ） (2021-08-22T04:10:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。