論文の概要: Continual Multimodal Knowledge Graph Construction

• arxiv url: http://arxiv.org/abs/2305.08698v2
• Date: Tue, 1 Aug 2023 10:23:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-02 17:38:19.250767
• Title: Continual Multimodal Knowledge Graph Construction
• Title（参考訳）: 連続的マルチモーダル知識グラフ構築
• Authors: Xiang Chen, Ningyu Zhang, Jintian Zhang, Xiaohan Wang, Tongtong Wu, Xi Chen, Yongheng Wang, Huajun Chen
• Abstract要約: マルチモーダル知識グラフ構築(MKGC)は、テキストや画像などの複数のモーダルを使って実体と関係の構造化表現を作成する。 知識グラフ構築のための現在の連続的な設定は、主にテキストデータから実体と関係を抽出することに焦点を当てている。 連続学習における一貫したマルチモーダル最適化の強みを生かした連続MKGCのための一貫したマルチモーダル・コンセント・トランスフォーマ・フレームワーク(LMC)を提案する。
• 参考スコア（独自算出の注目度）: 36.82031177254863
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Knowledge Graph Construction (MKGC) involves creating structured representations of entities and relations using multiple modalities, such as text and images. However, existing MKGC models face challenges in handling the addition of new entities and relations in dynamic real-world scenarios. The current continual setting for knowledge graph construction mainly focuses on entity and relation extraction from text data, overlooking other multimodal sources. Therefore, there arises the need to explore the challenge of continual MKGC to address the phenomenon of catastrophic forgetting and ensure the retention of past knowledge extracted from different forms of data. This research focuses on investigating this complex topic by developing lifelong MKGC benchmark datasets. Based on the empirical findings that several typical MKGC models, when trained on multimedia data, might unexpectedly underperform compared to those solely utilizing textual resources in a continual setting, we propose a Lifelong MultiModal Consistent Transformer Framework (LMC) for continual MKGC, which plays the strengths of the consistent multimodal optimization in continual learning and leads to a better stability-plasticity trade-off. Our experiments demonstrate the superior performance of our method over prevailing continual learning techniques or multimodal approaches in dynamic scenarios. Code and datasets can be found at https://github.com/zjunlp/ContinueMKGC.
• Abstract（参考訳）: マルチモーダル知識グラフ構築(MKGC)は、テキストや画像などの複数のモーダルを使って実体と関係の構造化表現を作成する。 しかし、既存のMKGCモデルは、動的な現実のシナリオにおける新しいエンティティや関係の追加に対処する際の課題に直面している。 現在の知識グラフ構築のための連続的な設定は、主にテキストデータから実体と関係を抽出し、他のマルチモーダルソースを見渡すことに焦点を当てている。 したがって、破壊的忘れの現象に対処し、異なる形式のデータから抽出された過去の知識の保持を確保するために、連続的mkgcの課題を探求する必要がある。 本研究は、生涯にわたるmkgcベンチマークデータセットの開発によって、この複雑なトピックを調査することに焦点を当てている。 マルチメディアデータを用いたMKGCモデルでは,テキストリソースのみを連続的に活用するモデルに比べて,予期せぬパフォーマンスが低いという実証的な結果から,連続学習における一貫したマルチモーダル最適化の長所を担い,安定性と可塑性のトレードオフが向上する,連続的なMKGCのための長寿命マルチモーダル一貫性変換フレームワーク(LMC)を提案する。 本実験は,動的シナリオにおける連続学習手法やマルチモーダルアプローチよりも優れた性能を示す。 コードとデータセットはhttps://github.com/zjunlp/ContinueMKGCで見ることができる。

関連論文リスト

• Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
  蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-11T07:36:19Z)
• Multi-Epoch learning with Data Augmentation for Deep Click-Through Rate Prediction [53.88231294380083]
  非連続的な学習シナリオと連続的な学習シナリオの両方に適合する、新しいMulti-Epoch Learning with Data Augmentation (MEDA)フレームワークを導入する。 MEDAは、その後のトレーニングデータへの埋め込み層の依存性を減らし、過度な適合を最小化する。 実験の結果,プレトレーニングした層が新しい埋め込み空間に適応し,過度に適合することなく性能を向上できることが確認された。
  論文  参考訳（メタデータ） (2024-06-27T04:00:15Z)
• Neuro-Inspired Information-Theoretic Hierarchical Perception for Multimodal Learning [16.8379583872582]
  我々は,情報ボトルネックの概念を利用する情報理論階層知覚(ITHP)モデルを開発した。 我々は、ITHPがマルチモーダル学習シナリオにおいて重要な情報を一貫して蒸留し、最先端のベンチマークより優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-15T01:34:44Z)
• Continual Learning with Pre-Trained Models: A Survey [61.97613090666247]
  継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。 本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
  論文  参考訳（メタデータ） (2024-01-29T18:27:52Z)
• MACO: A Modality Adversarial and Contrastive Framework for Modality-missing Multi-modal Knowledge Graph Completion [18.188971531961663]
  本稿では,MMKGCにおけるモダリティ欠落問題を解決するために,モダリティ対向・コントラッシブ・フレームワーク(MACO)を提案する。 MACOは、MMKGCモデルに組み込むことができる欠落したモダリティ特徴を生成するために、ジェネレータと識別器を逆さまに訓練する。
  論文  参考訳（メタデータ） (2023-08-13T06:29:38Z)
• VERITE: A Robust Benchmark for Multimodal Misinformation Detection Accounting for Unimodal Bias [17.107961913114778]
  マルチモーダルの誤報は ソーシャルメディアのプラットフォームで 増え続けている問題です 本研究では,広範に使用されているMDDベンチマークにおいて,一様偏差の存在を調査・同定する。 リアルな合成学習データを生成するための新しい手法であるCrossmodal HArd Synthetic MisAlignment (CHASMA)を導入する。
  論文  参考訳（メタデータ） (2023-04-27T12:28:29Z)
• New Insights for the Stability-Plasticity Dilemma in Online Continual Learning [21.664470275289407]
  マルチスケール特徴適応ネットワーク(MuFAN)というオンライン連続学習フレームワークを提案する。 MuFANはSVHN、CIFAR100、miniImageNet、CORe50データセット上で、最先端の継続的な学習方法よりも優れている。
  論文  参考訳（メタデータ） (2023-02-17T07:43:59Z)
• Online Continual Learning via the Meta-learning Update with Multi-scale Knowledge Distillation and Data Augmentation [4.109784267309124]
  継続的な学習は、一連のタスクから現在のタスクを迅速かつ継続的に学習することを目的としている。 この手法の一般的な制限は、前のタスクと現在のタスクの間のデータ不均衡である。 マルチスケール知識蒸留とデータ拡張によるメタラーニング更新という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-12T10:03:53Z)
• A Unified Continuous Learning Framework for Multi-modal Knowledge Discovery and Pre-training [73.7507857547549]
  本稿では,継続的学習フレームワークにおける知識発見とマルチモーダル事前学習の統合を提案する。 知識発見のために、事前訓練されたモデルを用いてグラフ上のクロスモーダルリンクを識別する。 モデル事前トレーニングでは、モデル更新をガイドする外部知識として知識グラフが使用される。
  論文  参考訳（メタデータ） (2022-06-11T16:05:06Z)
• DisenKGAT: Knowledge Graph Embedding with Disentangled Graph Attention Network [48.38954651216983]
  本稿では,知識グラフのための新しいDistangled Knowledge Graph Attention Network (DisenKGAT)を提案する。 DisenKGATは、マイクロディケンジメントとマクロディケンジメントの両方を使用して、知識グラフの背後にある表現を利用する。 私たちの仕事は、様々なスコア関数に適応する強力な堅牢性と柔軟性を持っています。
  論文  参考訳（メタデータ） (2021-08-22T04:10:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。