論文の概要: Zero-Shot Relational Learning for Multimodal Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2404.06220v1
• Date: Tue, 9 Apr 2024 11:14:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 15:00:05.052018
• Title: Zero-Shot Relational Learning for Multimodal Knowledge Graphs
• Title（参考訳）: マルチモーダル知識グラフのためのゼロショット関係学習
• Authors: Rui Cai, Shichao Pei, Xiangliang Zhang,
• Abstract要約: 主な課題の1つは、関連するトレーニングデータなしで新たに発見された関係を推測することである。 既存の作業はマルチモーダル情報の活用をサポートしておらず、未調査のままである。 多様なマルチモーダル情報と知識グラフ構造を統合するために, マルチモーダル学習者, 構造コンソリエータ埋め込みジェネレータという3つのコンポーネントからなる新しいエンドツーエンドフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 31.215889061734295
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Relational learning is an essential task in the domain of knowledge representation, particularly in knowledge graph completion (KGC).While relational learning in traditional single-modal settings has been extensively studied, exploring it within a multimodal KGC context presents distinct challenges and opportunities. One of the major challenges is inference on newly discovered relations without any associated training data. This zero-shot relational learning scenario poses unique requirements for multimodal KGC, i.e., utilizing multimodality to facilitate relational learning. However, existing works fail to support the leverage of multimodal information and leave the problem unexplored. In this paper, we propose a novel end-to-end framework, consisting of three components, i.e., multimodal learner, structure consolidator, and relation embedding generator, to integrate diverse multimodal information and knowledge graph structures to facilitate the zero-shot relational learning. Evaluation results on two multimodal knowledge graphs demonstrate the superior performance of our proposed method.
• Abstract（参考訳）: 関係学習は知識表現の領域、特に知識グラフ補完(KGC)において重要な課題である。 従来の単一モーダルな環境でのリレーショナル学習は広く研究されているが、マルチモーダルなKGCコンテキスト内でのリレーショナル学習は、異なる課題と機会を提示している。 主な課題の1つは、関連するトレーニングデータなしで新たに発見された関係を推測することである。 このゼロショットリレーショナル学習シナリオは、マルチモーダルなKGC、すなわち、リレーショナル学習を促進するためにマルチモーダルを活用するためのユニークな要件を呈する。 しかし、既存の作業はマルチモーダル情報の活用をサポートしておらず、未解決のままである。 本稿では,ゼロショットリレーショナル学習を容易にするために,多モード情報と知識グラフ構造を統合するために,多モード学習者,構造コンソリエータ,関係埋め込みジェネレータという3つのコンポーネントからなる新しいエンドツーエンドフレームワークを提案する。 2つのマルチモーダル知識グラフの評価結果は,提案手法の優れた性能を示す。

関連論文リスト

• Harnessing Shared Relations via Multimodal Mixup Contrastive Learning for Multimodal Classification [3.6616868775630587]
  マルチモーダルデータに固有のニュアンス付き共有関係を抽出するマルチモーダル混合コントラスト学習手法であるM3CoLを提案する。 我々の研究は、堅牢なマルチモーダル学習のための共有関係の学習の重要性を強調し、将来の研究に有望な道を開く。
  論文  参考訳（メタデータ） (2024-09-26T12:15:13Z)
• PIN: A Knowledge-Intensive Dataset for Paired and Interleaved Multimodal Documents [58.35492519636351]
  PINフォーマットは、知識の強度、スケーラビリティ、多様なトレーニングモダリティのサポートの3つの基本原則に基づいて構築されている。 PIN-14Mは中国語と英語の多種多様な情報源から得られた1400万のサンプルからなるオープンソースデータセットである。
  論文  参考訳（メタデータ） (2024-06-20T01:43:08Z)
• Multiple Heads are Better than One: Mixture of Modality Knowledge Experts for Entity Representation Learning [51.80447197290866]
  高品質なマルチモーダル実体表現を学習することは、マルチモーダル知識グラフ(MMKG)表現学習の重要な目標である。 既存の手法は、エレガントなエンティティワイドマルチモーダル融合戦略の構築に重点を置いている。 適応型マルチモーダルな実体表現を学習するために,Mixture of Modality Knowledge Expert (MoMoK) を用いた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-27T06:36:17Z)
• Beyond Unimodal Learning: The Importance of Integrating Multiple Modalities for Lifelong Learning [23.035725779568587]
  ディープニューラルネットワーク(DNN)におけるマルチモーダル性の役割と相互作用について検討する。 以上の結果から,複数のビューと相補的な情報を複数のモーダルから活用することで,より正確かつ堅牢な表現を学習できることが示唆された。 本稿では,各モーダルにおけるデータ点間の関係構造的類似性を利用して,異なるモーダルからの情報の統合と整合化を行う手法を提案する。
  論文  参考訳（メタデータ） (2024-05-04T22:02:58Z)
• Generative Multi-Modal Knowledge Retrieval with Large Language Models [75.70313858231833]
  マルチモーダル知識検索のための革新的なエンドツーエンド生成フレームワークを提案する。 我々のフレームワークは,大規模言語モデル(LLM)が仮想知識ベースとして効果的に機能するという事実を生かしている。 強いベースラインと比較すると,すべての評価指標に対して3.0%から14.6%の大幅な改善が見られた。
  論文  参考訳（メタデータ） (2024-01-16T08:44:29Z)
• Decoupling Common and Unique Representations for Multimodal Self-supervised Learning [22.12729786091061]
  マルチモーダルな自己教師型学習のための簡易かつ効果的な方法として,Decoupling Common and Unique Representations (DeCUR)を提案する。 マルチモーダル冗長性低減によるモーダル内埋め込みとモーダル内埋め込みを区別することにより、DeCURは異なるモーダル間で補完情報を統合できる。
  論文  参考訳（メタデータ） (2023-09-11T08:35:23Z)
• Factorized Contrastive Learning: Going Beyond Multi-view Redundancy [116.25342513407173]
  本稿では,マルチビュー冗長性を超えた新しいマルチモーダル表現学習法であるFacterCLを提案する。 大規模な実世界のデータセットでは、FacterCLは共有情報とユニークな情報の両方をキャプチャし、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-06-08T15:17:04Z)
• Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications [90.6849884683226]
  ラベル付き単調データのみを用いた半教師付き環境における相互作用定量化の課題について検討する。 相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は下界と上界の導出である。 本稿では、これらの理論結果を用いてマルチモーダルモデルの性能を推定し、データ収集をガイドし、様々なタスクに対して適切なマルチモーダルモデルを選択する方法について述べる。
  論文  参考訳（メタデータ） (2023-06-07T15:44:53Z)
• A Unified Continuous Learning Framework for Multi-modal Knowledge Discovery and Pre-training [73.7507857547549]
  本稿では,継続的学習フレームワークにおける知識発見とマルチモーダル事前学習の統合を提案する。 知識発見のために、事前訓練されたモデルを用いてグラフ上のクロスモーダルリンクを識別する。 モデル事前トレーニングでは、モデル更新をガイドする外部知識として知識グラフが使用される。
  論文  参考訳（メタデータ） (2022-06-11T16:05:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。