論文の概要: Tokenization, Fusion, and Augmentation: Towards Fine-grained Multi-modal Entity Representation

• arxiv url: http://arxiv.org/abs/2404.09468v2
• Date: Sat, 14 Dec 2024 10:57:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:50:55.137704
• Title: Tokenization, Fusion, and Augmentation: Towards Fine-grained Multi-modal Entity Representation
• Title（参考訳）: Tokenization, Fusion, and Augmentation:for the Fine-fine Multi-modal Entity Representation
• Authors: Yichi Zhang, Zhuo Chen, Lingbing Guo, Yajing Xu, Binbin Hu, Ziqi Liu, Wen Zhang, Huajun Chen,
• Abstract要約: マルチモーダル知識グラフ補完(MMKGC)は、与えられた知識グラフから観測されていない知識を発見することを目的としている。 既存のMMKGCメソッドは通常、事前訓練されたモデルでマルチモーダルな特徴を抽出する。 エンティティの微細なマルチモーダル表現をトークン化し、融合し、拡張する新しいフレームワークであるMyGOを紹介します。
• 参考スコア（独自算出の注目度）: 51.80447197290866
• License:
• Abstract: Multi-modal knowledge graph completion (MMKGC) aims to discover unobserved knowledge from given knowledge graphs, collaboratively leveraging structural information from the triples and multi-modal information of the entities to overcome the inherent incompleteness. Existing MMKGC methods usually extract multi-modal features with pre-trained models, resulting in coarse handling of multi-modal entity information, overlooking the nuanced, fine-grained semantic details and their complex interactions. To tackle this shortfall, we introduce a novel framework MyGO to tokenize, fuse, and augment the fine-grained multi-modal representations of entities and enhance the MMKGC performance. Motivated by the tokenization technology, MyGO tokenizes multi-modal entity information as fine-grained discrete tokens and learns entity representations with a cross-modal entity encoder. To further augment the multi-modal representations, MyGO incorporates fine-grained contrastive learning to highlight the specificity of the entity representations. Experiments on standard MMKGC benchmarks reveal that our method surpasses 19 of the latest models, underlining its superior performance. Code and data can be found in https://github.com/zjukg/MyGO
• Abstract（参考訳）: マルチモーダル知識グラフ補完(MMKGC)は、与えられた知識グラフから観測されていない知識を発見することを目的としており、その固有不完全性を克服するために、三重項と複数モーダル情報からの構造化情報を協調的に活用することを目的としている。 既存のMMKGC法は、通常、事前訓練されたモデルでマルチモーダルな特徴を抽出し、微妙できめ細かなセマンティックな詳細と複雑な相互作用を見渡して、多モーダルな実体情報の粗いハンドリングを行う。 この欠点に対処するために、エンティティの微細なマルチモーダル表現をトークン化し、融合し、拡張し、MMKGC性能を向上させる新しいフレームワークMyGOを導入する。 トークン化技術に動機づけられたMyGOは、マルチモーダルエンティティ情報を微細な離散トークンとしてトークン化し、クロスモーダルエンティティエンコーダでエンティティ表現を学習する。 マルチモーダル表現をさらに強化するために、MyGOは、エンティティ表現の特異性を強調するために、きめ細かいコントラスト学習を取り入れている。 標準MMKGCベンチマーク実験により,本手法は最新モデルの19モデルを超え,優れた性能を実証した。 コードとデータはhttps://github.com/zjukg/MyGOにある。

関連論文リスト

• Transformer-Based Multimodal Knowledge Graph Completion with Link-Aware Contexts [3.531533402602335]
  マルチモーダル知識グラフ補完(MMKGC)は、マルチモーダル知識グラフ(MMKG)における欠落リンクの予測を目的とする。 既存のMMKGCアプローチは主に知識グラフ埋め込み(KGE)モデルを拡張している。 本稿では,トランスフォーマーをベースとしたKGEモデルと,事前学習したVLMが生成するクロスモーダルコンテキストを統合した新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-26T22:23:14Z)
• Leveraging Entity Information for Cross-Modality Correlation Learning: The Entity-Guided Multimodal Summarization [49.08348604716746]
  Multimodal Summarization with Multimodal Output (MSMO) は、テキストと関連する画像の両方を統合するマルチモーダル要約を作成することを目的としている。 本稿では,Entity-Guided Multimodal Summarization Model (EGMS)を提案する。 我々のモデルは,BART上に構築され,共有重み付きデュアルマルチモーダルエンコーダを用いて,テキスト画像とエンティティ画像情報を並列に処理する。
  論文  参考訳（メタデータ） (2024-08-06T12:45:56Z)
• IBMEA: Exploring Variational Information Bottleneck for Multi-modal Entity Alignment [17.570243718626994]
  マルチモーダル・エンティティ・アライメント(MMEA)は、マルチモーダル・ナレッジ・グラフ(MMKG)間で等価なエンティティを識別することを目的としている。 確率分布としてモーダル固有の実体表現を生成するために,多モード変分エンコーダを考案する。 また、4つのモーダル固有情報ボトルネック正規化器を提案し、モーダル固有実体表現の精製における誤解を招く手がかりを限定する。
  論文  参考訳（メタデータ） (2024-07-27T17:12:37Z)
• Multiple Heads are Better than One: Mixture of Modality Knowledge Experts for Entity Representation Learning [51.80447197290866]
  高品質なマルチモーダル実体表現を学習することは、マルチモーダル知識グラフ(MMKG)表現学習の重要な目標である。 既存の手法は、エレガントなエンティティワイドマルチモーダル融合戦略の構築に重点を置いている。 適応型マルチモーダルな実体表現を学習するために,Mixture of Modality Knowledge Expert (MoMoK) を用いた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-27T06:36:17Z)
• NativE: Multi-modal Knowledge Graph Completion in the Wild [51.80447197290866]
  本研究では,MMKGCを実現するための包括的フレームワークNativEを提案する。 NativEは、任意のモダリティに対して適応的な融合を可能にするリレーショナル誘導デュアルアダプティブフュージョンモジュールを提案する。 提案手法を評価するために,5つのデータセットを用いたWildKGCという新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-03-28T03:04:00Z)
• Noise-powered Multi-modal Knowledge Graph Representation Framework [52.95468915728721]
  マルチモーダル・プレトレーニングの台頭は、統合されたマルチモーダル知識グラフ表現学習フレームワークの必要性を強調している。 モードレベルのノイズマスキングを備えたトランスフォーマーアーキテクチャを用いた新しいSNAG手法を提案する。 提案手法は10個のデータセットにまたがってSOTA性能を実現し,その汎用性を実証する。
  論文  参考訳（メタデータ） (2024-03-11T15:48:43Z)
• Information Screening whilst Exploiting! Multimodal Relation Extraction with Feature Denoising and Multimodal Topic Modeling [96.75821232222201]
  既存のマルチモーダル関係抽出(MRE)研究は、内部情報過剰利用と外部情報過多という2つの共存課題に直面している。 内部情報スクリーニングと外部情報活用を同時に実現する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-19T14:56:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。