Fugu-MT 論文翻訳(概要): Vision, Deduction and Alignment: An Empirical Study on Multi-modal Knowledge Graph Alignment

論文の概要: Vision, Deduction and Alignment: An Empirical Study on Multi-modal Knowledge Graph Alignment

arxiv url: http://arxiv.org/abs/2302.08774v1
Date: Fri, 17 Feb 2023 09:20:51 GMT
ステータス: 処理完了
システム内更新日: 2023-02-20 15:22:40.088474
Title: Vision, Deduction and Alignment: An Empirical Study on Multi-modal Knowledge Graph Alignment
Title（参考訳）: ビジョン・推論・アライメント:マルチモーダル知識グラフアライメントに関する実証的研究
Authors: Yangning Li, Jiaoyan Chen, Yinghui Li, Yuejia Xiang, Xi Chen, Hai-Tao Zheng
Abstract要約: われわれはまず8つの大規模画像付きEAベンチマークであるMulti-OpenEAを構築し、画像を利用する既存の埋め込み方式を評価した。視覚的モーダル情報と論理的推論の相補性の観点から,LODEMEという新しいマルチモーダルEA法を開発した。
参考スコア（独自算出の注目度）: 30.35207258680977
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Entity alignment (EA) for knowledge graphs (KGs) plays a critical role in knowledge engineering. Existing EA methods mostly focus on utilizing the graph structures and entity attributes (including literals), but ignore images that are common in modern multi-modal KGs. In this study we first constructed Multi-OpenEA -- eight large-scale, image-equipped EA benchmarks, and then evaluated some existing embedding-based methods for utilizing images. In view of the complementary nature of visual modal information and logical deduction, we further developed a new multi-modal EA method named LODEME using logical deduction and multi-modal KG embedding, with state-of-the-art performance achieved on Multi-OpenEA and other existing multi-modal EA benchmarks.
Abstract（参考訳）: 知識グラフのためのエンティティアライメント(EA)は知識工学において重要な役割を果たす。既存のEA手法は主にグラフ構造とエンティティ属性(リテラルを含む)の利用に重点を置いているが、現代のマルチモーダルKGで一般的な画像は無視している。本研究では,まず8つの大規模画像付きEAベンチマークを構築し,既存の埋め込みベースの画像利用手法を評価した。視覚的モーダル情報と論理的推論の相補性の観点から、我々は、論理的推論とマルチモーダルKG埋め込みを用いたLODEMEと呼ばれる新しいマルチモーダルEA手法を開発し、マルチOpenEAや他の既存のマルチモーダルEAベンチマークで最新性能を達成した。

関連論文リスト

Leveraging Entity Information for Cross-Modality Correlation Learning: The Entity-Guided Multimodal Summarization [49.08348604716746]
Multimodal Summarization with Multimodal Output (MSMO) は、テキストと関連する画像の両方を統合するマルチモーダル要約を作成することを目的としている。本稿では,Entity-Guided Multimodal Summarization Model (EGMS)を提案する。我々のモデルは,BART上に構築され,共有重み付きデュアルマルチモーダルエンコーダを用いて,テキスト画像とエンティティ画像情報を並列に処理する。
論文参考訳（メタデータ） (2024-08-06T12:45:56Z)
DERA: Dense Entity Retrieval for Entity Alignment in Knowledge Graphs [3.500936203815729]
エンティティアライメント(EA)のための高密度エンティティ検索フレームワークを提案する。我々は言語モデルを活用し、エンティティの様々な特徴を均一にエンコードし、知識グラフ(KG)をまたいで最も近いエンティティ検索を容易にする。提案手法は,既存のEA手法と比較して最先端の性能を実現する。
論文参考訳（メタデータ） (2024-08-02T10:12:42Z)
Multiple Heads are Better than One: Mixture of Modality Knowledge Experts for Entity Representation Learning [51.80447197290866]
高品質なマルチモーダル実体表現を学習することは、マルチモーダル知識グラフ(MMKG)表現学習の重要な目標である。既存の手法は、エレガントなエンティティワイドマルチモーダル融合戦略の構築に重点を置いている。適応型マルチモーダルな実体表現を学習するために,Mixture of Modality Knowledge Expert (MoMoK) を用いた新しいフレームワークを提案する。
論文参考訳（メタデータ） (2024-05-27T06:36:17Z)
Tokenization, Fusion, and Augmentation: Towards Fine-grained Multi-modal Entity Representation [51.80447197290866]
マルチモーダル知識グラフ補完(MMKGC)は、与えられた知識グラフから観測されていない知識を発見することを目的としている。既存のMMKGCメソッドは通常、事前訓練されたモデルでマルチモーダルな特徴を抽出する。エンティティの微細なマルチモーダル表現をトークン化し、融合し、拡張する新しいフレームワークであるMyGOを紹介します。
論文参考訳（メタデータ） (2024-04-15T05:40:41Z)
Noise-powered Multi-modal Knowledge Graph Representation Framework [52.95468915728721]
マルチモーダル・プレトレーニングの台頭は、統合されたマルチモーダル知識グラフ表現学習フレームワークの必要性を強調している。モードレベルのノイズマスキングを備えたトランスフォーマーアーキテクチャを用いた新しいSNAG手法を提案する。提案手法は10個のデータセットにまたがってSOTA性能を実現し,その汎用性を実証する。
論文参考訳（メタデータ） (2024-03-11T15:48:43Z)
Gradient Flow of Energy: A General and Efficient Approach for Entity Alignment Decoding [24.613735853099534]
我々は,エンティティの埋め込みのみに依存する,新しい,一般化された,効率的なデコーディング手法をEAに導入する。本手法はディリクレエネルギーを最小化してデコード処理を最適化し,グラフ内の勾配流を最大化し,グラフのホモフィリーを最大化する。特に、この手法は、追加計算時間の6秒未満でこれらの進歩を達成する。
論文参考訳（メタデータ） (2024-01-23T14:31:12Z)
Information Screening whilst Exploiting! Multimodal Relation Extraction with Feature Denoising and Multimodal Topic Modeling [96.75821232222201]
既存のマルチモーダル関係抽出(MRE)研究は、内部情報過剰利用と外部情報過多という2つの共存課題に直面している。内部情報スクリーニングと外部情報活用を同時に実現する新しいフレームワークを提案する。
論文参考訳（メタデータ） (2023-05-19T14:56:57Z)
Multi-modal Contrastive Representation Learning for Entity Alignment [57.92705405276161]
マルチモーダルなエンティティアライメントは、2つの異なるマルチモーダルな知識グラフ間で等価なエンティティを識別することを目的としている。マルチモーダルコントラスト学習に基づくエンティティアライメントモデルであるMCLEAを提案する。特に、MCLEAはまず複数のモダリティから複数の個別表現を学習し、その後、モダリティ内およびモダリティ間相互作用を共同でモデル化するコントラスト学習を行う。
論文参考訳（メタデータ） (2022-09-02T08:59:57Z)
High-quality Task Division for Large-scale Entity Alignment [28.001266850114643]
DivEAは、代替の最先端ソリューションよりも高いEAパフォーマンスを達成する。我々は、EAタスクの局所性原理と訓練されたEAモデルのパワーを生かした他の発見手法を考案する。
論文参考訳（メタデータ） (2022-08-22T14:46:38Z)
Fusion with Hierarchical Graphs for Mulitmodal Emotion Recognition [7.147235324895931]
本稿では,より情報に富んだマルチモーダル表現を学習する階層型グラフネットワーク(HFGCN)モデルを提案する。具体的には,2段階グラフ構築手法を用いてマルチモーダル入力を融合し,モダリティ依存性を会話表現にエンコードする。実験により,より正確なAERモデルの有効性が示された。
論文参考訳（メタデータ） (2021-09-15T08:21:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。